Оренда кластера 8x H100 на одній фізичній машині.
GPU Rent Hub надає в оренду виділений вузол 8× H100 SXM — один однокористувацький сервер HGX з усіма вісьмома картами на фабриці NVSwitch за $12,170 на місяць або $3,420 на тиждень з оплатою в Bitcoin, Ethereum, USDT, USDC, Monero, Solana або Litecoin без перевірки особи.
Дев’ять конфігурацій вузлів, від системи з 8× RTX 4090 за $2,810 на місяць до базової плати 8× B200 HGX за $28,010.
Що таке вузол з кількома GPU і чим він відрізняється від кластера?
Слово «кластер» використовують для двох різних продуктів. Лише один із них розміщує карти на одній фабриці.
Визначення, з яким ми працюємо
Вузол з кількома GPU — це один фізичний сервер, який орендує один орендар, де кожен GPU розташований на одній базовій платі, а між картами є пряма фабрика. Вузол GPU Rent Hub 8× H100 SXM — це базова плата NVIDIA HGX H100: вісім карт, 640 ГБ HBM3, NVSwitch дає кожній карті 900 ГБ/с до будь-якої іншої карти, 160 vCPU, 2 ТБ системної RAM, 16 ТБ локального NVMe і два порти 100G з root-доступом на bare metal. Це не вісім інстансів, з’єднаних через Ethernet, і не шматок машини, яким ви ділитеся з кимось іншим.
Чому ця різниця важлива
Віртуальний кластер дає вам вісім карт, кожна з яких може виконувати окреме завдання. Справжній вузол дає вам вісім карт, які можуть виконувати одне завдання разом, і різниця стає помітною, щойно ви шардуєте модель, адже шардування означає, що карти спілкуються одна з одною на кожному шарі.
Усе на вузлі належить вам: CPU, RAM, NVMe, обидва uplink і фабрика. Нічого нашого не працює всередині операційної системи, і вузол у наявності розгортається як будь-який інший інстанс.
Скільки коштує оренда кластера 8x H100 на місяць?
$12,170 на місяць за восьмикартковий вузол HGX H100, $2.11 за GPU-годину. Решта діапазону, прив’язана до завдань, для яких її купують.
| Робоче навантаження | Вузол | Загальний VRAM | На тиждень | На місяць | За GPU-годину |
|---|---|---|---|---|---|
| Тензорно-паралельне обслуговування моделей 70B і навчання, яке не вміщується на одній картіПочніть тут | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Повний файн-тюнінг з Adam або модель 405B у FP8Найшвидша фабрика серед вузлів, які проходять обидва | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| Інференс із довгим контекстом, де домінує KV-кеш141 ГБ на карту, без шардування для 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| Найбільше HBM на долар, на нативному стеку ROCm$7.45 за ГБ-місяць | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| Багатотижневі навчальні запуски з обмеженим бюджетомПокоління NVLink позаду, вдвічі дешевше | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| Чотиристоронній тензорний паралелізм, половина вузлаТа сама фабрика, менші зобов’язання | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| Вісім незалежних реплік інференсуОдна модель на карту, підтримка FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| Дифузія та черги відео паралельно1.79 TB/s на карту | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| Ферма рендерингу, одне пакетне завдання на картуНайдешевший спосіб тримати вісім карт | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
Що входить у вузол, крім GPU?
Кожна цифра тут — на вузол, а не на карту, і все це виділено вам.
| Вузол | Загальний VRAM | vCPU | RAM | NVMe | Мережа | Регіони |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMПоловина базової плати | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XПлатформа AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Яка різниця між вузлом з NVSwitch і вузлом з PCIe?
У таблиці вище дві групи машин, і розрив між ними приблизно тридцять до одного.
NVSwitch і NVLink
На платформах HGX кожна карта з’єднується з кожною іншою на швидкості 900 ГБ/с на вузлах H100 і H200, 1.8 ТБ/с на B200 і 600 ГБ/с на A100. Платформа MI300X виконує ту саму роботу через Infinity Fabric на 896 ГБ/с. На шляху немає CPU.
Саме ця пропускна здатність робить тензорний паралелізм реалістичним. Розщеплення однієї моделі на вісім карт означає all-reduce на кожному шарі, сотні разів за прямий прохід, і карти витрачають час на очікування цього обміну, а не на обчислення, якщо з’єднання повільне.
PCIe peer-to-peer
Вузли L40S, RTX 5090 і RTX 4090 не мають NVLink. Карти спілкуються через PCIe: близько 32 ГБ/с в одному напрямку на з’єднанні Gen4 x16, близько 63 ГБ/с на Gen5, спільно з усім іншим, що проходить через root complex. Порівняно з 900 ГБ/с карти H100 SXM це приблизно одна двадцять восьма пропускної здатності.
Практично це означає одну модель на карту. Навчання з паралелізмом за даними, вісім реплік інференсу за балансувальником навантаження, вісім завдань рендерингу — усе це працює. 8-сторонній тензорно-паралельний шард на вузлі PCIe можливий, але повільний, і час виконання коштує більше, ніж заощаджує вузол.
Скільки VRAM потрібно вузлу з кількома GPU для вашої моделі?
Спочатку порахуйте байти на параметр. Майже кожне рішення щодо вузла випливає з цього одного числа.
Правило розрахунку
Ваги займають 1 байт на параметр у FP8 і 2 байти в BF16. Щоб обслуговувати модель, додайте KV-кеш і приблизно 2 ГБ накладних витрат середовища. Для повного файн-тюнінгу з Adam у BF16 закладайте приблизно 16 байт на параметр: 2 на ваги, 2 на градієнти і 12 на стан оптимізатора та мастер-копію FP32. За цифрами з посібника з VRAM, 70B потребує 75 ГБ для обслуговування у FP8, 145 ГБ у BF16, 156 ГБ для LoRA і 1,288 ГБ для повного файн-тюнінгу з урахуванням активацій. Лише останнє число має масштаб вузла.
Що це вам дає
Модель 70B у BF16 потребує 145 ГБ, тож вона не вміститься на одній карті 80 ГБ, але поміститься на вузлі 8× H100 SXM із 495 ГБ запасу під батч і KV-кеш. Повний файн-тюнінг тієї самої моделі на 1,288 ГБ проходить лише на 8× B200 або 8× MI300X. Усе інше тут потребує LoRA або вивантаження в ZeRO, як описано на сторінці GPU для файн-тюнінгу.
LoRA для 70B — не з цих завдань. При 156 ГБ посібник із VRAM розміщує її на одній MI300X за $1,590 на місяць, тож вузол коштує вам у сім разів більше грошей і вечір налаштування карт пристроїв даремно.
За гігабайтами на долар порядок простий: вузол MI300X — $7.45 за ГБ-місяць, L40S — $9.74, A100 — $11.14, H100 — $19.02. Дешеві варіанти дешеві недарма: в одного ROCm, в іншого немає NVLink.
Як працює знижка за кілька GPU і чи сумується вона?
5% на двох картах, 8% на чотирьох, 10% на восьми, від ціни однієї карти. Вона сумується зі знижкою за передоплату терміну.
| H100 SXM, один хост | Прайсова ціна | Знижка | Ви платите | За GPU-годину |
|---|---|---|---|---|
| 1 карта | $1,690 | немає | $1,690/mo | $2.35 |
| 2 карти | $3,380 | 5% | $3,211/mo | $2.23 |
| 4 картиNVLink, половина базової плати | $6,760 | 8% | $6,220/mo | $2.16 |
| 8 картПовний вузол HGX, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8 карт, 3 місяці передоплати10% потім 5% | $40,560 | 14.5% | $34,685загалом | $2.01 |
| 8 карт, 6 місяців передоплати10% потім 10% | $81,120 | 19% | $65,718загалом | $1.90 |
Мінімум — $1.90 за GPU-годину за вісім карт H100 SXM з NVSwitch проти $2.35 за одну карту на місячному періоді. Оплата не змінюється з розміром замовлення: один переказ у BTC, ETH, USDT, USDC, XMR, SOL або LTC завершує угоду, без картки і без посвідчення особи. Див. як працює оплата криптовалютою, що означає GPU-хостинг без KYC і чому місячний термін вигідніший за погодинний лічильник.
Чи можна орендувати від 16 до 64 GPU на кількох вузлах?
Так, з InfiniBand між вузлами; ціну розраховують індивідуально, а не продають з каталогу.
Повідомте продажам конфігурацію
Кількість GPU, модель, регіон, термін та InfiniBand HDR на 200 Гбіт/с або NDR на 400 Гбіт/с. Напишіть у відділ продажів.
Ціна і термін виконання
Від 16 до 64 GPU за цінами, прив’язаними до тарифів на вузли вище. Термін виконання від 2 до 6 тижнів, залежно від фабрики.
50% при замовленні
Половина першого терміну наперед, будь-якою з семи монет. Це резервує обладнання.
50% при передаванні
Решта — після проходження запуску фабрики, коли ви отримуєте root. Жодної перевірки особи на жодному кроці.
Мережа між інстансами в регіоні
Інстанси в одному регіоні можуть ділити приватний VLAN: рівень 2 між вашими машинами без публічного проміжного вузла, $25 на місяць, включено в кожний 8-картовий вузол. Це інструмент для сховища, яке живить чотири вузли 8× A100.
Це не заміна InfiniBand. VLAN працює на тому ж 100G Ethernet, що й усе інше: підходить для завантаження даних і чекпойнтів, але не годиться для обміну градієнтами на кожному кроці.
Коли оренда вузла з кількома GPU — поганий вибір?
Якщо ваше завдання вміщується на одній карті, вузол — це викинуті гроші. Вузол 8× RTX 4090 коштує $2,810 на місяць проти $390 за одну карту, а модель 13B у FP8 займає 22 ГБ разом із вагами, кешем і накладними витратами. Вісім карт окуповуються лише тоді, коли є вісім потоків роботи або модель, яка не вміщується.
Якщо вам потрібні вісім карт на два дні, скористайтеся погодинним провайдером: тиждень вузла 8× H100 коштує $3,420 незалежно від того, працює він шість годин чи 168. А якщо обмеженням є пам’ять, а не пропускна здатність, одна H200 зі 141 ГБ або MI300X зі 192 ГБ часто знімає потребу у вузлі.
Орендуйте вузол, коли
Модель не вміщується на одній карті, запуск триває тижні, вам потрібні вісім реплік за однією адресою або завдання шардоване і потребує 900 ГБ/с між картами.
Орендуйте окремі карти, коли
Завдання незалежні, навантаження непередбачуване або ви хочете протестувати на одній H100 SXM, перш ніж переходити до восьми.
Оренда мульти-GPU та кластерів, простими словами.
Скільки коштує оренда кластера 8x H100 на місяць?
Вузол GPU Rent Hub — це справжня машина чи віртуальний кластер?
Яка різниця між NVSwitch і PCIe для навчання з кількома GPU?
Скільки всього VRAM має вузол 8x H100?
Чи сумується знижка за кілька GPU з передоплатою?
Чи можу я орендувати більше ніж вісім GPU в одному кластері?
Чи можна орендувати вузол HGX без KYC і платити криптовалютою?
Який вузол орендувати для файн-тюнінгу моделі 70B?
Деталі розгортання в документації, стан парку на сторінці статусу.
Вісім карт на одній фабриці, до п’ятниці.
Вузли в наявності розгортаються як будь-який інший інстанс. Для 16 GPU і більше зверніться до відділу продажів; термін — від 2 до 6 тижнів.