Wynajem klastra 8x H100 na jednej fizycznej maszynie.
GPU Rent Hub wynajmuje dedykowany węzeł 8× H100 SXM, jeden serwer HGX dla jednego najemcy ze wszystkimi ośmioma kartami w sieci NVSwitch, za $12,170 miesięcznie lub $3,420 tygodniowo, płatne w Bitcoin, Ethereum, USDT, USDC, Monero, Solana lub Litecoin bez weryfikacji tożsamości.
Dziewięć konfiguracji węzłów, od skrzynki 8× RTX 4090 za $2,810 miesięcznie do płyty bazowej 8× B200 HGX za $28,010.
Czym jest węzeł multi-GPU i czym różni się od klastra?
Słowo klaster bywa używane na określenie dwóch różnych produktów. Tylko jeden z nich umieszcza karty na wspólnej magistrali.
Definicja, według której pracujemy
Węzeł multi-GPU to jeden fizyczny serwer wynajmowany jednemu najemcy, z wszystkimi GPU na jednej płycie bazowej i bezpośrednią magistralą między kartami. Węzeł GPU Rent Hub 8× H100 SXM to płyta bazowa NVIDIA HGX H100: osiem kart, 640 GB HBM3, NVSwitch dający każdej karcie 900 GB/s do każdej innej karty, 160 vCPU, 2 TB pamięci RAM systemu, 16 TB lokalnego NVMe i dwa porty 100G, z uprawnieniami root na gołym metalu. To nie jest osiem instancji połączonych przez Ethernet ani wycinek maszyny współdzielonej z kimś innym.
Dlaczego to rozróżnienie ma znaczenie
Klaster wirtualny daje osiem kart, z których każda może uruchomić osobne zadanie. Prawdziwy węzeł daje osiem kart, które mogą wspólnie uruchomić jedno zadanie, a różnica ujawnia się w chwili, gdy sharduje się model, ponieważ sharding oznacza, że karty komunikują się ze sobą w każdej warstwie.
Wszystko na węźle należy do Ciebie: procesory, RAM, NVMe, oba łącza uplink i magistrala. W systemie operacyjnym nie działa nic naszego, a węzeł dostępny od ręki wdraża się jak każda inna instancja.
Ile kosztuje miesięczny wynajem klastra 8x H100?
$12,170 miesięcznie za ośmiokartowy węzeł HGX H100, $2.11 za godzinę GPU. Pozostała część oferty, dopasowana do zadań, do których się ją kupuje.
| Obciążenie | Węzeł | Łączna VRAM | Tygodniowo | Miesięcznie | Za godzinę GPU |
|---|---|---|---|---|---|
| Obsługa modeli 70B w trybie tensor-parallel oraz trening, którego nie utrzyma pojedyncza kartaZacznij tutaj | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Pełne dostrajanie z Adamem lub model 405B w FP8Najszybsza magistrala spośród węzłów, które spełniają oba warunki | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| Inferencja z długim kontekstem, w której dominuje pamięć podręczna KV141 GB na kartę, bez shardingu dla 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| Najwięcej HBM za dolara, na natywnym stosie ROCm$7.45 za GB miesięcznie | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| Wielotygodniowe treningi przy ograniczonym budżecieGeneracja NVLink wstecz, połowa ceny | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| Tensor-parallelism czterokierunkowy, połowa węzłaTa sama magistrala, mniejsze zobowiązanie | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| Osiem niezależnych replik inferencjiJeden model na kartę, wsparcie FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| Kolejki dyfuzji i wideo równolegle1.79 TB/s na kartę | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| Farma renderująca, jedno zadanie wsadowe na kartęNajtańszy sposób na utrzymanie ośmiu kart | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
Co otrzymujesz z węzłem oprócz kart GPU?
Wszystkie wartości dotyczą węzła, a nie pojedynczej karty, i w całości są przeznaczone dla Ciebie.
| Węzeł | Łączna VRAM | vCPU | RAM | NVMe | Sieć | Regiony |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMPołowa płyty bazowej | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XPlatforma AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Jaka jest różnica między węzłem NVSwitch a węzłem PCIe?
Dwie grupy maszyn w powyższej tabeli, a różnica między nimi wynosi około trzydzieści do jednego.
NVSwitch i NVLink
Na platformach HGX każda karta dociera do każdej innej z prędkością 900 GB/s w węzłach H100 i H200, 1.8 TB/s w węźle B200 i 600 GB/s w węźle A100. Platforma MI300X realizuje to samo zadanie za pomocą Infinity Fabric z prędkością 896 GB/s. Na ścieżce nie ma procesora.
Ta przepustowość sprawia, że paralelizm tensorowy staje się realny. Podział jednego modelu na osiem kart oznacza all-reduce w każdej warstwie, setki razy na każde przejście w przód, a przy wolnym łączu karty spędzają czas na oczekiwaniu na tę wymianę zamiast na obliczeniach.
PCIe peer-to-peer
Węzły L40S, RTX 5090 i RTX 4090 nie mają NVLink. Karty komunikują się przez PCIe: około 32 GB/s w jednym kierunku na łączu Gen4 x16, około 63 GB/s na Gen5, współdzielone z całym ruchem przechodzącym przez root complex. W porównaniu z 900 GB/s karty H100 SXM to mniej więcej jedna dwudziesta ósma przepustowości.
W praktyce oznacza to jeden model na kartę. Trening data-parallel, osiem replik inferencji za load balancerem, osiem zadań renderowania — wszystko w porządku. Ośmiokierunkowy shard tensor-parallel na węźle PCIe jest możliwy, ale wolny, a czas zegarowy kosztuje więcej niż oszczędność na węźle.
Ile pamięci VRAM potrzebuje węzeł multi-GPU dla Twojego modelu?
Najpierw policz bajty na parametr. Prawie każda decyzja o wyborze węzła wynika z tej jednej liczby.
Zasada doboru
Wagi zajmują 1 bajt na parametr w FP8 i 2 bajty w BF16. Aby serwować model, dodaj pamięć podręczną KV i około 2 GB narzutu środowiska uruchomieniowego. Aby w pełni go dostroić z Adamem w BF16, zaplanuj około 16 bajtów na parametr: 2 na wagi, 2 na gradienty i 12 na stan optymalizatora oraz kopię główną FP32. Według danych z przewodnika VRAM model 70B potrzebuje 75 GB do serwowania w FP8, 145 GB w BF16, 156 GB dla LoRA i 1,288 GB do pełnego dostrajania z aktywacjami. Tylko ta ostatnia wartość ma rozmiar węzła.
Co to daje
Model 70B w BF16 potrzebuje 145 GB, więc nie zmieści się na jednej karcie 80 GB, ale mieści się na węźle 8× H100 SXM z 495 GB zapasu na batch i pamięć KV. Pełne dostrajanie tego samego modelu przy 1,288 GB przechodzi tylko na 8× B200 lub 8× MI300X. Wszystko inne tutaj wymaga LoRA lub offloadu ZeRO, jak opisano na stronie GPU do dostrajania.
LoRA na 70B to nie jest zadanie na taki węzeł. Przy 156 GB przewodnik VRAM umieszcza je na pojedynczej karcie MI300X za $1,590 miesięcznie, więc węzeł kosztuje siedem razy więcej i wieczór konfigurowania map urządzeń na nic.
Po uszeregowaniu według gigabajtów za dolara kolejność jest bezlitosna: węzeł MI300X kosztuje $7.45 za GB miesięcznie, węzeł L40S $9.74, węzeł A100 $11.14, węzeł H100 $19.02. Tanie są tanie z konkretnych powodów: na jednym ROCm, na drugim brak NVLink.
Jak działa rabat multi-GPU i czy się sumuje?
5% przy dwóch kartach, 8% przy czterech, 10% przy ośmiu, naliczane od ceny pojedynczej karty. Sumuje się z rabatem za przedpłatę.
| H100 SXM, jeden host | Cena katalogowa | Rabat | Płacisz | Za godzinę GPU |
|---|---|---|---|---|
| 1 karta | $1,690 | brak | $1,690/mo | $2.35 |
| 2 karty | $3,380 | 5% | $3,211/mo | $2.23 |
| 4 kartyNVLink, połowa płyty bazowej | $6,760 | 8% | $6,220/mo | $2.16 |
| 8 kartPełny węzeł HGX, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8 kart, przedpłata na 3 miesiące10%, potem 5% | $40,560 | 14.5% | $34,685łącznie | $2.01 |
| 8 kart, przedpłata na 6 miesięcy10%, potem 10% | $81,120 | 19% | $65,718łącznie | $1.90 |
Dolna granica to $1.90 za godzinę GPU za osiem kart H100 SXM z NVSwitch, w porównaniu z $2.35 za pojedynczą kartę w okresie miesięcznym. Płatność nie zmienia się wraz z wielkością zamówienia: jedna transakcja w BTC, ETH, USDT, USDC, XMR, SOL lub LTC rozlicza je, bez karty i bez dokumentu tożsamości. Zobacz, jak działa płatność kryptowalutą, co oznacza hosting GPU bez KYC oraz dlaczego okres miesięczny jest lepszy niż licznik godzinowy.
Czy można wynająć od 16 do 64 GPU na kilku węzłach?
Tak, z InfiniBand pomiędzy węzłami, wyceniane indywidualnie, a nie sprzedawane z katalogu.
Przekaż sprzedaży konfigurację
Liczba GPU, model, region, okres oraz InfiniBand HDR 200 Gb/s lub NDR 400 Gb/s. Napisz do działu sprzedaży.
Wycena i czas realizacji
Od 16 do 64 GPU, wyceniane na podstawie stawek za węzły powyżej. Czas realizacji od 2 do 6 tygodni, w zależności od infrastruktury połączeń.
50% przy zamówieniu
Połowa pierwszego okresu z góry, w dowolnej z siedmiu kryptowalut. To rezerwuje sprzęt.
50% przy odbiorze
Reszta po przejściu testów uruchomieniowych infrastruktury i uzyskaniu uprawnień root. Na żadnym etapie nie ma weryfikacji tożsamości.
Sieć między instancjami w regionie
Instancje w tym samym regionie mogą współdzielić prywatną sieć VLAN: warstwa 2 między Twoimi maszynami bez publicznego przeskoku, $25 miesięcznie, wliczona w każdy węzeł 8-kartowy. To narzędzie do podłączenia maszyny storage do czterech węzłów 8× A100.
To nie zastępuje InfiniBand. Sieć VLAN działa na tym samym 100G Ethernet co cała reszta: odpowiednia do ładowania danych i checkpointów, zła do wymiany gradientów w każdym kroku.
Kiedy wynajem węzła multi-GPU jest złym wyborem?
Jeśli Twoje zadanie mieści się na jednej karcie, węzeł to strata pieniędzy. Węzeł 8× RTX 4090 kosztuje $2,810 miesięcznie, podczas gdy pojedyncza karta $390, a model 13B w FP8 zajmuje 22 GB łącznie z wagami, pamięcią podręczną i narzutem. Osiem kart zwraca się tylko przy ośmiu strumieniach pracy lub modelu, który się nie mieści.
Jeśli potrzebujesz ośmiu kart na dwa dni, skorzystaj z dostawcy godzinowego: tydzień węzła 8× H100 kosztuje $3,420 niezależnie od tego, czy uruchamiasz go na sześć godzin, czy na 168. A jeśli ograniczeniem jest pamięć, a nie przepustowość, pojedyncza karta H200 ze 141 GB lub MI300X ze 192 GB często eliminuje potrzebę węzła.
Wynajmij węzeł, gdy
Model nie mieści się na jednej karcie, obliczenia trwają tygodniami, potrzebujesz ośmiu replik za jednym adresem albo zadanie jest shardowane i wymaga 900 GB/s między kartami.
Wynajmij pojedyncze karty, gdy
Zadania są niezależne, obciążenie jest nieprzewidywalne albo chcesz przetestować na jednej karcie H100 SXM, zanim zaangażujesz się w osiem.
Wynajem multi-GPU i klastrów, w prostych słowach.
Ile kosztuje miesięczny wynajem klastra 8x H100?
Czy węzeł GPU Rent Hub to prawdziwa maszyna, czy klaster wirtualny?
Jaka jest różnica między NVSwitch a PCIe w treningu multi-GPU?
Ile łącznie pamięci VRAM ma węzeł 8x H100?
Czy rabat multi-GPU sumuje się z okresami przedpłaty?
Czy mogę wynająć więcej niż osiem GPU w jednym klastrze?
Czy mogę wynająć węzeł HGX bez KYC i zapłacić kryptowalutą?
Który węzeł wynająć do dostrajania modelu 70B?
Szczegóły wdrożenia w dokumentacji, stan floty na stronie statusu.
Osiem kart na jednej magistrali, do piątku.
Węzły dostępne od ręki wdrażają się jak każda inna instancja. Przy 16 GPU i więcej skontaktuj się ze sprzedażą i licz się z czasem od 2 do 6 tygodni.