8x H100-clusterverhuur op één fysieke machine.
GPU Rent Hub verhuurt een dedicated 8× H100 SXM-node, één single-tenant HGX-server met alle acht kaarten op een NVSwitch-fabric, voor $12,170 per maand of $3,420 per week, betaald in Bitcoin, Ethereum, USDT, USDC, Monero, Solana of Litecoin zonder identiteitsverificatie.
Negen nodeconfiguraties, van een 8× RTX 4090-box voor $2,810 per maand tot een 8× B200 HGX-baseboard voor $28,010.
Wat is een multi-GPU-node en waarin verschilt die van een cluster?
Het woord cluster wordt voor twee verschillende producten gebruikt. Slechts één daarvan plaatst de kaarten op dezelfde fabric.
De definitie die wij hanteren
Een multi-GPU-node is één fysieke server die aan één tenant wordt verhuurd, met elke GPU op één baseboard en een directe fabric tussen de kaarten. Een 8× H100 SXM-node van GPU Rent Hub is een NVIDIA HGX H100-baseboard: acht kaarten, 640 GB HBM3, NVSwitch dat elke kaart 900 GB/s naar elke andere kaart geeft, 160 vCPU, 2 TB systeem-RAM, 16 TB lokaal NVMe en twee 100G-poorten, met root op de bare metal. Het zijn geen acht instances die via Ethernet zijn verbonden, en het is geen deel van een machine dat met iemand anders wordt gedeeld.
Waarom het onderscheid ertoe doet
Een virtueel cluster geeft je acht kaarten die elk afzonderlijk een taak kunnen draaien. Een echte node geeft je acht kaarten die samen één taak kunnen draaien, en het verschil wordt zichtbaar zodra je een model shard, want sharden betekent dat de kaarten in elke laag met elkaar communiceren.
Alles op de node is van jou: CPU's, RAM, NVMe, beide uplinks en de fabric. Er draait niets van ons in het besturingssysteem, en een node op voorraad wordt net als elke andere instance uitgerold.
Hoeveel kost een 8x H100-clusterverhuur per maand?
$12,170 per maand voor de HGX H100-node met acht kaarten, $2.11 per GPU-uur. De rest van het assortiment, afgestemd op het werk waarvoor het wordt aangeschaft.
| Werklast | Node | Totale VRAM | Wekelijks | Maandelijks | Per GPU-uur |
|---|---|---|---|---|---|
| Tensor-parallel serveren van 70B-modellen, en training die geen enkele kaart in zijn eentje aankanBegin hier | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Volledige fine-tune met Adam, of een 405B-model in FP8De snelste fabric van de nodes die beide aankunnen | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| Lang-context-inferentie waarbij de KV-cache domineert141 GB per kaart, geen sharding voor 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| Meeste HBM per dollar, op een ROCm-native stack$7.45 per GB-maand | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| Meerweekse trainingsruns met een beperkt budgetNVLink-generatie achter, helft van de prijs | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| Vierwegige tensorparallellisme, halve nodeZelfde fabric, kleinere verplichting | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| Acht onafhankelijke inferentiereplica'sEén model per kaart, FP8-ondersteuning | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| Diffusie- en video-wachtrijen parallel1.79 TB/s per kaart | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| Renderfarm, één batchtaak per kaartGoedkoopste manier om acht kaarten te hebben | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
Wat krijg je bij de node naast de GPU's?
Elk getal hier is per node, niet per kaart, en alles is uitsluitend voor jou.
| Node | Totale VRAM | vCPU | RAM | NVMe | Netwerk | Regio's |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMHalf baseboard | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinct-platform | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Wat is het verschil tussen een NVSwitch-node en een PCIe-node?
Twee groepen machines in de tabel hierboven, en het verschil ertussen is ongeveer dertig tegen één.
NVSwitch en NVLink
Op de HGX-platforms bereikt elke kaart elke andere kaart met 900 GB/s op de H100- en H200-nodes, 1.8 TB/s op de B200-node en 600 GB/s op de A100-node. Het MI300X-platform doet hetzelfde met Infinity Fabric op 896 GB/s. Er zit geen CPU in het pad.
Die bandbreedte maakt tensorparallellisme realistisch. Een enkel model over acht kaarten splitsen betekent een all-reduce in elke laag, honderden keren per forward pass, en de kaarten besteden hun tijd aan wachten op die uitwisseling in plaats van aan rekenwerk als de link traag is.
PCIe peer-to-peer
De L40S-, RTX 5090- en RTX 4090-nodes hebben geen NVLink. Kaarten praten via PCIe: ongeveer 32 GB/s in één richting op een Gen4 x16-link, ongeveer 63 GB/s op Gen5, gedeeld met al het andere dat de root complex passeert. Vergeleken met de 900 GB/s van een H100 SXM-kaart is dat ruwweg een achtentwintigste van de bandbreedte.
In de praktijk betekent dat één model per kaart. Dataparallel trainen, acht inferentiereplica's achter een load balancer, acht rendertaken: allemaal prima. Een 8-weg tensorparallelle shard op een PCIe-node is mogelijk maar traag, en de wall-clock-tijd kost meer dan de bespaarde nodekosten.
Hoeveel VRAM heeft een multi-GPU-node nodig voor jouw model?
Tel eerst bytes per parameter. Bijna elke nodebeslissing volgt uit dat ene getal.
De dimensioneringsregel
Gewichten nemen 1 byte per parameter in FP8 en 2 bytes in BF16. Om een model te serveren tel je de KV-cache en ongeveer 2 GB runtime-overhead erbij. Om het volledig te fine-tunen met Adam in BF16, reken je op ongeveer 16 bytes per parameter: 2 voor gewichten, 2 voor gradiënten en 12 voor optimizer-status en de FP32-masterkopie. Volgens de cijfers van de VRAM-gids heeft een 70B 75 GB nodig om te serveren in FP8, 145 GB in BF16, 156 GB voor LoRA en 1,288 GB om volledig te fine-tunen met activeringen meegeteld. Alleen dat laatste is een getal op nodeformaat.
Wat dat je oplevert
Een 70B-model in BF16 heeft 145 GB nodig, dus past het niet op één 80 GB-kaart, maar wel op een 8× H100 SXM-node met 495 GB over voor batch en KV-cache. Een volledige fine-tune van hetzelfde model op 1,288 GB lukt alleen op de 8× B200 of de 8× MI300X. Al het andere hier heeft LoRA of ZeRO-offload nodig, zoals beschreven op de GPU voor fine-tuning-pagina.
LoRA op een 70B is niet een van deze taken. Met 156 GB plaatst de VRAM-gids het op een enkele MI300X voor $1,590 per maand, dus een node kost je zeven keer het geld en een avond device maps voor niets.
Gerangschikt op gigabytes per dollar is de volgorde duidelijk: de MI300X-node kost $7.45 per GB-maand, de L40S-node $9.74, de A100-node $11.14, de H100-node $19.02. De goedkope zijn om een reden goedkoop: ROCm op de ene en geen NVLink op de andere.
Hoe werkt de multi-GPU-korting en is die stapelbaar?
5% bij twee kaarten, 8% bij vier, 10% bij acht, toegepast op de prijs van één kaart. Het is stapelbaar met de korting voor vooruitbetaalde termijnen.
| H100 SXM, één host | Catalogusprijs | Korting | Je betaalt | Per GPU-uur |
|---|---|---|---|---|
| 1 kaart | $1,690 | geen | $1,690/mo | $2.35 |
| 2 kaarten | $3,380 | 5% | $3,211/mo | $2.23 |
| 4 kaartenNVLink, half baseboard | $6,760 | 8% | $6,220/mo | $2.16 |
| 8 kaartenVolledige HGX-node, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8 kaarten, 3 maanden vooruitbetaald10% dan 5% | $40,560 | 14.5% | $34,685totaal | $2.01 |
| 8 kaarten, 6 maanden vooruitbetaald10% dan 10% | $81,120 | 19% | $65,718totaal | $1.90 |
De ondergrens is $1.90 per GPU-uur voor acht NVSwitched H100 SXM-kaarten, tegen $2.35 voor één kaart op een doorlopende maand. De betaling verandert niet met de grootte van de bestelling: één overboeking in BTC, ETH, USDT, USDC, XMR, SOL of LTC rondt het af, zonder kaart en zonder identiteitsbewijs. Zie hoe cryptobetaling werkt, wat no-KYC GPU-hosting betekent, en waarom een maandtermijn beter is dan een uurtarief.
Kun je 16 tot 64 GPU's verspreid over meerdere nodes huren?
Ja, met InfiniBand tussen de nodes, op aanvraag per geval in plaats van verkocht vanuit de catalogus.
Vertel sales de vorm
Aantal GPU's, model, regio, termijn, en InfiniBand HDR op 200 Gb/s of NDR op 400 Gb/s. Schrijf naar sales.
Offerte en levertijd
16 tot 64 GPU's, geprijsd tegen de nodetarieven hierboven. Levertijd 2 tot 6 weken, afhankelijk van de fabric.
50% bij bestelling
De helft van de eerste termijn vooraf, in een van de zeven munten. Dat reserveert de hardware.
50% bij oplevering
De rest zodra de fabric de bring-up heeft doorstaan en je root hebt. Geen identiteitscontrole bij welke stap dan ook.
Netwerken tussen instances in een regio
Instances in dezelfde regio kunnen een private VLAN delen: laag 2 tussen je machines zonder publieke hop, $25 per maand, inbegrepen op elke 8-weg node. Dat is het hulpmiddel voor een storagebox die vier 8× A100-nodes voedt.
Het is geen vervanging voor InfiniBand. Een VLAN rijdt over dezelfde 100G Ethernet als al het andere: prima voor data laden en checkpoints, verkeerd voor gradiëntuitwisseling bij elke stap.
Wanneer is een multi-GPU-node het verkeerde om te huren?
Als jouw taak op één kaart past, is een node geldverspilling. Een 8× RTX 4090-node kost $2,810 per maand tegen $390 voor één kaart, en een 13B-model in FP8 is 22 GB alles bij elkaar: gewichten, cache en overhead. Acht kaarten verdienen zichzelf alleen terug met acht stromen werk, of een model dat niet past.
Als je acht kaarten voor twee dagen nodig hebt, gebruik dan een provider met uurtarief: een week van een 8× H100-node kost $3,420 of je hem nu zes uur of 168 uur draait. En als de beperking geheugen is in plaats van doorvoer, vervalt de noodzaak voor een node vaak door een enkele H200 met 141 GB of een MI300X met 192 GB.
Huur een node wanneer
Het model past niet op één kaart, de run duurt weken, je hebt acht replica's achter één adres nodig, of de taak is geshard en heeft 900 GB/s tussen kaarten nodig.
Huur losse kaarten wanneer
De taken zijn onafhankelijk, de belasting is onvoorspelbaar, of je wilt testen op één H100 SXM voordat je je aan acht vastlegt.
Multi-GPU- en clusterverhuur, helder gevraagd.
Hoeveel kost een 8x H100-clusterverhuur per maand?
Is een GPU Rent Hub-node een echte machine of een virtueel cluster?
Wat is het verschil tussen NVSwitch en PCIe voor multi-GPU-training?
Hoeveel VRAM heeft een 8x H100-node in totaal?
Is de multi-GPU-korting stapelbaar met vooruitbetaalde termijnen?
Kan ik meer dan acht GPU's in één cluster huren?
Kan ik een HGX-node huren zonder KYC en in crypto betalen?
Welke node moet ik huren om een 70B-model te fine-tunen?
Implementatiedetails in de documentatie, vlootstatus op de statuspagina.
Acht kaarten op één fabric, tegen vrijdag.
Nodes op voorraad worden uitgerold als elke andere instance. Voor 16 GPU's en meer, neem contact op met sales en reken op 2 tot 6 weken.