Noleggio cluster 8x H100 su una macchina fisica.
GPU Rent Hub noleggia un nodo dedicato 8× H100 SXM, un server HGX a tenant singolo con tutte le otto schede su una fabric NVSwitch, a $12,170 al mese o $3,420 alla settimana, pagati in Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin senza verifica dell'identità.
Nove configurazioni di nodo, da un box 8× RTX 4090 a $2,810 al mese a una baseboard HGX 8× B200 a $28,010.
Che cos'è un nodo multi-GPU e in cosa differisce da un cluster?
La parola cluster viene usata per due prodotti diversi. Solo uno dei due mette le schede sulla stessa fabric.
La definizione a cui ci atteniamo
Un nodo multi-GPU è un server fisico noleggiato a un singolo tenant, con ogni GPU su un'unica baseboard e una fabric diretta tra le schede. Un nodo GPU Rent Hub 8× H100 SXM è una baseboard NVIDIA HGX H100: otto schede, 640 GB di HBM3, NVSwitch che dà a ogni scheda 900 GB/s verso ogni altra scheda, 160 vCPU, 2 TB di RAM di sistema, 16 TB di NVMe locale e due porte 100G, con root sul bare metal. Non sono otto istanze collegate via Ethernet, e non è una fetta di una macchina condivisa con qualcun altro.
Perché la distinzione conta
Un cluster virtuale ti dà otto schede che possono eseguire ciascuna un job. Un nodo reale ti dà otto schede che possono eseguire un job insieme, e la differenza emerge nel momento in cui suddividi un modello, perché lo sharding fa sì che le schede si parlino a ogni livello.
Tutto ciò che è sul nodo è tuo: CPU, RAM, NVMe, entrambi gli uplink e la fabric. Nulla di nostro è in esecuzione dentro il sistema operativo, e un nodo in stock viene distribuito come qualsiasi altra istanza.
Quanto costa al mese il noleggio di un cluster 8x H100?
$12,170 al mese per il nodo HGX H100 a otto schede, $2.11 per GPU-ora. Il resto della gamma, associato al lavoro per cui viene acquistato.
| Carico di lavoro | Nodo | VRAM totale | Settimanale | Mensile | Per GPU-ora |
|---|---|---|---|---|---|
| Serving tensor-parallelo di modelli 70B e addestramento che non sta in una singola schedaInizia da qui | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Fine-tuning completo con Adam, oppure un modello 405B in FP8La fabric più veloce tra i nodi che li superano entrambi | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| Inferenza a contesto lungo dove domina la cache KV141 GB per scheda, niente sharding per 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| Più HBM per dollaro, su uno stack nativo ROCm$7.45 per GB-mese | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| Run di addestramento di più settimane con un budget limitatoGenerazione NVLink indietro, metà del prezzo | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| Parallelismo tensoriale a quattro vie, metà del nodoStessa fabric, impegno minore | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| Otto repliche di inferenza indipendentiUn modello per scheda, supporto FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| Code di diffusione e video in parallelo1.79 TB/s per scheda | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| Render farm, un job batch per schedaIl modo più economico per tenere otto schede | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
Cosa include il nodo oltre alle GPU?
Ogni cifra qui è per nodo, non per scheda, ed è interamente dedicata a te.
| Nodo | VRAM totale | vCPU | RAM | NVMe | Rete | Regioni |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMMetà baseboard | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XPiattaforma AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Che differenza c'è tra un nodo NVSwitch e un nodo PCIe?
Due gruppi di macchine nella tabella qui sopra, e il divario tra loro è di circa trenta a uno.
NVSwitch e NVLink
Sulle piattaforme HGX, ogni scheda raggiunge ogni altra scheda a 900 GB/s sui nodi H100 e H200, a 1.8 TB/s sul nodo B200 e a 600 GB/s sul nodo A100. La piattaforma MI300X svolge lo stesso compito con Infinity Fabric a 896 GB/s. Nessuna CPU si trova nel percorso.
Quella larghezza di banda è ciò che rende realistico il parallelismo tensoriale. Dividere un singolo modello su otto schede significa un all-reduce a ogni livello, centinaia di volte per passaggio in avanti, e le schede passano il tempo ad aspettare quello scambio invece dell'aritmetica se il collegamento è lento.
PCIe peer-to-peer
I nodi L40S, RTX 5090 e RTX 4090 non hanno NVLink. Le schede comunicano via PCIe: circa 32 GB/s in una direzione su un collegamento Gen4 x16, circa 63 GB/s su Gen5, condivisi con tutto il resto che attraversa il root complex. Rispetto ai 900 GB/s di una scheda H100 SXM è circa un ventottesimo della larghezza di banda.
In pratica significa un modello per scheda. Addestramento data-parallelo, otto repliche di inferenza dietro un bilanciatore di carico, otto job di rendering: tutto bene. Uno shard tensor-parallelo a 8 vie su un nodo PCIe è possibile ma lento, e il tempo di esecuzione costa più del nodo risparmiato.
Quanta VRAM serve a un nodo multi-GPU per il tuo modello?
Conta prima i byte per parametro. Quasi ogni decisione sul nodo deriva da quell'unico numero.
La regola di dimensionamento
I pesi occupano 1 byte per parametro in FP8 e 2 byte in BF16. Per servire un modello, aggiungi la cache KV e circa 2 GB di overhead di runtime. Per un fine-tuning completo con Adam in BF16, metti in conto circa 16 byte per parametro: 2 per i pesi, 2 per i gradienti e 12 per lo stato dell'ottimizzatore e la copia master FP32. Secondo i dati della guida alla VRAM, un 70B richiede 75 GB per essere servito in FP8, 145 GB in BF16, 156 GB per LoRA e 1,288 GB per un fine-tuning completo contando le attivazioni. Solo l'ultimo è un numero da nodo.
Cosa ti offre
Un modello 70B in BF16 richiede 145 GB, quindi non entra in una scheda da 80 GB ma sta su un nodo 8× H100 SXM con 495 GB liberi per batch e cache KV. Un fine-tuning completo dello stesso modello a 1,288 GB riesce solo sul nodo 8× B200 o sul nodo 8× MI300X. Tutto il resto qui richiede LoRA o offload ZeRO, come indicato nella pagina GPU per fine-tuning.
Il LoRA su un 70B non è uno di questi lavori. A 156 GB la guida alla VRAM lo colloca su una singola MI300X a $1,590 al mese, quindi un nodo ti costa sette volte i soldi e una serata di device map per niente.
In classifica per gigabyte per dollaro l'ordine è netto: il nodo MI300X costa $7.45 per GB-mese, il nodo L40S $9.74, il nodo A100 $11.14, il nodo H100 $19.02. Quelli economici sono economici per un motivo: ROCm su uno e niente NVLink sull'altro.
Come funziona lo sconto multi-GPU e si cumula?
5% con due schede, 8% con quattro, 10% con otto, applicato al prezzo della singola scheda. Si cumula con lo sconto per il termine prepagato.
| H100 SXM, un singolo host | Prezzo di listino | Sconto | Paghi | Per GPU-ora |
|---|---|---|---|---|
| 1 scheda | $1,690 | nessuno | $1,690/mo | $2.35 |
| 2 schede | $3,380 | 5% | $3,211/mo | $2.23 |
| 4 schedeNVLink, metà baseboard | $6,760 | 8% | $6,220/mo | $2.16 |
| 8 schedeNodo HGX completo, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8 schede, 3 mesi prepagati10% poi 5% | $40,560 | 14.5% | $34,685totale | $2.01 |
| 8 schede, 6 mesi prepagati10% poi 10% | $81,120 | 19% | $65,718totale | $1.90 |
Il minimo è $1.90 per GPU-ora per otto schede H100 SXM con NVSwitch, contro $2.35 per una singola scheda con rinnovo mensile. Il pagamento non cambia con la dimensione dell'ordine: un singolo trasferimento in BTC, ETH, USDT, USDC, XMR, SOL o LTC lo salda, senza carta e senza documento d'identità. Vedi come funziona il pagamento in crypto, cosa significa hosting GPU senza KYC e perché un termine mensile batte un contatore orario.
Puoi noleggiare da 16 a 64 GPU su più nodi?
Sì, con InfiniBand tra i nodi, quotato caso per caso anziché venduto a catalogo.
Comunica alle vendite la configurazione
Numero di GPU, modello, regione, durata e InfiniBand HDR a 200 Gb/s o NDR a 400 Gb/s. Scrivi a vendite.
Preventivo e tempi di consegna
Da 16 a 64 GPU, prezzate in base alle tariffe dei nodi sopra. Tempi di consegna da 2 a 6 settimane, a seconda della fabric.
50% all'ordine
Metà del primo periodo in anticipo, in una qualsiasi delle sette monete. Questo riserva l'hardware.
50% alla consegna
Il resto una volta che la fabric supera il bring-up e hai accesso root. Nessun controllo d'identità in alcun passaggio.
Rete tra istanze nella stessa regione
Le istanze nella stessa regione possono condividere una VLAN privata: layer 2 tra le tue macchine senza passaggi pubblici, $25 al mese, inclusa su ogni nodo a 8 vie. È lo strumento giusto per un box di storage che alimenta quattro nodi 8× A100.
Non è un sostituto di InfiniBand. Una VLAN viaggia sulla stessa Ethernet a 100G di tutto il resto: va bene per il caricamento dei dati e i checkpoint, è sbagliata per lo scambio dei gradienti a ogni passo.
Quando un nodo multi-GPU è la cosa sbagliata da noleggiare?
Se il tuo job sta su una sola scheda, un nodo è uno spreco di denaro. Un nodo 8× RTX 4090 costa $2,810 al mese contro $390 per una singola scheda, e un modello 13B in FP8 richiede 22 GB in tutto, tra pesi, cache e overhead. Otto schede si ripagano solo con otto flussi di lavoro, oppure con un modello che non entra.
Se ti servono otto schede per due giorni, usa un provider orario: una settimana di un nodo 8× H100 costa $3,420 sia che lo usi per sei ore sia per 168. E se il vincolo è la memoria invece del throughput, una singola H200 con 141 GB o una MI300X con 192 GB spesso elimina la necessità di un nodo.
Noleggia un nodo quando
Il modello non sta su una scheda, il run dura settimane, ti servono otto repliche dietro un unico indirizzo, oppure il job è suddiviso con sharding e richiede 900 GB/s tra le schede.
Noleggia singole schede quando
I job sono indipendenti, il carico è imprevedibile, oppure vuoi testare su una singola H100 SXM prima di impegnarti per otto.
Noleggio multi-GPU e cluster, chiesto in modo semplice.
Quanto costa al mese il noleggio di un cluster 8x H100?
Un nodo GPU Rent Hub è una macchina reale o un cluster virtuale?
Qual è la differenza tra NVSwitch e PCIe per l'addestramento multi-GPU?
Quanta VRAM ha in totale un nodo 8x H100?
Lo sconto multi-GPU si cumula con i termini prepagati?
Posso noleggiare più di otto GPU in un unico cluster?
Posso noleggiare un nodo HGX senza KYC e pagare in crypto?
Quale nodo dovrei noleggiare per il fine-tuning di un modello 70B?
Dettagli di deployment nella documentazione, stato della flotta nella pagina di stato.
Otto schede su un'unica fabric, entro venerdì.
I nodi in stock vengono distribuiti come qualsiasi altra istanza. Per 16 GPU o più, parla con il reparto vendite e prevedi da 2 a 6 settimane.