8x H100 Cluster-Miete auf einer physischen Maschine.
GPU Rent Hub vermietet einen dedizierten 8× H100 SXM-Node, einen Single-Tenant-HGX-Server mit allen acht Karten auf einem NVSwitch-Fabric, für $12,170 pro Monat oder $3,420 pro Woche, zahlbar in Bitcoin, Ethereum, USDT, USDC, Monero, Solana oder Litecoin, ohne Identitätsprüfung.
Neun Node-Konfigurationen, von einer 8× RTX 4090-Box für $2,810 pro Monat bis zu einem 8× B200 HGX-Baseboard für $28,010.
Was ist ein Multi-GPU-Node, und worin unterscheidet er sich von einem Cluster?
Das Wort Cluster wird für zwei verschiedene Produkte verwendet. Nur eines davon bringt die Karten auf dasselbe Fabric.
Die Definition, nach der wir arbeiten
Ein Multi-GPU-Node ist ein physischer Server, der an einen einzelnen Tenant vermietet wird, mit allen GPUs auf einem einzigen Baseboard und einem direkten Fabric zwischen den Karten. Ein GPU Rent Hub 8× H100 SXM-Node ist ein NVIDIA HGX H100 Baseboard: acht Karten, 640 GB HBM3, NVSwitch, das jeder Karte 900 GB/s zu jeder anderen Karte gibt, 160 vCPU, 2 TB System-RAM, 16 TB lokaler NVMe und zwei 100G-Ports, mit Root auf der Bare-Metal-Ebene. Es sind nicht acht Instanzen, die über Ethernet verbunden sind, und es ist kein Stück einer Maschine, das mit jemand anderem geteilt wird.
Warum der Unterschied wichtig ist
Ein virtueller Cluster gibt Ihnen acht Karten, die jeweils einen Job ausführen können. Ein echter Node gibt Ihnen acht Karten, die gemeinsam einen Job ausführen können, und der Unterschied zeigt sich in dem Moment, in dem Sie ein Modell sharden, denn Sharding bedeutet, dass die Karten in jeder Schicht miteinander kommunizieren.
Alles auf dem Node gehört Ihnen: CPUs, RAM, NVMe, beide Uplinks und das Fabric. Nichts von uns läuft innerhalb des Betriebssystems, und ein vorrätiger Node wird wie jede andere Instanz bereitgestellt.
Wie viel kostet die Miete eines 8x H100-Clusters pro Monat?
$12,170 pro Monat für den HGX-H100-Node mit acht Karten, $2.11 pro GPU-Stunde. Der Rest der Spanne, zugeordnet zu der Arbeit, für die sie gekauft wird.
| Workload | Node | Gesamt-VRAM | Wöchentlich | Monatlich | Pro GPU-Stunde |
|---|---|---|---|---|---|
| Tensor-paralleles Serving von 70B-Modellen und Training, das keine einzelne Karte bewältigtHier starten | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Vollständiges Fine-Tuning mit Adam oder ein 405B-Modell in FP8Das schnellste Fabric unter den Nodes, die beides schaffen | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| Inferenz mit langem Kontext, bei der der KV-Cache dominiert141 GB pro Karte, kein Sharding für 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| Der meiste HBM pro Dollar, auf einem ROCm-nativen Stack$7.45 pro GB-Monat | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| Mehrwöchige Trainingsläufe mit begrenztem BudgetEine NVLink-Generation zurück, der halbe Preis | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| Vierfacher Tensor-Parallelismus, der halbe NodeDasselbe Fabric, geringere Bindung | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| Acht unabhängige Inferenz-ReplikateEin Modell pro Karte, FP8-Unterstützung | 8× L40SPCIe Gen4 Peer-to-Peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| Diffusions- und Video-Warteschlangen parallel1.79 TB/s pro Karte | 8× RTX 5090PCIe Gen5 Peer-to-Peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| Renderfarm, ein Batch-Job pro KarteGünstigste Möglichkeit, acht Karten zu halten | 8× RTX 4090PCIe Gen4 Peer-to-Peer | 192 GB | $790 | $2,810/mo | $0.49 |
Was gehört außer den GPUs zum Node?
Jede Angabe hier gilt pro Node, nicht pro Karte, und alles ist Ihnen dediziert zugewiesen.
| Node | Gesamt-VRAM | vCPU | RAM | NVMe | Netzwerk | Regionen |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMHalbes Baseboard | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinct-Plattform | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Was ist der Unterschied zwischen einem NVSwitch-Node und einem PCIe-Node?
Zwei Maschinengruppen in der Tabelle oben, und der Abstand zwischen ihnen beträgt etwa dreißig zu eins.
NVSwitch und NVLink
Auf den HGX-Plattformen erreicht jede Karte jede andere Karte mit 900 GB/s bei den H100- und H200-Nodes, mit 1,8 TB/s beim B200-Node und mit 600 GB/s beim A100-Node. Die MI300X-Plattform leistet dasselbe mit Infinity Fabric bei 896 GB/s. Keine CPU sitzt im Pfad.
Diese Bandbreite macht Tensor-Parallelismus erst realistisch. Ein einzelnes Modell auf acht Karten aufzuteilen bedeutet ein All-Reduce in jeder Schicht, hunderte Male pro Vorwärtsdurchlauf, und die Karten verbringen ihre Zeit mit Warten auf diesen Austausch statt mit Arithmetik, wenn die Verbindung langsam ist.
PCIe Peer-to-Peer
Die Nodes mit L40S, RTX 5090 und RTX 4090 haben kein NVLink. Die Karten kommunizieren über PCIe: etwa 32 GB/s in eine Richtung auf einer Gen4-x16-Verbindung, etwa 63 GB/s bei Gen5, geteilt mit allem anderen, das den Root Complex passiert. Gegenüber den 900 GB/s einer H100 SXM-Karte ist das etwa ein Achtundzwanzigstel der Bandbreite.
In der Praxis bedeutet das ein Modell pro Karte. Datenparalleles Training, acht Inferenz-Replikate hinter einem Load Balancer, acht Render-Jobs: alles in Ordnung. Ein 8-facher Tensor-paralleler Shard auf einem PCIe-Node ist möglich und langsam, und die Wall-Clock-Zeit kostet mehr, als der Node gespart hat.
Wie viel VRAM benötigt ein Multi-GPU-Node für Ihr Modell?
Zählen Sie zuerst die Bytes pro Parameter. Fast jede Node-Entscheidung ergibt sich aus dieser einen Zahl.
Die Größenregel
Gewichte benötigen 1 Byte pro Parameter in FP8 und 2 Bytes in BF16. Um ein Modell zu serven, addieren Sie den KV-Cache und etwa 2 GB Laufzeit-Overhead. Für ein vollständiges Fine-Tuning mit Adam in BF16 kalkulieren Sie etwa 16 Bytes pro Parameter: 2 für Gewichte, 2 für Gradienten und 12 für den Optimierer-Zustand und die FP32-Masterkopie. Nach den Zahlen des VRAM-Leitfadens benötigt ein 70B-Modell 75 GB zum Serving in FP8, 145 GB in BF16, 156 GB für LoRA und 1,288 GB für vollständiges Fine-Tuning mit berücksichtigten Aktivierungen. Nur die letzte Zahl hat Node-Größe.
Was Ihnen das bringt
Ein 70B-Modell in BF16 benötigt 145 GB, passt also nicht auf eine 80-GB-Karte, liegt aber auf einem 8× H100 SXM-Node mit 495 GB Reserve für Batch und KV-Cache. Ein vollständiges Fine-Tuning desselben Modells mit 1,288 GB schafft nur der 8× B200 oder der 8× MI300X. Alles andere hier benötigt LoRA oder ZeRO-Offload, wie auf der Seite GPU für Fine-Tuning dargelegt.
LoRA auf einem 70B-Modell ist keiner dieser Jobs. Bei 156 GB verortet es der VRAM-Leitfaden auf einer einzelnen MI300X für $1,590 pro Monat, sodass ein Node Sie das Siebenfache kostet und einen Abend Device Maps für nichts.
Nach Gigabytes pro Dollar sortiert ist die Reihenfolge deutlich: Der MI300X-Node kostet $7.45 pro GB-Monat, der L40S-Node $9.74, der A100-Node $11.14, der H100-Node $19.02. Die günstigen sind aus Gründen günstig: ROCm bei dem einen und kein NVLink bei dem anderen.
Wie funktioniert der Multi-GPU-Rabatt, und ist er kombinierbar?
5% bei zwei Karten, 8% bei vier, 10% bei acht, angewendet auf den Einzelkartenpreis. Er ist mit dem Vorauszahlungs-Rabatt kombinierbar.
| H100 SXM, ein Host | Listenpreis | Rabatt | Sie zahlen | Pro GPU-Stunde |
|---|---|---|---|---|
| 1 Karte | $1,690 | keiner | $1,690/mo | $2.35 |
| 2 Karten | $3,380 | 5% | $3,211/mo | $2.23 |
| 4 KartenNVLink, halbes Baseboard | $6,760 | 8% | $6,220/mo | $2.16 |
| 8 KartenVoller HGX-Node, NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8 Karten, 3 Monate vorausbezahlt10% dann 5% | $40,560 | 14.5% | $34,685gesamt | $2.01 |
| 8 Karten, 6 Monate vorausbezahlt10% dann 10% | $81,120 | 19% | $65,718gesamt | $1.90 |
Die Untergrenze liegt bei $1.90 pro GPU-Stunde für acht NVSwitch-verbundene H100 SXM-Karten, gegenüber $2.35 für eine einzelne Karte im laufenden Monat. Die Zahlung ändert sich nicht mit der Größe der Bestellung: Eine Überweisung in BTC, ETH, USDT, USDC, XMR, SOL oder LTC begleicht sie, ohne Karte und ohne Ausweisdokument. Siehe wie Krypto-Zahlung funktioniert, was No-KYC-GPU-Hosting bedeutet und warum eine Monatslaufzeit einen Stundenzähler schlägt.
Können Sie 16 bis 64 GPUs über mehrere Nodes mieten?
Ja, mit InfiniBand zwischen den Nodes, pro Fall kalkuliert statt aus dem Katalog verkauft.
Nennen Sie dem Vertrieb die Eckdaten
GPU-Anzahl, Modell, Region, Laufzeit und InfiniBand HDR mit 200 Gb/s oder NDR mit 400 Gb/s. Schreiben Sie an Vertrieb.
Angebot und Lieferzeit
16 bis 64 GPUs, kalkuliert anhand der oben genannten Node-Preise. Lieferzeit 2 bis 6 Wochen, abhängig vom Fabric.
50% bei Bestellung
Die Hälfte der ersten Laufzeit im Voraus, in einer der sieben Coins. Das reserviert die Hardware.
50% bei Übergabe
Der Rest, sobald das Fabric die Inbetriebnahme besteht und Sie Root haben. Keine Identitätsprüfung bei irgendeinem Schritt.
Netzwerk zwischen Instanzen in einer Region
Instanzen in derselben Region können ein privates VLAN teilen: Layer 2 zwischen Ihren Maschinen ohne öffentlichen Hop, $25 pro Monat, bei jedem 8-Wege-Node enthalten. Das ist das Werkzeug für eine Storage-Box, die vier 8× A100-Nodes versorgt.
Es ist kein Ersatz für InfiniBand. Ein VLAN läuft über dasselbe 100G-Ethernet wie alles andere: in Ordnung für das Laden von Daten und Checkpoints, falsch für den Gradientenaustausch bei jedem Schritt.
Wann ist ein Multi-GPU-Node das Falsche zum Mieten?
Wenn Ihr Job auf eine Karte passt, ist ein Node Geldverschwendung. Ein 8× RTX 4090-Node kostet $2,810 pro Monat gegenüber $390 für eine einzelne Karte, und ein 13B-Modell in FP8 benötigt insgesamt 22 GB, Gewichte, Cache und Overhead. Acht Karten rechnen sich nur bei acht Arbeitsströmen oder einem Modell, das nicht passt.
Wenn Sie acht Karten für zwei Tage benötigen, nutzen Sie einen stundenbasierten Anbieter: Eine Woche eines 8× H100-Nodes kostet $3,420, ob Sie ihn sechs Stunden oder 168 Stunden nutzen. Und wenn der Engpass eher der Speicher als der Durchsatz ist, entfällt mit einer einzelnen H200 mit 141 GB oder einer MI300X mit 192 GB oft die Notwendigkeit eines Nodes.
Mieten Sie einen Node, wenn
Das Modell passt nicht auf eine Karte, der Lauf dauert Wochen, Sie benötigen acht Replikate hinter einer Adresse, oder der Job ist geshardet und benötigt 900 GB/s zwischen den Karten.
Mieten Sie einzelne Karten, wenn
Die Jobs sind unabhängig, die Last ist unvorhersehbar, oder Sie möchten auf einer H100 SXM testen, bevor Sie sich auf acht festlegen.
Multi-GPU- und Cluster-Miete, klar gefragt.
Wie viel kostet die Miete eines 8x H100-Clusters pro Monat?
Ist ein GPU Rent Hub-Node eine echte Maschine oder ein virtueller Cluster?
Was ist der Unterschied zwischen NVSwitch und PCIe für Multi-GPU-Training?
Wie viel VRAM hat ein 8x H100-Node insgesamt?
Ist der Multi-GPU-Rabatt mit Vorauszahlungs-Laufzeiten kombinierbar?
Kann ich mehr als acht GPUs in einem Cluster mieten?
Kann ich einen HGX-Node ohne KYC mieten und in Krypto zahlen?
Welchen Node sollte ich mieten, um ein 70B-Modell feinzutunen?
Bereitstellungsdetails in der Dokumentation, Flottenstatus auf der Statusseite.
Acht Karten auf einem Fabric, bis Freitag.
Vorrätige Nodes werden wie jede andere Instanz bereitgestellt. Für 16 GPUs und mehr sprechen Sie mit dem Vertrieb und rechnen Sie mit 2 bis 6 Wochen.