Location de cluster 8x H100 sur une seule machine physique.
GPU Rent Hub loue un nœud dédié 8× H100 SXM, un serveur HGX mono-locataire avec les huit cartes sur une structure NVSwitch, pour $12,170 par mois ou $3,420 par semaine, payable en Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin, sans vérification d’identité.
Neuf configurations de nœuds, d’une machine 8× RTX 4090 à $2,810 par mois à une baseboard HGX 8× B200 à $28,010.
Qu’est-ce qu’un nœud multi-GPU et en quoi diffère-t-il d’un cluster ?
Le mot cluster est employé pour deux produits différents. Un seul d’entre eux place les cartes sur la même structure d’interconnexion.
La définition que nous appliquons
Un nœud multi-GPU est un serveur physique loué à un seul locataire, avec l’ensemble des GPU sur une seule baseboard et une interconnexion directe entre les cartes. Un nœud GPU Rent Hub 8× H100 SXM est une baseboard NVIDIA HGX H100 : huit cartes, 640 GB de HBM3, NVSwitch donnant à chaque carte 900 GB/s vers chaque autre carte, 160 vCPU, 2 TB de RAM système, 16 TB de NVMe local et deux ports 100G, avec un accès root sur la machine nue. Ce n’est pas huit instances reliées en Ethernet, et ce n’est pas un morceau de machine partagé avec quelqu’un d’autre.
Pourquoi la distinction compte
Un cluster virtuel vous donne huit cartes qui peuvent chacune exécuter une tâche. Un vrai nœud vous donne huit cartes qui peuvent exécuter une tâche ensemble, et la différence apparaît dès que vous découpez un modèle, car le sharding signifie que les cartes se parlent à chaque couche.
Tout sur le nœud est à vous : processeurs, RAM, NVMe, les deux liaisons montantes et la structure d’interconnexion. Rien de notre côté ne s’exécute dans le système d’exploitation, et un nœud en stock se déploie comme n’importe quelle autre instance.
Combien coûte par mois la location d’un cluster 8x H100 ?
$12,170 par mois pour le nœud HGX H100 à huit cartes, soit $2.11 par GPU-heure. Le reste de la gamme, en regard du travail pour lequel on l’achète.
| Charge de travail | Nœud | VRAM totale | Hebdomadaire | Mensuel | Par GPU-heure |
|---|---|---|---|---|---|
| Inférence tensorielle parallèle de modèles 70B, et entraînement qu’aucune carte seule ne peut contenirCommencez ici | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mois | $2.11 |
| Fine-tuning complet avec Adam, ou modèle 405B en FP8L’interconnexion la plus rapide parmi les nœuds qui satisfont les deux | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mois | $4.86 |
| Inférence à contexte long où le cache KV domine141 GB par carte, pas de sharding pour 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mois | $2.86 |
| Le plus de HBM par dollar, sur une pile native ROCm$7.45 par GB-mois | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mois | $1.99 |
| Entraînements de plusieurs semaines avec un budget serréUne génération NVLink de retard, la moitié du prix | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mois | $1.24 |
| Parallélisme tensoriel à quatre voies, la moitié du nœudMême interconnexion, engagement plus petit | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mois | $2.16 |
| Huit réplicas d’inférence indépendantsUn modèle par carte, prise en charge FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mois | $0.65 |
| Files de diffusion et de vidéo en parallèle1.79 TB/s par carte | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mois | $0.68 |
| Ferme de rendu, un job par lots par carteLa façon la moins chère de détenir huit cartes | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mois | $0.49 |
Qu’est-ce qui est fourni avec le nœud en plus des GPU ?
Chaque chiffre ici est par nœud, pas par carte, et tout vous est dédié.
| Nœud | VRAM totale | vCPU | RAM | NVMe | Réseau | Régions |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMDemi-baseboard | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XPlateforme AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Quelle est la différence entre un nœud NVSwitch et un nœud PCIe ?
Deux groupes de machines dans le tableau ci-dessus, et l’écart entre eux est d’environ trente pour un.
NVSwitch et NVLink
Sur les plateformes HGX, chaque carte atteint chaque autre carte à 900 GB/s sur les nœuds H100 et H200, 1.8 TB/s sur le nœud B200 et 600 GB/s sur le nœud A100. La plateforme MI300X fait le même travail avec Infinity Fabric à 896 GB/s. Aucun CPU ne se trouve sur le chemin.
Cette bande passante est ce qui rend le parallélisme tensoriel réaliste. Diviser un seul modèle sur huit cartes signifie un all-reduce à chaque couche, des centaines de fois par passe avant, et les cartes passent leur temps à attendre cet échange plutôt qu’à calculer si la liaison est lente.
PCIe peer-to-peer
Les nœuds L40S, RTX 5090 et RTX 4090 n’ont pas de NVLink. Les cartes communiquent en PCIe : environ 32 GB/s dans un sens sur une liaison Gen4 x16, environ 63 GB/s en Gen5, partagés avec tout le reste qui traverse le root complex. Face aux 900 GB/s d’une carte H100 SXM, cela représente environ un vingt-huitième de la bande passante.
En pratique, cela signifie un modèle par carte. Entraînement data-parallèle, huit réplicas d’inférence derrière un équilibreur de charge, huit tâches de rendu : tout va bien. Un shard tensoriel parallèle à 8 voies sur un nœud PCIe est possible mais lent, et le temps réel coûte plus cher que le nœud économisé.
De combien de VRAM un nœud multi-GPU a-t-il besoin pour votre modèle ?
Comptez d’abord les octets par paramètre. Presque toutes les décisions concernant le nœud découlent de ce seul chiffre.
La règle de dimensionnement
Les poids occupent 1 octet par paramètre en FP8 et 2 octets en BF16. Pour servir un modèle, ajoutez le cache KV et environ 2 GB de surcharge d’exécution. Pour un fine-tuning complet avec Adam en BF16, prévoyez environ 16 octets par paramètre : 2 pour les poids, 2 pour les gradients et 12 pour l’état de l’optimiseur et la copie maîtresse FP32. Selon les chiffres du guide VRAM, un 70B a besoin de 75 GB pour être servi en FP8, 145 GB en BF16, 156 GB pour LoRA et 1,288 GB pour un fine-tuning complet en comptant les activations. Seul ce dernier chiffre est de l’ordre du nœud.
Ce que cela vous apporte
Un modèle 70B en BF16 a besoin de 145 GB, il ne tient donc pas sur une carte de 80 GB, mais il tient sur un nœud 8× H100 SXM avec 495 GB de marge pour le batch et le cache KV. Un fine-tuning complet du même modèle à 1,288 GB ne passe que sur le 8× B200 ou le 8× MI300X. Tout le reste ici nécessite LoRA ou un déchargement ZeRO, comme expliqué sur la page GPU pour le fine-tuning.
Le LoRA sur un 70B n’est pas une de ces tâches. À 156 GB, le guide VRAM le place sur un simple MI300X à $1,590 par mois, donc un nœud vous coûte sept fois plus cher et une soirée de device maps pour rien.
Classés par gigaoctets par dollar, l’ordre est net : le nœud MI300X est à $7.45 par GB-mois, le nœud L40S à $9.74, le nœud A100 à $11.14, le nœud H100 à $19.02. Les moins chers le sont pour une raison : ROCm pour l’un, pas de NVLink pour l’autre.
Comment fonctionne la remise multi-GPU, et est-elle cumulable ?
5% à deux cartes, 8% à quatre, 10% à huit, appliquée au prix de la carte seule. Elle se cumule avec la remise de terme prépayé.
| H100 SXM, un hôte | Prix catalogue | Remise | Vous payez | Par GPU-heure |
|---|---|---|---|---|
| 1 carte | $1,690 | aucune | $1,690/mois | $2.35 |
| 2 cartes | $3,380 | 5% | $3,211/mois | $2.23 |
| 4 cartesNVLink, demi-baseboard | $6,760 | 8% | $6,220/mois | $2.16 |
| 8 cartesNœud HGX complet, NVSwitch | $13,520 | 10% | $12,170/mois | $2.11 |
| 8 cartes, 3 mois prépayés10% puis 5% | $40,560 | 14.5% | $34,685total | $2.01 |
| 8 cartes, 6 mois prépayés10% puis 10% | $81,120 | 19% | $65,718total | $1.90 |
Le plancher est de $1.90 par GPU-heure pour huit cartes H100 SXM reliées par NVSwitch, contre $2.35 pour une seule carte en mois renouvelable. Le paiement ne change pas avec la taille de la commande : un seul transfert en BTC, ETH, USDT, USDC, XMR, SOL ou LTC règle la facture, sans carte et sans pièce d’identité. Voir comment fonctionne le paiement en crypto, ce que signifie un hébergement GPU sans KYC, et pourquoi un terme mensuel vaut mieux qu’un compteur horaire.
Peut-on louer de 16 à 64 GPU répartis sur plusieurs nœuds ?
Oui, avec InfiniBand entre les nœuds, sur devis au cas par cas plutôt que vendu au catalogue.
Décrivez la configuration au service commercial
Nombre de GPU, modèle, région, terme, et InfiniBand HDR à 200 Gb/s ou NDR à 400 Gb/s. Écrivez au service commercial.
Devis et délai de livraison
16 à 64 GPU, au prix des tarifs de nœuds ci-dessus. Délai de 2 à 6 semaines, selon la structure d’interconnexion.
50% à la commande
La moitié du premier terme d’avance, dans l’une des sept cryptomonnaies. Cela réserve le matériel.
50% à la livraison
Le solde une fois que la structure d’interconnexion a passé les tests de mise en service et que vous avez root. Aucun contrôle d’identité à aucune étape.
Réseau entre les instances dans une région
Les instances de la même région peuvent partager un VLAN privé : de la couche 2 entre vos machines sans saut public, $25 par mois, inclus sur chaque nœud à 8 cartes. C’est l’outil pour une machine de stockage alimentant quatre nœuds 8× A100.
Ce n’est pas un substitut à InfiniBand. Un VLAN emprunte le même Ethernet 100G que tout le reste : bien pour le chargement des données et les points de contrôle, inadapté à l’échange de gradients à chaque pas.
Quand un nœud multi-GPU est-il le mauvais choix à louer ?
Si votre tâche tient sur une seule carte, un nœud est un gaspillage d’argent. Un nœud 8× RTX 4090 coûte $2,810 par mois contre $390 pour une carte seule, et un modèle 13B en FP8 représente 22 GB tout compris, poids, cache et surcharge. Huit cartes ne se rentabilisent qu’avec huit flux de travail, ou un modèle qui ne tient pas sur une carte.
Si vous avez besoin de huit cartes pendant deux jours, passez par un fournisseur à l’heure : une semaine d’un nœud 8× H100 coûte $3,420, que vous l’utilisiez six heures ou 168. Et si la contrainte est la mémoire plutôt que le débit, un simple H200 avec 141 GB ou un MI300X avec 192 GB supprime souvent le besoin d’un nœud.
Louez un nœud quand
Le modèle ne tient pas sur une carte, le traitement dure des semaines, vous avez besoin de huit réplicas derrière une même adresse, ou la tâche est shardée et nécessite 900 GB/s entre les cartes.
Louez des cartes simples quand
Les tâches sont indépendantes, la charge est imprévisible, ou vous voulez tester sur un H100 SXM avant de vous engager sur huit.
Location multi-GPU et de cluster, en questions simples.
Combien coûte par mois la location d’un cluster 8x H100 ?
Un nœud GPU Rent Hub est-il une vraie machine ou un cluster virtuel ?
Quelle est la différence entre NVSwitch et PCIe pour l’entraînement multi-GPU ?
Quelle quantité de VRAM un nœud 8x H100 a-t-il au total ?
La remise multi-GPU est-elle cumulable avec les termes prépayés ?
Puis-je louer plus de huit GPU dans un même cluster ?
Puis-je louer un nœud HGX sans KYC et payer en crypto ?
Quel nœud louer pour fine-tuner un modèle 70B ?
Détails de déploiement dans la documentation, état de la flotte sur la page de statut.
Huit cartes sur une même structure d’interconnexion, d’ici vendredi.
Les nœuds en stock se déploient comme n’importe quelle autre instance. Pour 16 GPU et plus, parlez au service commercial et comptez de 2 à 6 semaines.