Blog et journal des modifications de l'hébergement GPU. Notes depuis la cage.

La deuxième tranche de HGX B200 est arrivée le 19 août, a été rodée pendant une semaine et a permis de libérer la liste d'attente ce matin. Huit nœuds 8 voies sont en service, deux baies supplémentaires sont en commande pour IAD-1 avec une cible en novembre. La contrainte, c'est l'énergie, pas l'approvisionnement : un nœud B200 consomme environ 10,2 kW à la prise et nous avons dû ajouter un jeu de barres 415 V à la cage 4 pour eux.

Les instances B200 à GPU unique ne sont pas quelque chose que nous pouvons proposer — les pièces n'existent que sur une carte de base 8 voies — la plus petite unité est donc 2× (un demi-nœud, partitionné NVLink) à 7 391 $/mois, soit deux cartes à 3 890 $ moins la remise de 5 % pour deux GPU. Le stock en direct par région se trouve sur la page de location B200.

Le NVMe de chaque instance est un volume LUKS2 avec une clé générée lors du provisionnement et conservée dans le TPM de l'hôte, scellée à l'identifiant de cette instance. La libération de l'instance demande au TPM de détruire la clé — à ce stade, le contenu du disque est du texte chiffré sans aucune clé nulle part. Ensuite, nous exécutons blkdiscard sur le namespace et lançons une passe de vérification de 30 secondes qui échantillonne 2 000 LBA aléatoires et confirme qu'ils se lisent comme zéro. Ce n'est qu'après cela que le slot retourne à l'inventaire. Cela ajoute environ 90 secondes à la libération. Nous pensons que cela en vaut la peine.

Les gens n'arrêtaient pas de demander à nous acheter des cartes retirées du parc, et nous disions toujours non parce que nous n'avions pas de processus. Maintenant, c'est chose faite : une page matériel avec des cartes neuves et des cartes retirées du parc, de la colocation dans nos propres cages et un tarif de rachat. Les cartes en colocation utilisent la même flotte d'hôtes et le même tableau de bord que les locations — il n'existe pas de « produit colo » distinct. La carte vous appartient et la facture mensuelle se réduit à l'énergie et à l'espace. Les paliers par carte figurent sur la page colocation GPU.

Passer une instance d'hebdomadaire à mensuelle (ou prolonger une instance mensuelle de 3/6 mois avec la remise prépayée) ne touche plus la machine. Également : restauration d'instantanés vers une autre région, codes de récupération TOTP régénérables, webhooks API en cas d'échec de renouvellement, et traductions ukrainienne et turque du tableau de bord.

Une baie, quatre nœuds, tous pré-vendus à la liste d'attente. Intéressant : l'efficacité à la prise par rapport au H100 sur un benchmark d'entraînement FP8 que nous exécutons pour le rodage est d'environ 2,1× par watt. Moins intéressant : la mise à niveau du jeu de barres qu'il a fallu faire.

Une plateforme MI300X 8 voies à DFW-1 pour ceux qui demandaient 192 Go de HBM à un prix qui n'est pas celui du H200. Modèle ROCm 6.4 inclus. Et les 240 premières RTX 5090 réparties dans les trois régions ; uniquement des modèles blower, car les cartes grand public triple ventilateur de 575 W n'ont pas leur place dans une baie.

Même facteur de forme HGX que nos nœuds H100, le provisionnement a donc été sans incident. 141 Go par carte signifie qu'un modèle 70B en BF16 tient sur deux cartes avec de la place pour un batch. Tarifé à 2 290 $/mois par carte, ce qui est toujours le chiffre indiqué sur la page de location H200.

Troisième région. Installation hydroélectrique, climat frais, bonne latence vers la côte Ouest et l'Asie-Pacifique. Ouverture avec du stock L40S, A100 et 4090 ; les nœuds H100 suivront au quatrième trimestre.

Nous avons réécrit l'API, puis réécrit le tableau de bord pour qu'il n'utilise que l'API publique. Si une chose est possible dans le tableau de bord, elle est possible avec curl. La v1 est dépréciée, avec un arrêt définitif au bout de 12 mois.

L'allocation était difficile à obtenir début 2023. Nous avons obtenu cinquante cartes PCIe pour DFW-1 ; les nœuds SXM sont arrivés dix mois plus tard. Chacune de ces cinquante premières est toujours en service.

IAD-1 ouvre avec 300 GPU, principalement des A6000 et des A40, et des 3090 déplacées depuis Dallas. Retardé de deux jours par une interconnexion ; voir la page d'état pour la version honnête.

La fonctionnalité la plus demandée de notre première année. Les dépôts XMR sont crédités après 10 confirmations au cours spot à la première confirmation, comme pour tout le reste. Nous gérons notre propre nœud, et c'est toujours le cas : voir Hébergement GPU Monero.

Une baie, une cage, un switch (nous allions apprendre à ce sujet), quarante 3090, et une page de tarification avec exactement une ligne. Des durées mensuelles parce que c'est ainsi que nous voudrions louer un GPU. Bitcoin et Ethereum parce que c'est ce que nous avions. Pas de KYC parce que nous ne voulons pas conserver votre passeport, pas plus que vous ne voulez nous le donner. Cinq ans plus tard, l'hébergement GPU sans KYC fonctionne toujours exactement de cette façon.