GPU-hostingblog en changelog. Notities uit de kooi.

De tweede tranche HGX B200 is op 19 augustus binnengekomen, een week ingebrand en vanochtend van de wachtlijst gehaald. Acht 8-way nodes zijn live; voor IAD-1 staan nog twee racks in bestelling met november als doel. Stroom is de beperkende factor, niet de levering: een B200-node trekt aan het stopcontact ~10.2 kW en we hebben er een 415 V-busway voor moeten toevoegen aan kooi 4.

Instances met één B200-GPU kunnen we niet aanbieden — de onderdelen bestaan alleen op een 8-way baseboard — dus de kleinste eenheid is 2× (een half node, NVLink-gepartitioneerd) voor $7,391/maand, oftewel twee kaarten à $3,890 minus de 5% korting voor twee GPU’s. De actuele voorraad per regio staat op de B200-verhuurpagina.

De NVMe van iedere instance is een LUKS2-volume met een sleutel die bij het aanmaken wordt gegenereerd en in de host-TPM wordt bewaard, verzegeld aan dat instance-ID. Als je de instance vrijgeeft, vraagt die vrijgave de TPM de sleutel te vernietigen — op dat moment is de inhoud van de schijf ciphertext zonder sleutel waar dan ook. Daarna voeren we blkdiscard uit op de namespace en draaien we een verificatiepass van 30 seconden die 2.000 willekeurige LBA’s bemonstert en controleert dat ze als nul uitlezen. Pas daarna gaat de slot terug naar de voorraad. Dit voegt ongeveer 90 seconden toe aan het vrijgeven. Wij vinden dat het waard is.

Mensen bleven vragen of ze uitgefaseerde kaarten van ons konden kopen, en wij bleven nee zeggen omdat we geen proces hadden. Nu wel: een hardwarepagina met nieuwe en uitgefaseerde kaarten, colocatie in onze eigen kooien en een terugkooptarief. Gecolocide kaarten gebruiken dezelfde hostvloot en hetzelfde dashboard als verhuur — er is geen apart ‘coloproduct’. De kaart is van jou en de maandelijkse rekening daalt naar stroom en ruimte. De tarieven per kaart staan op de GPU-colocatiepagina.

Een instance van wekelijks naar maandelijks omzetten (of een maandelijkse verlengen met 3/6 maanden tegen de prepaidkorting) raakt de machine nu niet meer. Verder: snapshot-herstel naar een andere regio, opnieuw te genereren TOTP-herstelcodes, API-webhooks voor verlengingsfouten en Oekraïense en Turkse vertalingen van het dashboard.

Eén rack, vier nodes, allemaal voorverkocht aan de wachtlijst. Interessant: de efficiëntie aan het stopcontact ten opzichte van de H100 op een FP8-trainingsbenchmark die we voor burn-in draaien, is ongeveer 2.1× per watt. Minder interessant: de busway-upgrade die daarvoor nodig was.

Eén 8-way MI300X-platform in DFW-1 voor mensen die vroegen om 192 GB HBM voor een prijs die niet die van de H200 is. ROCm 6.4-template inbegrepen. En de eerste 240 RTX 5090’s verdeeld over alle drie de regio’s; uitsluitend blower-modellen, want de retailkaarten met drie fans van 575 W horen niet in een rack thuis.

Dezelfde HGX-vormfactor als onze H100-nodes, dus het provisioneren verliep zonder bijzonderheden. 141 GB per kaart betekent dat een 70B-model in BF16 op twee kaarten past met ruimte voor een batch. Geprijsd op $2,290/maand per kaart; dat is nog steeds het bedrag op de H200-verhuurpagina.

Derde regio. Waterkrachtgevoede faciliteit, koel klimaat, goede latency naar de westkust en Azië-Pacific. Opent met L40S-, A100- en 4090-voorraad; H100-nodes volgen in Q4.

We hebben de API herschreven en daarna het dashboard herschreven om alleen nog de publieke API te gebruiken. Als iets mogelijk is in het dashboard, is het mogelijk met curl. v1 is deprecated met een uitfaseringsperiode van 12 maanden.

Toewijzing was begin 2023 moeilijk te krijgen. We kregen vijftig PCIe-kaarten voor DFW-1; SXM-nodes kwamen tien maanden later. Elk van die eerste vijftig is nog steeds in dienst.

IAD-1 opent met 300 GPU’s, voornamelijk A6000 en A40, en 3090’s die vanuit Dallas zijn verhuisd. Twee dagen vertraagd door een cross-connect; zie de statuspagina voor de eerlijke versie.

De meest gevraagde functie van ons eerste jaar. XMR-stortingen worden na 10 bevestigingen bijgeschreven tegen de spotkoers op de eerste bevestiging, net als al het andere. We draaien onze eigen node, en dat doen we nog steeds: zie Monero-GPU-hosting.

Eén rack, één kooi, één switch (daar zouden we nog over leren), veertig 3090’s en een prijspagina met precies één rij. Maandelijkse termijnen omdat we zelf ook zo een GPU zouden willen huren. Bitcoin en Ethereum omdat we dat hadden. Geen KYC omdat we jouw paspoort net zo min willen bewaren als jij het aan ons wilt geven. Vijf jaar later werkt no-KYC-GPU-hosting nog precies zo.