GPU-Hosting-Blog und Changelog. Notizen aus dem Käfig.

Die zweite Tranche HGX B200 ist am 19. August eingetroffen, wurde eine Woche lang eingebrannt und hat heute Morgen die Warteliste abgearbeitet. Acht 8-Wege-Knoten sind live, zwei weitere Racks sind für IAD-1 mit Ziel November bestellt. Die Begrenzung ist die Stromversorgung, nicht der Nachschub: Ein B200-Knoten zieht an der Steckdose etwa 10.2 kW, und wir mussten dafür eine 415-V-Stromschiene in Käfig 4 ergänzen.

Einzel-GPU-B200-Instanzen können wir nicht anbieten — die Teile existieren nur auf einem 8-Wege-Baseboard —, daher ist die kleinste Einheit 2× (ein Halbknoten, per NVLink partitioniert) für $7,391/mo; das sind zwei Karten zu je $3,890 abzüglich des 5-%-Rabatts für zwei GPUs. Der aktuelle Bestand pro Region steht auf der B200-Mietseite.

Die NVMe jeder Instanz ist ein LUKS2-Volume mit einem Schlüssel, der beim Provisionieren erzeugt und im TPM des Hosts gespeichert wird, versiegelt auf diese Instanz-ID. Wenn du die Instanz freigibst, wird das TPM angewiesen, den Schlüssel zu zerstören — ab diesem Zeitpunkt ist der Inhalt des Laufwerks Geheimtext ohne irgendwo vorhandenen Schlüssel. Danach führen wir blkdiscard auf dem Namespace aus und lassen einen 30-sekündigen Verifikationslauf laufen, der 2,000 zufällige LBAs prüft und bestätigt, dass sie als null gelesen werden. Erst danach geht der Slot zurück in den Bestand. Das verlängert die Freigabe um etwa 90 Sekunden. Wir halten das für gerechtfertigt.

Leute fragten immer wieder, ob sie ausgemusterte Karten bei uns kaufen können, und wir sagten immer nein, weil wir keinen Prozess dafür hatten. Jetzt haben wir einen: eine Hardware-Seite mit neuen und aus der Flotte ausgemusterten Karten, Colocation in unseren eigenen Käfigen und einem Rückkaufpreis. Colocatierte Karten nutzen dieselbe Host-Flotte und dasselbe Dashboard wie Mietkarten — es gibt kein separates „Colo-Produkt“. Die Karte gehört dir, und die monatliche Rechnung reduziert sich auf Strom und Platz. Die Stufen pro Karte stehen auf der Seite GPU-Colocation.

Wer eine Instanz von wöchentlich auf monatlich umstellt (oder eine monatliche um 3/6 Monate mit Vorauszahlungsrabatt verlängert), fasst die Maschine nicht mehr an. Außerdem: Snapshot-Wiederherstellungen in eine andere Region, regenerierbare TOTP-Recovery-Codes, API-Webhooks bei Verlängerungsfehlern sowie ukrainische und türkische Übersetzungen des Dashboards.

Ein Rack, vier Knoten, alle an die Warteliste vorverkauft. Interessant: Die Effizienz an der Steckdose gegenüber H100 in einem FP8-Trainingsbenchmark, den wir zum Einbrennen nutzen, liegt bei etwa 2.1× pro Watt. Weniger interessant: der Ausbau der Stromschiene, den es dafür brauchte.

Eine 8-Wege-MI300X-Plattform in DFW-1 für alle, die nach 192 GB HBM zu einem Preis gefragt haben, der nicht H200 ist. ROCm-6.4-Template inklusive. Und die ersten 240 RTX 5090, über alle drei Regionen verteilt; nur Blower-Modelle, denn die 575-W-Triple-Fan-Retail-Karten gehören nicht in ein Rack.

Gleicher HGX-Formfaktor wie bei unseren H100-Knoten, daher verlief das Provisionieren unspektakulär. 141 GB pro Karte bedeuten, dass ein 70B-Modell in BF16 auf zwei Karten passt, mit Platz für einen Batch. Preis: $2,290/mo pro Karte, was immer noch der Zahl auf der H200-Mietseite entspricht.

Dritte Region. Wasserkraftbetriebenes Rechenzentrum, kühles Klima, gute Latenz zur Westküste und nach Asien-Pazifik. Startet mit Bestand an L40S, A100 und 4090; H100-Knoten folgen in Q4.

Wir haben die API neu geschrieben und anschließend das Dashboard so umgebaut, dass es nur noch die öffentliche API nutzt. Wenn etwas im Dashboard möglich ist, ist es auch mit curl möglich. v1 ist mit einer 12-monatigen Übergangsfrist als veraltet markiert.

Zuteilungen waren Anfang 2023 schwer zu bekommen. Wir bekamen fünfzig PCIe-Karten für DFW-1; SXM-Knoten kamen zehn Monate später. Jede dieser ersten fünfzig ist noch im Einsatz.

IAD-1 startet mit 300 GPUs, überwiegend A6000 und A40, sowie 3090ern, die aus Dallas verlegt wurden. Um zwei Tage verzögert durch einen Cross-Connect; die ehrliche Version steht auf der Statusseite.

Das am häufigsten gewünschte Feature unseres ersten Jahres. XMR-Einzahlungen werden nach 10 Bestätigungen zum Kassakurs bei der ersten Bestätigung gutgeschrieben, genau wie alles andere. Wir betreiben einen eigenen Node und tun das bis heute: siehe Monero-GPU-Hosting.

Ein Rack, ein Käfig, ein Switch (das würden wir noch lernen), vierzig 3090er und eine Preisseite mit genau einer Zeile. Monatslaufzeiten, weil wir eine GPU so mieten wollen würden. Bitcoin und Ethereum, weil wir das hatten. Kein KYC, weil wir deinen Pass ebenso wenig aufbewahren wollen, wie du ihn uns geben willst. Fünf Jahre später funktioniert No-KYC-GPU-Hosting immer noch genau so.