Blog e changelog di GPU hosting. Note dalla gabbia.

La seconda tranche di HGX B200 è arrivata il 19 agosto, è stata in burn-in per una settimana e stamattina ha smaltito la lista d'attesa. Otto nodi a 8 vie sono attivi; altri due rack sono stati ordinati per IAD-1 con obiettivo novembre. Il vincolo è la potenza, non la fornitura: un nodo B200 assorbe ~10.2 kW alla presa e per loro abbiamo dovuto aggiungere una blindosbarra a 415 V nella gabbia 4.

Le istanze B200 con una sola GPU non sono qualcosa che possiamo offrire — i componenti esistono solo su una scheda base a 8 vie — quindi l'unità minima è 2× (un mezzo nodo, partizionato via NVLink) a $7,391/mo, pari a due schede a $3,890 meno lo sconto del 5% per due GPU. La disponibilità live per regione si trova sulla pagina di noleggio B200.

L'NVMe di ogni istanza è un volume LUKS2 con una chiave generata al provisioning e custodita nel TPM dell'host, sigillata per quell'ID istanza. Il rilascio dell'istanza chiede al TPM di distruggere la chiave — a quel punto il contenuto dell'unità è testo cifrato senza alcuna chiave da nessuna parte. Poi eseguiamo blkdiscard sul namespace e un passaggio di verifica di 30 secondi che campiona 2,000 LBA casuali e conferma che vengano letti come zero. Solo dopo lo slot torna in inventario. Questo aggiunge circa 90 secondi al rilascio. Pensiamo che ne valga la pena.

Le persone continuavano a chiedere di acquistare le schede ritirate dalla flotta e noi continuavamo a dire di no perché non avevamo un processo. Ora ce l'abbiamo: una pagina hardware con schede nuove e ritirate dalla flotta, colocation nelle nostre gabbie e una tariffa di riacquisto. Le schede in colocation usano la stessa flotta di host e la stessa dashboard dei noleggi — non esiste un "prodotto colo" separato. La scheda è tua e la fattura mensile si riduce a potenza e spazio. I livelli per scheda sono sulla pagina GPU colocation.

Passare un'istanza da settimanale a mensile (o estendere una mensile di 3/6 mesi con lo sconto prepagato) non tocca più la macchina. Inoltre: ripristino di snapshot in una regione diversa, codici di recupero TOTP rigenerabili, webhook API per i mancati rinnovi e traduzioni ucraina e turca della dashboard.

Un rack, quattro nodi, tutti pre-venduti a chi era in lista d'attesa. Interessante: l'efficienza alla presa rispetto all'H100 su un benchmark di addestramento FP8 che eseguiamo per il burn-in è circa 2.1× per watt. Meno interessante: l'upgrade della blindosbarra che ha richiesto.

Una piattaforma MI300X a 8 vie in DFW-1 per chi ha chiesto 192 GB di HBM a un prezzo che non sia quello dell'H200. Template ROCm 6.4 incluso. E le prime 240 RTX 5090 distribuite in tutte e tre le regioni; solo modelli blower, perché le schede retail a tripla ventola da 575 W non hanno posto in un rack.

Stesso form factor HGX dei nostri nodi H100, quindi il provisioning è stato senza intoppi. 141 GB per scheda significa che un modello da 70B in BF16 sta su due schede con spazio per un batch. Prezzo: $2,290/mo per scheda, che è ancora il numero sulla pagina di noleggio H200.

Terza regione. Struttura alimentata a energia idroelettrica, clima fresco, buona latenza verso la West Coast e l'Asia-Pacifico. Apre con scorte di L40S, A100 e 4090; i nodi H100 seguono nel Q4.

Abbiamo riscritto l'API e poi abbiamo riscritto la dashboard perché usasse solo l'API pubblica. Se una cosa è possibile nella dashboard, è possibile con curl. La v1 è deprecata con una dismissione in 12 mesi.

All'inizio del 2023 era difficile ottenere assegnazioni. Abbiamo ottenuto cinquanta schede PCIe per DFW-1; i nodi SXM sono arrivati dieci mesi dopo. Ognuna di quelle prime cinquanta è ancora in servizio.

IAD-1 apre con 300 GPU, per lo più A6000 e A40, e con 3090 trasferite da Dallas. Ritardata di due giorni da una cross-connect; per la versione onesta vedi la pagina di stato.

La funzionalità più richiesta del nostro primo anno. I depositi XMR vengono accreditati dopo 10 conferme al tasso spot alla prima conferma, come tutto il resto. Gestiamo un nostro nodo, e lo facciamo ancora: vedi Monero GPU hosting.

Un rack, una gabbia, uno switch (ne avremmo imparato qualcosa), quaranta 3090 e una pagina dei prezzi con esattamente una riga. Durate mensili perché è così che vorremmo noleggiare una GPU. Bitcoin ed Ethereum perché è quello che avevamo. No KYC perché non vogliamo custodire il tuo passaporto più di quanto tu voglia darcelo. Cinque anni dopo, l'hosting GPU no-KYC funziona ancora esattamente così.