Blog y registro de cambios de alojamiento de GPU. Notas desde la jaula.

El segundo tramo de HGX B200 llegó el 19 de agosto, se sometió a burn-in durante una semana y despejó la lista de espera esta mañana. Ocho nodos de 8 vías están activos; hay dos racks más pedidos para IAD-1 con objetivo en noviembre. La limitación es la potencia, no el suministro: un nodo B200 consume ~10,2 kW en el enchufe y tuvimos que añadir un busway de 415 V a la jaula 4 para ellos.

No podemos ofrecer instancias B200 de una sola GPU —las piezas solo existen en una placa base de 8 vías—, así que la unidad más pequeña es 2× (medio nodo, particionado por NVLink) a $7,391/mo, es decir, dos tarjetas a $3,890 menos el 5% de descuento por dos GPU. El stock disponible por región está en la página de alquiler de B200.

El NVMe de cada instancia es un volumen LUKS2 con una clave generada en el aprovisionamiento y guardada en el TPM del host, sellada a ese ID de instancia. Al liberar la instancia, se pide al TPM que destruya la clave; en ese momento el contenido del disco es texto cifrado sin clave en ningún sitio. Después ejecutamos blkdiscard en el namespace y una pasada de verificación de 30 segundos que muestrea 2,000 LBA aleatorios y confirma que se leen como cero. Solo después de eso, la ranura vuelve al inventario. Esto añade unos 90 segundos a la liberación. Creemos que merece la pena.

La gente no dejaba de pedirnos comprar tarjetas retiradas, y nosotros no dejábamos de decir que no porque no teníamos un proceso. Ahora lo tenemos: una página de hardware con tarjetas nuevas y retiradas de la flota, colocación en nuestras propias jaulas y una tarifa de recompra. Las tarjetas en colocación usan la misma flota de hosts y el mismo panel que los alquileres; no hay un «producto de colo» separado. La tarjeta es tuya y la factura mensual se reduce a potencia y espacio. Los niveles por tarjeta están en la página de colocación de GPU.

Cambiar una instancia de semanal a mensual (o ampliar una mensual por 3/6 meses con el descuento por prepago) ya no toca la máquina. También: restauraciones de instantáneas a una región diferente, códigos de recuperación TOTP regenerables, webhooks de la API para fallos de renovación y traducciones al ucraniano y al turco del panel.

Un rack, cuatro nodos, todos prevendidos a la lista de espera. Interesante: la eficiencia en el enchufe frente a H100 en un benchmark de entrenamiento FP8 que usamos para burn-in es de aproximadamente 2,1× por vatio. Menos interesante: la mejora del busway que necesitó.

Una plataforma MI300X de 8 vías en DFW-1 para quienes pidieron 192 GB de HBM a un precio que no es el del H200. Plantilla ROCm 6.4 incluida. Y las primeras 240 RTX 5090 repartidas por las tres regiones; solo modelos blower, porque las tarjetas retail de triple ventilador de 575 W no tienen sitio en un rack.

Mismo factor de forma HGX que nuestros nodos H100, así que el aprovisionamiento fue sin incidentes. 141 GB por tarjeta significa que un modelo de 70B en BF16 cabe en dos tarjetas con espacio para un batch. Precio de $2,290/mo por tarjeta, que sigue siendo la cifra en la página de alquiler de H200.

Tercera región. Instalación hidroeléctrica, clima fresco, buena latencia hacia la costa oeste y Asia-Pacífico. Abre con stock de L40S, A100 y 4090; los nodos H100 llegarán en el cuarto trimestre.

Reescribimos la API y luego reescribimos el panel para que usara solo la API pública. Si algo es posible en el panel, es posible con curl. La v1 está obsoleta con un periodo de retirada de 12 meses.

Conseguir asignación era difícil a principios de 2023. Conseguimos cincuenta tarjetas PCIe para DFW-1; los nodos SXM llegaron diez meses después. Cada una de esas primeras cincuenta sigue en servicio.

IAD-1 abre con 300 GPU, sobre todo A6000 y A40, y 3090 trasladadas desde Dallas. Retrasado dos días por un cross-connect; mira la página de estado para la versión honesta.

La función más solicitada de nuestro primer año. Los depósitos XMR se acreditan tras 10 confirmaciones al tipo de cambio spot de la primera confirmación, igual que todo lo demás. Gestionamos nuestro propio nodo, y seguimos haciéndolo: consulta alojamiento de GPU con Monero.

Un rack, una jaula, un switch (aprenderíamos sobre eso), cuarenta 3090 y una página de precios con exactamente una fila. Plazos mensuales porque así es como nos gustaría alquilar una GPU. Bitcoin y Ethereum porque es lo que teníamos. Sin KYC porque no queremos guardar tu pasaporte, igual que tú no quieres dárnoslo. Cinco años después, el alojamiento de GPU sin KYC sigue funcionando exactamente igual.