Blog e changelog de hospedagem de GPU. Notas da gaiola.

O segundo lote de HGX B200 chegou em 19 August, passou uma semana de burn-in e liberou a lista de espera hoje de manhã. Oito nós 8-way estão no ar; mais dois racks estão encomendados para IAD-1 com previsão para November. Energia é a restrição, não o fornecimento: um nó B200 consome ~10,2 kW na tomada, e tivemos que adicionar um barramento de 415 V na gaiola 4 para ele.

Instâncias B200 de GPU única não são algo que podemos oferecer — as peças só existem em uma placa-base 8-way — então a menor unidade é 2× (meio nó, particionado via NVLink) por $7,391/mo, o que equivale a duas placas a $3,890 menos o desconto de 5% para duas GPUs. O estoque disponível por região está na página de locação de B200.

O NVMe de cada instância é um volume LUKS2 com uma chave gerada no provisionamento e mantida no TPM do host, selada para o ID daquela instância. Liberar a instância faz o TPM destruir a chave — nesse ponto, o conteúdo do drive é texto cifrado sem chave em lugar nenhum. Em seguida, damos blkdiscard no namespace e rodamos uma verificação de 30 segundos que amostra 2.000 LBAs aleatórios e confirma que leem zero. Só depois disso o slot volta ao inventário. Isso adiciona cerca de 90 segundos à liberação. Achamos que vale a pena.

As pessoas sempre pediam para comprar placas aposentadas da frota, e nós sempre dizíamos não porque não tínhamos um processo. Agora temos: uma página de hardware com placas novas e aposentadas da frota, colocation em nossas próprias gaiolas e taxa de recompra. Placas em colocation usam a mesma frota de hosts e o mesmo painel das locações — não existe um “produto de colocation” separado. A placa é sua, e a fatura mensal cai para energia e espaço. Os tiers por placa estão na página de colocation de GPU.

Alternar uma instância de semanal para mensal (ou estender uma mensal por 3/6 meses com o desconto de pré-pago) não mexe mais na máquina. Também: restauração de snapshot para outra região, códigos de recuperação TOTP regeneráveis, webhooks de API para falhas de renovação e traduções do painel em ucraniano e turco.

Um rack, quatro nós, todos pré-vendidos para a lista de espera. Interessante: a eficiência na tomada em relação ao H100 em um benchmark de treino FP8 que usamos no burn-in é de cerca de 2,1× por watt. Menos interessante: a atualização do barramento que ele exigiu.

Uma plataforma MI300X 8-way em DFW-1 para quem pediu 192 GB de HBM por um preço que não é o do H200. Template ROCm 6.4 incluído. E as primeiras 240 RTX 5090 distribuídas pelas três regiões; apenas modelos blower, porque as placas de varejo de 575 W com três ventoinhas não pertencem a um rack.

Mesmo formato HGX dos nossos nós H100, então o provisionamento foi tranquilo. 141 GB por placa significam que um modelo 70B em BF16 cabe em duas placas com espaço para batch. Preço de $2,290/mo por placa, que ainda é o número na página de locação de H200.

Terceira região. Instalação movida a energia hidrelétrica, clima frio, boa latência para a Costa Oeste e Ásia-Pacífico. Abre com estoque de L40S, A100 e 4090; os nós H100 chegam no Q4.

Reescrevemos a API e depois reescrevemos o painel para usar somente a API pública. Se algo é possível no painel, é possível com curl. A v1 está obsoleta com um prazo de 12 meses para descontinuação.

A alocação estava difícil de conseguir no início de 2023. Conseguimos cinquenta placas PCIe para DFW-1; os nós SXM vieram dez meses depois. Cada uma daquelas primeiras cinquenta ainda está em serviço.

IAD-1 abre com 300 GPUs, a maioria A6000 e A40, e 3090s vindas de Dallas. Atrasado em dois dias por um cross-connect; veja a página de status para a versão honesta.

O recurso mais pedido do nosso primeiro ano. Depósitos em XMR são creditados após 10 confirmações, pela cotação à vista na primeira confirmação, como tudo o mais. Rodamos nosso próprio nó, e ainda rodamos: veja hospedagem de GPU com Monero.

Um rack, uma gaiola, um switch (nós aprenderíamos sobre isso), quarenta 3090 e uma página de preços com exatamente uma linha. Prazos mensais porque é assim que gostaríamos de alugar uma GPU. Bitcoin e Ethereum porque era o que tínhamos. Sem KYC porque não queremos guardar seu passaporte, assim como você não quer nos entregá-lo. Cinco anos depois, a hospedagem de GPU sem KYC ainda funciona exatamente dessa forma.