Aluguel de cluster 8x H100 em uma máquina física.
A GPU Rent Hub aluga um nó dedicado 8× H100 SXM, um servidor HGX de locatário único com as oito placas em uma malha NVSwitch, por $12,170 por mês ou $3,420 por semana, pago em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin sem verificação de identidade.
Nove configurações de nó, de uma caixa 8× RTX 4090 por $2,810 por mês a uma baseboard HGX 8× B200 por $28,010.
O que é um nó multi-GPU e como ele difere de um cluster?
A palavra cluster é usada para dois produtos diferentes. Apenas um deles coloca as placas na mesma malha.
A definição com que trabalhamos
Um nó multi-GPU é um servidor físico alugado a um único locatário, com todas as GPUs em uma única baseboard e uma malha direta entre as placas. Um nó 8× H100 SXM da GPU Rent Hub é uma baseboard NVIDIA HGX H100: oito placas, 640 GB de HBM3, NVSwitch dando a cada placa 900 GB/s para todas as outras, 160 vCPU, 2 TB de RAM do sistema, 16 TB de NVMe local e duas portas 100G, com root no bare metal. Não são oito instâncias ligadas por Ethernet, e não é uma fatia de uma máquina compartilhada com outra pessoa.
Por que a distinção importa
Um cluster virtual dá a você oito placas que podem, cada uma, executar um job. Um nó real dá a você oito placas que podem executar um job juntas, e a diferença aparece no momento em que você particiona um modelo, porque particionar significa que as placas conversam entre si em cada camada.
Tudo no nó é seu: CPUs, RAM, NVMe, ambos os uplinks e a malha. Nada nosso roda dentro do sistema operacional, e um nó em estoque é implantado como qualquer outra instância.
Quanto custa por mês o aluguel de um cluster 8x H100?
$12,170 por mês pelo nó HGX H100 de oito placas, $2.11 por GPU-hora. O restante da faixa, mapeado para o trabalho para o qual é comprado.
| Carga de trabalho | Nó | VRAM total | Semanal | Mensal | Por GPU-hora |
|---|---|---|---|---|---|
| Serviço tensor-paralelo de modelos 70B e treinamento que nenhuma placa única comportaComece aqui | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mês | $2.11 |
| Fine-tune completo com Adam ou um modelo 405B em FP8A malha mais rápida entre os nós que comportam ambos | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mês | $4.86 |
| Inferência de contexto longo quando o cache KV domina141 GB por placa, sem particionamento para 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mês | $2.86 |
| Mais HBM por dólar, em uma stack nativa ROCm$7.45 por GB-mês | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mês | $1.99 |
| Treinamentos de várias semanas com orçamento enxutoGeração NVLink anterior, metade do preço | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mês | $1.24 |
| Paralelismo tensor de quatro vias, metade do nóMesma malha, compromisso menor | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mês | $2.16 |
| Oito réplicas independentes de inferênciaUm modelo por placa, suporte a FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mês | $0.65 |
| Filas de difusão e vídeo em paralelo1.79 TB/s por placa | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mês | $0.68 |
| Fazenda de renderização, um job em lote por placaA forma mais barata de manter oito placas | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mês | $0.49 |
O que vem com o nó além das GPUs?
Cada número aqui é por nó, não por placa, e tudo é dedicado a você.
| Nó | VRAM total | vCPU | RAM | NVMe | Rede | Regiões |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMMetade da baseboard | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XPlataforma AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
Qual é a diferença entre um nó NVSwitch e um nó PCIe?
Dois grupos de máquinas na tabela acima, e a diferença entre elas é de cerca de trinta para um.
NVSwitch e NVLink
Nas plataformas HGX, cada placa alcança todas as outras a 900 GB/s nos nós H100 e H200, 1.8 TB/s no nó B200 e 600 GB/s no nó A100. A plataforma MI300X faz o mesmo trabalho com Infinity Fabric a 896 GB/s. Nenhuma CPU fica no caminho.
É essa largura de banda que torna o paralelismo tensor realista. Dividir um único modelo entre oito placas significa um all-reduce em cada camada, centenas de vezes por forward pass, e as placas passam o tempo esperando essa troca em vez de fazer aritmética se o enlace for lento.
PCIe peer-to-peer
Os nós L40S, RTX 5090 e RTX 4090 não têm NVLink. As placas conversam por PCIe: cerca de 32 GB/s em uma direção em um enlace Gen4 x16, cerca de 63 GB/s em Gen5, compartilhado com todo o resto que atravessa o root complex. Contra os 900 GB/s de uma placa H100 SXM, isso é aproximadamente um vigésimo oitavo da largura de banda.
Na prática, isso significa um modelo por placa. Treinamento data-parallel, oito réplicas de inferência atrás de um balanceador de carga, oito jobs de renderização: tudo funciona. Um shard tensor-paralelo de 8 vias em um nó PCIe é possível e lento, e o tempo de relógio custa mais do que o nó economizou.
Quanta VRAM um nó multi-GPU precisa para o seu modelo?
Conte primeiro os bytes por parâmetro. Quase toda decisão de nó decorre desse único número.
A regra de dimensionamento
Os pesos ocupam 1 byte por parâmetro em FP8 e 2 bytes em BF16. Para servir um modelo, adicione o cache KV e cerca de 2 GB de overhead de runtime. Para fazer um fine-tune completo com Adam em BF16, reserve cerca de 16 bytes por parâmetro: 2 para pesos, 2 para gradientes e 12 para o estado do otimizador e a cópia mestre FP32. Pelos números do guia de VRAM, um 70B precisa de 75 GB para servir em FP8, 145 GB em BF16, 156 GB para LoRA e 1,288 GB para fine-tune completo contando as ativações. Somente o último desses é um número do tamanho de um nó.
O que isso proporciona
Um modelo 70B em BF16 precisa de 145 GB, então não cabe em uma única placa de 80 GB, mas fica confortável em um nó 8× H100 SXM com 495 GB de sobra para lote e cache KV. Um fine-tune completo do mesmo modelo em 1,288 GB só cabe no 8× B200 ou no 8× MI300X. Todo o resto aqui exige LoRA ou offload ZeRO, como descrito na página de GPU para fine-tuning.
LoRA em um 70B não é um desses trabalhos. Com 156 GB, o guia de VRAM o coloca em uma única MI300X por $1,590 ao mês, então um nó custa sete vezes o dinheiro e uma noite de device maps à toa.
Ordenados por gigabytes por dólar, a ordem é direta: o nó MI300X custa $7.45 por GB-mês, o nó L40S $9.74, o nó A100 $11.14 e o nó H100 $19.02. Os baratos são baratos por razões: ROCm em um e ausência de NVLink no outro.
Como funciona o desconto multi-GPU e ele é cumulativo?
5% em duas placas, 8% em quatro, 10% em oito, aplicado ao preço de placa única. Ele se acumula com o desconto de prazo pré-pago.
| H100 SXM, um host | Preço de tabela | Desconto | Você paga | Por GPU-hora |
|---|---|---|---|---|
| 1 placa | $1,690 | nenhum | $1,690/mês | $2.35 |
| 2 placas | $3,380 | 5% | $3,211/mês | $2.23 |
| 4 placasNVLink, metade da baseboard | $6,760 | 8% | $6,220/mês | $2.16 |
| 8 placasNó HGX completo, NVSwitch | $13,520 | 10% | $12,170/mês | $2.11 |
| 8 placas, 3 meses pré-pagos10% depois 5% | $40,560 | 14.5% | $34,685total | $2.01 |
| 8 placas, 6 meses pré-pagos10% depois 10% | $81,120 | 19% | $65,718total | $1.90 |
O piso é $1.90 por GPU-hora para oito placas H100 SXM com NVSwitch, contra $2.35 por uma única placa em um mês contínuo. O pagamento não muda com o tamanho do pedido: uma transferência em BTC, ETH, USDT, USDC, XMR, SOL ou LTC o liquida, sem cartão e sem documento de identidade. Veja como funciona o pagamento com cripto, o que significa hospedagem de GPU sem KYC e por que um prazo mensal vence um medidor por hora.
Você pode alugar de 16 a 64 GPUs em vários nós?
Sim, com InfiniBand entre os nós, cotado caso a caso em vez de vendido pelo catálogo.
Informe ao comercial o formato
Quantidade de GPUs, modelo, região, prazo e InfiniBand HDR a 200 Gb/s ou NDR a 400 Gb/s. Escreva para vendas.
Cotação e prazo de entrega
16 a 64 GPUs, com preço baseado nas taxas de nó acima. Prazo de 2 a 6 semanas, dependendo da malha.
50% no pedido
Metade do primeiro prazo adiantada, em qualquer uma das sete moedas. Isso reserva o hardware.
50% na entrega
O restante quando a malha passar pelo bring-up e você tiver root. Nenhuma verificação de identidade em nenhuma etapa.
Rede entre instâncias em uma região
Instâncias na mesma região podem compartilhar uma VLAN privada: camada 2 entre as suas máquinas sem salto público, por $25 ao mês, incluída em todo nó de 8 vias. Essa é a ferramenta para uma caixa de armazenamento alimentando quatro nós 8× A100.
Ela não substitui o InfiniBand. Uma VLAN usa a mesma Ethernet 100G que todo o resto: boa para carregamento de dados e checkpoints, errada para troca de gradientes a cada passo.
Quando alugar um nó multi-GPU é a escolha errada?
Se o seu job cabe em uma placa, um nó é desperdício de dinheiro. Um nó 8× RTX 4090 custa $2,810 por mês contra $390 por uma placa única, e um modelo 13B em FP8 ocupa 22 GB no total, com pesos, cache e overhead. Oito placas só se pagam com oito fluxos de trabalho, ou com um modelo que não cabe.
Se você precisa de oito placas por dois dias, use um provedor por hora: uma semana de um nó 8× H100 custa $3,420, quer você o rode por seis horas ou 168. E se a restrição é memória em vez de throughput, uma única H200 com 141 GB ou uma MI300X com 192 GB muitas vezes elimina a necessidade de um nó.
Alugue um nó quando
O modelo não cabe em uma placa, a execução dura semanas, você precisa de oito réplicas atrás de um endereço, ou o job é particionado e precisa de 900 GB/s entre as placas.
Alugue placas únicas quando
Os jobs são independentes, a carga é imprevisível ou você quer testar em uma H100 SXM antes de se comprometer com oito.
Perguntas objetivas sobre aluguel multi-GPU e de cluster.
Quanto custa por mês o aluguel de um cluster 8x H100?
Um nó da GPU Rent Hub é uma máquina real ou um cluster virtual?
Qual é a diferença entre NVSwitch e PCIe para treinamento multi-GPU?
Quanta VRAM um nó 8x H100 tem no total?
O desconto multi-GPU se acumula com prazos pré-pagos?
Posso alugar mais de oito GPUs em um cluster?
Posso alugar um nó HGX sem KYC e pagar em cripto?
Qual nó devo alugar para fazer fine-tune de um modelo 70B?
Detalhes de implantação na documentação, estado da frota na página de status.
Oito placas em uma malha, até sexta-feira.
Nós em estoque são implantados como qualquer outra instância. Para 16 GPUs ou mais, fale com o setor de vendas e espere de 2 a 6 semanas.