Alquiler de clúster 8x H100 en una única máquina física.
GPU Rent Hub alquila un nodo dedicado 8× H100 SXM, un único servidor HGX de un solo inquilino con las ocho tarjetas en un tejido NVSwitch, por $12,170 al mes o $3,420 a la semana, pagaderos en Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin sin verificación de identidad.
Nueve configuraciones de nodo, desde una caja 8× RTX 4090 por $2,810 al mes hasta una placa base HGX 8× B200 por $28,010.
¿Qué es un nodo multi-GPU y en qué se diferencia de un clúster?
La palabra clúster se usa para dos productos distintos. Solo uno de ellos coloca las tarjetas en el mismo tejido.
La definición con la que trabajamos
Un nodo multi-GPU es un único servidor físico alquilado a un solo inquilino, con todas las GPU en una única placa base y un tejido directo entre las tarjetas. Un nodo GPU Rent Hub 8× H100 SXM es una placa base NVIDIA HGX H100: ocho tarjetas, 640 GB de HBM3, NVSwitch que da a cada tarjeta 900 GB/s hacia todas las demás, 160 vCPU, 2 TB de RAM del sistema, 16 TB de NVMe local y dos puertos de 100G, con root en el bare metal. No son ocho instancias unidas por Ethernet, y no es una porción de una máquina compartida con otra persona.
Por qué importa la distinción
Un clúster virtual le da ocho tarjetas que pueden ejecutar un trabajo cada una. Un nodo real le da ocho tarjetas que pueden ejecutar un trabajo juntas, y la diferencia aparece en el momento en que particiona un modelo, porque particionar significa que las tarjetas se comunican entre sí en cada capa.
Todo lo que hay en el nodo es suyo: CPUs, RAM, NVMe, ambos enlaces ascendentes y el tejido. Nada nuestro se ejecuta dentro del sistema operativo, y un nodo en stock se despliega como cualquier otra instancia.
¿Cuánto cuesta al mes el alquiler de un clúster 8x H100?
$12,170 al mes por el nodo HGX H100 de ocho tarjetas, $2.11 por GPU-hora. El resto de la gama, según el trabajo para el que se compra.
| Carga de trabajo | Nodo | VRAM total | Semanal | Mensual | Por GPU-hora |
|---|---|---|---|---|---|
| Servicio con paralelismo de tensor de modelos 70B y entrenamiento que no cabe en una sola tarjetaEmpiece aquí | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mes | $2.11 |
| Ajuste fino completo con Adam, o un modelo 405B en FP8El tejido más rápido de los nodos que cumplen ambos | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mes | $4.86 |
| Inferencia de contexto largo donde domina la caché KV141 GB por tarjeta, sin particionado para 120B | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mes | $2.86 |
| Más HBM por dólar, en una pila nativa de ROCm$7.45 por GB-mes | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mes | $1.99 |
| Entrenamientos de varias semanas con presupuesto ajustadoUna generación de NVLink por detrás, a mitad de precio | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mes | $1.24 |
| Paralelismo de tensor de cuatro vías, la mitad del nodoEl mismo tejido, menor compromiso | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mes | $2.16 |
| Ocho réplicas de inferencia independientesUn modelo por tarjeta, soporte FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mes | $0.65 |
| Colas de difusión y vídeo en paralelo1.79 TB/s por tarjeta | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mes | $0.68 |
| Granja de renderizado, un trabajo por lotes por tarjetaLa forma más barata de tener ocho tarjetas | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mes | $0.49 |
¿Qué incluye el nodo además de las GPU?
Todas las cifras son por nodo, no por tarjeta, y todo está dedicado a usted.
| Nodo | VRAM total | vCPU | RAM | NVMe | Red | Regiones |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMMedia placa base | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XPlataforma AMD Instinct | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
¿Qué diferencia hay entre un nodo NVSwitch y un nodo PCIe?
Dos grupos de máquinas en la tabla anterior, y la diferencia entre ellos es de aproximadamente treinta a uno.
NVSwitch y NVLink
En las plataformas HGX, cada tarjeta llega a todas las demás a 900 GB/s en los nodos H100 y H200, a 1.8 TB/s en el nodo B200 y a 600 GB/s en el nodo A100. La plataforma MI300X hace el mismo trabajo con Infinity Fabric a 896 GB/s. Ninguna CPU se interpone en la ruta.
Ese ancho de banda es lo que hace realista el paralelismo de tensor. Dividir un único modelo entre ocho tarjetas implica un all-reduce en cada capa, cientos de veces por pasada hacia delante, y las tarjetas pasan el tiempo esperando ese intercambio en lugar de calcular si el enlace es lento.
PCIe peer-to-peer
Los nodos L40S, RTX 5090 y RTX 4090 no tienen NVLink. Las tarjetas se comunican por PCIe: unos 32 GB/s en una dirección en un enlace Gen4 x16, unos 63 GB/s en Gen5, compartido con todo lo demás que cruza el root complex. Frente a los 900 GB/s de una tarjeta H100 SXM, eso es aproximadamente una vigesimoctava parte del ancho de banda.
En la práctica, eso significa un modelo por tarjeta. Entrenamiento con paralelismo de datos, ocho réplicas de inferencia detrás de un balanceador de carga, ocho trabajos de renderizado: todo funciona. Una partición de 8 vías con paralelismo de tensor en un nodo PCIe es posible pero lenta, y el tiempo real cuesta más de lo que ahorra el nodo.
¿Cuánta VRAM necesita un nodo multi-GPU para su modelo?
Cuente primero los bytes por parámetro. Casi todas las decisiones sobre el nodo se derivan de esa única cifra.
La regla de dimensionamiento
Los pesos ocupan 1 byte por parámetro en FP8 y 2 bytes en BF16. Para servir un modelo, añada la caché KV y unos 2 GB de sobrecarga de ejecución. Para ajustarlo por completo con Adam en BF16, calcule unos 16 bytes por parámetro: 2 para los pesos, 2 para los gradientes y 12 para el estado del optimizador y la copia maestra en FP32. Según las cifras de la guía de VRAM, un 70B necesita 75 GB para servirse en FP8, 145 GB en BF16, 156 GB para LoRA y 1,288 GB para un ajuste fino completo contando las activaciones. Solo la última es una cifra de tamaño de nodo.
Qué se consigue con eso
Un modelo 70B en BF16 necesita 145 GB, así que no cabe en una tarjeta de 80 GB, pero sí en un nodo 8× H100 SXM con 495 GB libres para lote y caché KV. Un ajuste fino completo del mismo modelo con 1,288 GB solo cabe en el 8× B200 o el 8× MI300X. Todo lo demás aquí necesita LoRA o descarga ZeRO, como se explica en la página de GPU para ajuste fino.
LoRA en un 70B no es uno de estos trabajos. Con 156 GB, la guía de VRAM lo coloca en una sola MI300X por $1,590 al mes; un nodo le cuesta siete veces más dinero y una tarde de mapas de dispositivos para nada.
Ordenados por gigabytes por dólar, el orden es claro: el nodo MI300X sale a $7.45 por GB-mes, el nodo L40S a $9.74, el nodo A100 a $11.14 y el nodo H100 a $19.02. Los baratos lo son por una razón: ROCm en uno y sin NVLink en el otro.
¿Cómo funciona el descuento multi-GPU y se acumula?
5% con dos tarjetas, 8% con cuatro, 10% con ocho, aplicado al precio de tarjeta individual. Se acumula con el descuento por plazo prepagado.
| H100 SXM, un solo host | Precio de lista | Descuento | Usted paga | Por GPU-hora |
|---|---|---|---|---|
| 1 tarjeta | $1,690 | ninguno | $1,690/mes | $2.35 |
| 2 tarjetas | $3,380 | 5% | $3,211/mes | $2.23 |
| 4 tarjetasNVLink, media placa base | $6,760 | 8% | $6,220/mes | $2.16 |
| 8 tarjetasNodo HGX completo, NVSwitch | $13,520 | 10% | $12,170/mes | $2.11 |
| 8 tarjetas, 3 meses prepagadas10% y después 5% | $40,560 | 14.5% | $34,685total | $2.01 |
| 8 tarjetas, 6 meses prepagadas10% y después 10% | $81,120 | 19% | $65,718total | $1.90 |
El mínimo es $1.90 por GPU-hora para ocho tarjetas H100 SXM con NVSwitch, frente a $2.35 por una sola tarjeta en un mes renovable. El pago no cambia con el tamaño del pedido: una transferencia en BTC, ETH, USDT, USDC, XMR, SOL o LTC lo liquida, sin tarjeta y sin documento de identidad. Consulte cómo funciona el pago con criptomonedas, qué significa el alojamiento de GPU sin KYC y por qué un plazo mensual supera a un contador por horas.
¿Se pueden alquilar de 16 a 64 GPU en varios nodos?
Sí, con InfiniBand entre los nodos, con presupuesto caso por caso en lugar de venta directa desde el catálogo.
Indique a ventas la configuración
Número de GPU, modelo, región, plazo e InfiniBand HDR a 200 Gb/s o NDR a 400 Gb/s. Escriba a ventas.
Presupuesto y plazo de entrega
De 16 a 64 GPU, con precio según las tarifas de nodo anteriores. Plazo de entrega de 2 a 6 semanas, según el tejido.
50% al hacer el pedido
La mitad del primer plazo por adelantado, en cualquiera de las siete monedas. Eso reserva el hardware.
50% en la entrega
El resto una vez que el tejido supera la puesta en marcha y usted tiene root. Sin verificación de identidad en ningún paso.
Red entre instancias de una misma región
Las instancias de una misma región pueden compartir una VLAN privada: capa 2 entre sus máquinas sin salto público, por $25 al mes, incluida en cada nodo de 8 vías. Esa es la herramienta para una caja de almacenamiento que alimenta cuatro nodos 8× A100.
No sustituye a InfiniBand. Una VLAN viaja por el mismo Ethernet de 100G que todo lo demás: sirve para cargar datos y guardar checkpoints, pero no para intercambiar gradientes en cada paso.
¿Cuándo un nodo multi-GPU es lo que no conviene alquilar?
Si su trabajo cabe en una tarjeta, un nodo es un desperdicio de dinero. Un nodo 8× RTX 4090 cuesta $2,810 al mes frente a $390 por una sola tarjeta, y un modelo 13B en FP8 ocupa 22 GB en total, pesos, caché y sobrecarga. Ocho tarjetas solo se pagan con ocho flujos de trabajo o con un modelo que no cabe.
Si necesita ocho tarjetas durante dos días, use un proveedor por horas: una semana de un nodo 8× H100 cuesta $3,420 tanto si lo usa seis horas como 168. Y si la limitación es la memoria y no el rendimiento, una sola H200 con 141 GB o una MI300X con 192 GB a menudo elimina la necesidad de un nodo.
Alquile un nodo cuando
El modelo no cabe en una tarjeta, la ejecución dura semanas, necesita ocho réplicas detrás de una dirección o el trabajo está particionado y necesita 900 GB/s entre tarjetas.
Alquile tarjetas individuales cuando
Los trabajos son independientes, la carga es impredecible o quiere probar con una H100 SXM antes de comprometerse con ocho.
Alquiler multi-GPU y de clúster, preguntado con claridad.
¿Cuánto cuesta al mes el alquiler de un clúster 8x H100?
¿Un nodo de GPU Rent Hub es una máquina real o un clúster virtual?
¿Cuál es la diferencia entre NVSwitch y PCIe para el entrenamiento multi-GPU?
¿Cuánta VRAM tiene en total un nodo 8x H100?
¿El descuento multi-GPU se acumula con los plazos prepagados?
¿Puedo alquilar más de ocho GPU en un mismo clúster?
¿Puedo alquilar un nodo HGX sin KYC y pagar con criptomonedas?
¿Qué nodo debo alquilar para ajustar un modelo 70B?
Detalles de despliegue en la documentación; estado de la flota en la página de estado.
Ocho tarjetas en un mismo tejido, para el viernes.
Los nodos en stock se despliegan como cualquier otra instancia. Para 16 GPU o más, hable con ventas y cuente con un plazo de 2 a 6 semanas.