GPU Rent HubGPU para inferencia de LLM

Cómo elegir una GPU para inferencia de LLM.

GPU Rent Hub alquila servidores GPU dedicados para inferencia de LLM desde 250 $ al mes por una NVIDIA L4 hasta 2.290 $ al mes por una H200 SXM, con pago en Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin y sin verificación de identidad.

Dos cifras eligen la tarjeta: la VRAM que necesitan los pesos y la caché KV, y el ancho de banda de memoria que fija los tokens por segundo.

Actualizado 2026-09-01

75 GBUn 70B en FP8, contexto de 8k, lote 1

3.35 TB/sAncho de banda de memoria de la H100 SXM

$2.35H100 SXM por GPU-hora en un mes

20 TBSalida incluida por instancia

01 Dimensionamiento

¿Cuánta VRAM necesita un LLM para inferencia?

Aquí deciden la tarjeta dos cifras. La derivación pertenece a la guía de VRAM; el término que se mueve es la caché KV, y se mueve con tu tráfico, no con el modelo.

Las dos cifras de las que parte esta página

Un modelo 70B en FP8 ocupa 75 GB a 8.192 tokens y lote 1, y 2.7 GB de eso son caché KV. Todo lo demás —la fórmula de pesos más caché más sobrecarga, los bytes por parámetro en cada precisión y una fila para cada tamaño de modelo— se deriva término a término en la guía de VRAM de GPU y no se repite aquí. Esas dos cifras hacen el trabajo de abajo: 75 GB es la razón por la que una tarjeta de 80 GB sirve un 70B con 5 GB de margen, y la caché de 2.7 GB es el término que se arrastra a la fila de 120B de la tabla.

El término de caché domina en contexto largo, donde escala con la longitud de contexto multiplicada por el tamaño de lote, no con el número de parámetros. A 128k y 32 solicitudes concurrentes puede superar a los pesos. Por eso la H200 SXM con 141 GB cuesta más que una H100 SXM con el mismo silicio.

Tamaño del modelo	BF16, 2 B/param	FP8, 1 B/param	4 bits, 0.5 B/param	La tarjeta NVIDIA más barata que cabe, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 capas, MHA, caché grande	35 GB	22 GB	15 GB	L4, 24 GB, justa
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bmisma fórmula, sin fila en la guía	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Pesos más una caché KV a 8.192 tokens y lote 1 más 2 GB de sobrecarga, citado de la guía de VRAM de GPU junto con la tarjeta más barata que contiene cada cifra en FP8. La última columna es solo NVIDIA, porque la alternativa implica una pila de software distinta: en la fila de 120B, la MI300X de 192 GB contiene los mismos 125 GB por 1.590 $ al mes frente a los 2.290 $ de la H200 SXM, a costa de ROCm en lugar de CUDA y de Dallas en lugar de tres ubicaciones. La fila de 120B es la misma fórmula llevada un paso más allá, tomando la caché de 2.7 GB de la fila de 70B, porque ninguna fila de la guía cubre ese tamaño. La fila de 405B es la excepción a la columna, porque ninguna tarjeta individual de ninguna de las dos marcas la contiene y el nodo más barato que lo hace es la 8× MI300X. Un 70B en FP8 deja 5 GB de margen en una tarjeta de 80 GB a 8k y deja de caber a 32k, donde la caché por sí sola son 10.7 GB.

02 Ancho de banda

¿Por qué el ancho de banda de memoria importa más que los TFLOPS en la inferencia de LLM?

Decodificar un token lee todos los pesos una vez. La tarjeta espera a la memoria, no a las matemáticas.

Con lote uno, la decodificación saca de la VRAM todo el conjunto de pesos para cada token y ejecuta unas dos operaciones de coma flotante por parámetro, lo que en BF16 equivale a una operación por byte cargado. Mantener ocupados los núcleos tensor de una H100 SXM exige aproximadamente 300, tomando sus 1.979 TFLOPS dispersos en FP16 como unos 990 densos frente a 3.35 TB/s de ancho de banda. La tarjeta está limitada por memoria con un margen amplio, de modo que el techo de tokens por segundo es el ancho de banda dividido por los bytes de pesos leídos por token.

Un modelo 8B en BF16 ocupa 16 GB. En una RTX 4090 a 1.01 TB/s el techo es de 63 tokens por segundo; en una H100 SXM a 3.35 TB/s es de 209. Son techos de hoja de especificaciones y la decodificación real queda por debajo, en una fracción que no citaremos porque no podemos respaldarla con una fuente. El orden se mantiene. El prefill es el caso contrario, limitado por cómputo, y ahí es donde los núcleos tensor FP8 se ganan el coste.

Techo, tokens por segundo = ancho de banda de memoria ÷ (parámetros × bytes por parámetro). El procesamiento por lotes aumenta el rendimiento por tarjeta sin aumentar la velocidad de una sola solicitud, porque los pesos se leen una vez para todo el lote.

Dos datos de la tabla que nos dejan mal. Una A100 SXM a 2.04 TB/s tiene más ancho de banda que una H100 PCIe, y una RTX 3090 a 936 GB/s más que una L40S. Ninguna de las dos es mejor tarjeta de inferencia. La sección 03 explica por qué.

GPU	VRAM	Ancho de banda	Techo, 8B en BF16	Mensual	Por GPU-hora
B200Blackwell, HBM3e, mínimo 2 GPU	180 GB	8 TB/s	500 t/s	$3,890/mes	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mes	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mes	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mes	$2.35
A100 SXMAmpere, sin FP8	80 GB	2.04 TB/s	128 t/s	$990/mes	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mes	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mes	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mes	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mes	$0.64
RTX 3090Ampere, sin FP8	24 GB	936 GB/s	59 t/s	$230/mes	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mes	$0.72
A40Ampere, sin FP8	48 GB	696 GB/s	44 t/s	$240/mes	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mes	$0.35

La columna de techo es el ancho de banda dividido por 16 GB de pesos en BF16: una cota superior de la hoja de especificaciones, no un resultado medido. El precio por GPU-hora es la mensualidad dividida por 720. El precio de la B200 es por tarjeta y la tarjeta se vende sobre una placa base HGX de 8 vías, de modo que el pedido mínimo de B200 son dos tarjetas, $7,780 al mes antes del descuento por dos tarjetas. Las quince tarjetas en el catálogo de GPU.

03 Precisión

¿Importa el FP8 y por qué la A100 es peor tarjeta de inferencia de lo que sugiere su precio?

El FP8 reduce los pesos a la mitad. Eso reduce a la mitad los bytes leídos por token y duplica el modelo que cabe.

Hopper, Ada Lovelace y Blackwell tienen núcleos tensor FP8: la B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 y L4. Ampere no. La A100, A40, RTX A6000, RTX A5000 y RTX 3090 no admiten FP8, y eso es silicio, no una carencia de controlador.

Así que un modelo 70B en FP8 ocupa 75 GB y corre en una H100 SXM por $1,690 al mes, $2.35 por GPU-hora. En Ampere corre en BF16 con 145 GB, es decir, dos tarjetas A100 SXM: $1,980 a precio de lista, $1,881 al mes con el descuento del 5% por dos tarjetas, lo que da $2.61 por hora para el endpoint frente a $2.35 por la H100 SXM individual, con tráfico tensor-paralelo en cada token. La tarjeta más barata construye el endpoint más caro.

Ampere sigue valiendo la pena alquilarla

Para fine-tuning, para servir en 4 bits y cuando el objetivo son 80 GB por menos de $1,000 al mes. Es una mala opción por defecto para un endpoint de tokens en producción, y la etiqueta de $990 lo oculta.

La MI300X es la excepción que conviene conocer. Sus 192 GB de HBM3 a 5.3 TB/s por $1,590 al mes admiten un modelo 70B en BF16 en una sola tarjeta, 145 GB con 47 GB de margen, sin cuantización y sin sharding. Arranca con nuestra plantilla ROCm 6.4 y una compilación PyTorch ROCm.

04 Selecciones

¿Cuál es la mejor GPU para inferencia de LLM en cada tamaño de modelo?

Ordenado por tamaño de modelo. Una tarjeta por franja, elegida con la aritmética anterior.

Para servir esto	Elección	VRAM	Semanal	Mensual	Por GPU-hora
7B–8B, siempre activo, QPS bajo72 W, ranura única, FP8	L4	24 GB	$70	$250/mes	$0.35
7B–14B, la latencia importa1.01 TB/s, 265 en stock	RTX 4090	24 GB	$110	$390/mes	$0.54
14B–24B en FP8la memoria más rápida por debajo de 600 $	RTX 5090	32 GB	$155	$540/mes	$0.75
24B–34B en FP8ECC, nodos de 8 vías, núcleos RT	L40S	48 GB	$148	$520/mes	$0.72
32B en BF16, sin cuantizaciónHopper a 350 W	H100 PCIe	80 GB	$420	$1,490/mes	$2.07
70B en FP8, una tarjetala opción por defecto en producción	H100 SXM	80 GB	$475	$1,690/mes	$2.35
70B en BF16, una tarjetamás HBM por tarjeta	MI300X	192 GB	$450	$1,590/mes	$2.21
100B–120B, o 70B a 128kmargen de caché KV	H200 SXM	141 GB	$640	$2,290/mes	$3.18
405B en FP8, un nodo8 vías, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mes	$4.86

El precio por GPU-hora es la mensualidad dividida por 720 y, para el nodo, por 8 tarjetas y 720 horas. Los descuentos multi-GPU son del 5% con dos tarjetas, 8% con cuatro y 10% con ocho, de modo que un nodo 8× H100 SXM sale por $12,170 al mes, $2.11 por GPU-hora. En stock: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Estas son las tarjetas en las que ejecutaríamos el trabajo; la tabla de consulta de la guía de VRAM nombra la tarjeta más barata que simplemente lo contiene, así que una fila de esta tabla a veces es la tarjeta más cara y la razón está en la fila. La fila de 405B es el caso más claro: la guía da como nodo más barato que contiene un 405B en FP8 la 8× MI300X por $11,450, y esta tabla elige la 8× B200 por su tejido de 1.8 TB/s.

Los precios son idénticos en DFW-1 Dallas, IAD-1 Ashburn y PDX-1 Hillsboro, así que elige la región por latencia. La MI300X solo está en Dallas. De las ocho B200, seis están en DFW-1 y dos en PDX-1, ninguna en IAD-1.

05 La instancia

¿Qué recibo en un servidor de inferencia de LLM de GPU Rent Hub?

Bare metal, root, la pila de inferencia preinstalada y nada a la escucha hasta que lo actives.

Plantilla vLLM 0.9

Ubuntu 24.04 con vLLM 0.9 y una unidad de servidor compatible con OpenAI instalada. La unidad se entrega desactivada. Tú la activas y decides qué puede llegar al puerto.

Nada queda expuesto por defecto.

Plantilla Ollama

Para un modelo que responda en dos minutos en lugar de un servidor ajustado. Ollama queda vinculado a localhost y tú lo expones, normalmente a través de WireGuard.

Misma regla: localhost hasta que lo muevas.

20 TB de salida incluidas

A unos 100 bytes de encuadre JSON y SSE por token emitido, eso son unos 200 mil millones de tokens al mes. Un endpoint de texto no lo alcanzará.

Después, $4/TB. Entrada sin medición.

Puerto de 100G, 10G garantizados

Uplink compartido de 100G con un suelo de 10 Gbps, una IPv4 y una /64 IPv6. Un puerto dedicado de 100G cuesta $220 al mes si transmites audio o imágenes.

VLAN privada entre instancias, $25/mes.

La inferencia siempre activa es el caso más claro para un contrato a plazo: ocupada a horas impredecibles, intolerante a los arranques en frío y con pesos que una plataforma medida volvería a descargar en cada escalado. La tarjeta es tuya durante 720 horas llegue o no tráfico, y no puede ser desalojada. Aritmética de cruce en alquiler de GPU mensual frente a por horas, detalle de despliegue en la documentación. Un pedido, un pago en BTC, ETH, USDT, USDC, XMR, SOL o LTC: cómo funciona el pago con cripto, y qué significa el alojamiento de GPU sin KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Cuándo no hacerlo

¿Cuándo no deberías alquilar una GPU dedicada para inferencia de LLM?

Tres casos en los que una tarjeta dedicada es la herramienta equivocada, y preferimos decirlo.

Por debajo de unos diez millones de tokens al mes, usa una API de tokens alojada. Un modelo 7B en una L4 cuesta $250 al mes, lo que a ese volumen son $25 por millón de tokens, y las tarifas por token de un modelo abierto comparable están por debajo.

Segundo, tráfico a ráfagas. Un endpoint que responde cien solicitudes el martes y nada hasta la semana siguiente mantiene la tarjeta ocupada unos minutos y la alquila durante 720 horas. Usa un proveedor por horas. Nuestro plazo más corto es de siete días y no hay medición.

Tercero, una tarjeta más pequeña que hace el trabajo. Cuantiza un modelo 34B a 4 bits y cabe en 21 GB, que una RTX 3090 por $230 al mes sirve a 936 GB/s con 3 GB de margen, con memoria más rápida que la RTX A5000 más barata que nombra la tabla de la guía para la misma celda. No alquiles una H100 SXM porque el modelo tenga un número grande en el nombre.

Alquílala a nosotros si

El endpoint está siempre activo, la facturación por token se ha convertido en tu mayor partida, los pesos y los prompts deben permanecer en hardware que nadie más toca, o quieres pagar en cripto sin verificación de identidad.

No nos la alquiles si

Necesitas una tarjeta para una tarde, el tráfico es impredecible y bajo, o aún no has medido si el modelo cabe en 4 bits en una tarjeta que cuesta una cuarta parte.

El entrenamiento es otro problema de dimensionamiento, dominado por los estados del optimizador: consulta GPU para fine-tuning.

07 Preguntas

GPU para inferencia de LLM, preguntado sin rodeos.

¿Cuál es la mejor GPU para inferencia de LLM?

Depende del tamaño del modelo. Para 7B a 14B, una RTX 4090 por $390 al mes es la opción con mejor relación calidad-precio. Para 24B a 34B en FP8, una L40S con 48 GB por $520. Para 70B en FP8, una H100 SXM por $1,690, es decir, $2.35 por GPU-hora. Para 100B en adelante, una H200 SXM por $2,290.

¿Qué necesita un endpoint de 70B además de los pesos?

Caché, y escala con la concurrencia más que con el modelo. Los pesos y la cifra para un único flujo están en la guía de VRAM de GPU: 75 GB en FP8 a 8,192 tokens y lote 1. Cada solicitud concurrente adicional en ese contexto suma 2.7 GB, de modo que ocho en vuelo son unos 22 GB más y treinta y dos son unos 85 GB. Esa es la diferencia entre una tarjeta de 80 GB que sirve un flujo con 5 GB de margen y una H200 con 141 GB o una MI300X con 192 GB sirviendo un endpoint con concurrencia real. Cuantizar la caché a FP8 reduce todas esas cifras a la mitad.

¿Puedo alquilar una GPU para vLLM?

Sí. Cualquier instancia arranca con la plantilla vLLM 0.9 sobre Ubuntu 24.04, que incluye una unidad de servidor compatible con OpenAI que se entrega desactivada hasta que la actives. Tienes root en bare metal, así que puedes sustituirla por tu propia compilación. La MI300X usa la plantilla ROCm 6.4 con una compilación PyTorch ROCm.

¿Por qué la A100 no es una buena tarjeta para inferencia de LLM?

Ampere no tiene núcleos tensor FP8, así que un modelo 70B corre en BF16 a 145 GB. Eso exige dos tarjetas A100 SXM, $1,980 a precio de lista y $1,881 al mes una vez aplicado el descuento del 5% por dos tarjetas, frente a una H100 SXM por $1,690 que sirve el mismo modelo en FP8 a 3.35 TB/s. La A100 sigue siendo una buena tarjeta para fine-tuning y para servir en 4 bits.

¿Cuántos tokens por segundo producirá una GPU?

La cota superior es el ancho de banda de memoria dividido por los bytes de pesos leídos por token. Un modelo 8B en BF16 ocupa 16 GB, así que una RTX 4090 a 1.01 TB/s alcanza cerca de 63 tokens por segundo y una H100 SXM a 3.35 TB/s cerca de 209. Las pilas reales quedan por debajo del techo, y cuánto por debajo depende de tus kernels, la forma del lote y el planificador; por eso publicamos la cota y no una fracción de ella.

¿Es adecuado un alquiler mensual para un endpoint de LLM siempre activo?

Normalmente sí. Un plazo plano cuesta lo mismo llegue o no tráfico, así que un endpoint que responde a horas impredecibles no paga prima por inactividad, no sufre arranques en frío y nunca espera por capacidad. El punto de equilibrio sale de los precios: $1,690 por un mes de H100 SXM frente a un contador ilustrativo de $2.49 a $3.49 se iguala entre unas 480 y 680 horas usadas de un mes de 720 horas, de modo que por debajo de eso un proveedor por horas es más barato. El cálculo completo está en nuestra página de mensual frente a por horas.

¿Incluís suficiente ancho de banda para una API de tokens?

Sí. Cada instancia incluye 20 TB de salida al mes, que a unos 100 bytes de encuadre JSON y SSE por token emitido son unos 200 mil millones de tokens. La entrada no se mide, de modo que descargar pesos no cuesta nada. Pasados 20 TB, son $4 por TB y un puerto dedicado de 100G cuesta $220 al mes.

¿Necesito dar mi documento de identidad para alquilar un servidor de inferencia de LLM?

No. Una cuenta es un nombre de usuario y una contraseña sin necesidad de correo electrónico, y pagas cada plazo con una única transferencia en Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin. GPU Rent Hub Compute LLC funciona así desde el 15 de marzo de 2021, con 6,300 GPU repartidas entre DFW-1 Dallas, IAD-1 Ashburn y PDX-1 Hillsboro.

Casos de dimensionamiento más profundos en la guía de VRAM de GPU, todas las tarjetas en el catálogo de GPU, descuentos por plazo en la página de precios.

Pon el endpoint en hardware que nadie más toca.

Despliega vLLM en una tarjeta dedicada en DFW-1, IAD-1 o PDX-1 en unos noventa segundos. Un pedido, un pago, sin correo y sin documento.

Crear una cuenta →