GPU Rent HubGuía de VRAM

¿Cuánta VRAM necesito? La aritmética y después la tarjeta.

Un modelo de 70B parámetros necesita unos 145 GB de VRAM para servirse en BF16, 75 GB en FP8 y 40 GB en INT4, y GPU Rent Hub alquila una tarjeta dedicada para cada caso: $240 al mes para el caso INT4 en una A40 de 48 GB, $1.490 para FP8 en una H100 PCIe de 80 GB, $1.590 para BF16 en una MI300X de 192 GB, pagado en Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin sin verificación de identidad. Todos los números de abajo son aritmética que puedes rehacer. Nada de esto es un benchmark, porque no citaremos uno que no podamos documentar.

Actualizado 2026-09-01

2 BBytes por parámetro en BF16

$5.00VRAM más barata que alquilamos, por GB al mes

192 GBMáxima VRAM en una tarjeta, MI300X

15Tarjetas entre las que elegir

01 La fórmula

¿Cómo calculas cuánta VRAM necesita un modelo?

Tres términos. Pesos, caché KV y sobrecarga de ejecución. Dos de ellos puedes calcularlos con exactitud.

El bloque de dimensionamiento

VRAM necesaria = (parámetros × bytes por parámetro) + caché KV + unos 2 GB de sobrecarga de ejecución. Los bytes por parámetro son 4 en FP32, 2 en BF16 o FP16, 1 en FP8 y 0.5 en INT4. La caché KV es 2 × capas × cabezas KV × dimensión de cabeza × bytes por elemento × longitud de contexto × tamaño de lote, donde el 2 inicial cubre la clave y el valor. La sobrecarga de ejecución es el contexto CUDA, el framework y la fragmentación del asignador, y 2 GB es un margen seguro para un único proceso.

Resuelto una vez: un modelo de 70B en FP8 a 8,192 tokens y lote 1 son 70 GB de pesos, 2.7 GB de caché KV y 2 GB de sobrecarga, es decir, 75 GB, que caben en una tarjeta de 80 GB con 5 GB libres.

Dos convenciones, fijadas antes de discutir por el último gigabyte.

Parámetros en miles de millones multiplicados por bytes por parámetro dan gigabytes directamente, según la convención decimal donde un gigabyte son 10⁹ bytes. Las capacidades de las tarjetas se citan igual. Las herramientas que informan en gibibytes reducen cada cifra de esta página en torno a un 7%, motivo por el cual conviene dejar margen en lugar de planificar hasta el último gigabyte.

Dimensiona sobre los parámetros residentes, no sobre los activos. Un modelo de mezcla de expertos mantiene todos los expertos en VRAM y ejecuta dos por token: la memoria del conjunto, la velocidad de la parte.

Precisión	Bytes/parám.	7B	70B
FP32rara vez vale la pena para inferencia	4	28 GB	280 GB
BF16 / FP16el punto de referencia	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4solo pesos, cualquier arquitectura	0.5	3.5 GB	35 GB

FP8 requiere soporte de hardware. La A100, la A40, la RTX A6000, la RTX 3090 y la RTX A5000 no lo tienen. La cuantización INT4 solo de pesos funciona en todas ellas.

02 Inferencia

¿Cuánta VRAM necesito para ejecutar un modelo de 7B, 13B, 34B, 70B o 405B?

Pesos más una caché KV a 8,192 tokens y lote 1, más 2 GB. Cambia el contexto y se mueve la columna KV, no los pesos.

Modelo	KV a 8k, lote 1	Total BF16	Total FP8	Total INT4
7B32 capas, GQA, 8 cabezas KV	1.1 GB	17 GB	10 GB	7 GB
13B40 capas, MHA, sin GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 capas, GQA, 8 cabezas KV	2.0 GB	72 GB	38 GB	21 GB
70B80 capas, GQA, 8 cabezas KV	2.7 GB	145 GB	75 GB	40 GB
405B126 capas, GQA, 8 cabezas KV	4.2 GB	816 GB	411 GB	209 GB

Caché KV mantenida en FP16 en todas las columnas. Dimensión de cabeza 128 en todo momento. Comprueba el número de capas y de cabezas KV en el config.json de tu modelo antes de fiarte de una fila, porque estas son formas típicas, no universales.

La fila de 13B es la interesante: tiene una caché KV mayor que la del 70B que hay debajo. Su forma usa atención multicabeza con 40 cabezas de clave y valor, mientras que los modelos posteriores usan atención de consulta agrupada y 8. Ese cambio redujo la caché entre cinco y ocho veces y es la razón por la que servir contexto largo se volvió asequible. Al dimensionar cualquier cosa anterior a 2024, comprueba el esquema de atención antes que el número de parámetros.

El tamaño de lote multiplica la caché KV y nada más. Ese 70B en lote 32 añade 85 GB de caché a los mismos 70 GB de pesos, razón por la que un endpoint necesita mucha más memoria que una sola petición cada vez. El dimensionamiento de servicio está en la página GPU para inferencia de LLM.

03 Contexto

¿Cuánta VRAM consume la caché KV en contexto largo?

Linealmente con los tokens y linealmente con el lote. A 128k, la caché puede costar más que los pesos.

Forma del modelo	KV por token	8k	32k	128k
7B, 32 capas, GQAancho de KV 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 capas, MHAancho de KV 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 capas, GQAancho de KV 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 capas, GQAancho de KV 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 capas, GQAancho de KV 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

Caché en FP16, lote 1. Divide cada cifra a la mitad para una caché en FP8. Multiplica por el tamaño de lote. El ancho de KV es el número de cabezas KV multiplicado por la dimensión de cabeza.

Dónde afecta esto.

Un 70B en FP8 cabe en una tarjeta de 80 GB a 8k con 5 GB libres. Llévalo a 32k y solo la caché son 10.7 GB, así que deja de caber. Por eso existen como productos la H200 SXM de 141 GB y la MI300X de 192 GB. Mantienen más contexto que una H100 SXM, lo cual es distinto de ser más rápidas.

Cuantizar la caché KV a FP8 es una palanca distinta de cuantizar los pesos y suele ser la más barata. Reduce la caché a la mitad con mucho menos coste de calidad que bajar los pesos un escalón más, y tanto vLLM como TensorRT-LLM lo admiten.

04 Entrenamiento

¿Cuánta VRAM necesito para ajustar un modelo?

El ajuste fino completo cuesta aproximadamente 16 bytes por parámetro. LoRA cuesta 2. QLoRA cuesta 0.5. La diferencia entre esos tres números es toda la decisión.

El ajuste fino completo con Adam mantiene cinco cosas por parámetro: pesos en BF16 (2 bytes), gradientes en BF16 (2), una copia maestra en FP32 (4) y los momentos primero y segundo de Adam (4 cada uno). Eso son 16 bytes por parámetro antes de las activaciones. LoRA congela la base, de modo que pagas 2 bytes por parámetro por el modelo congelado y estado de optimizador solo en el adaptador, normalmente la mitad de un uno por ciento de los parámetros. QLoRA cuantiza esa base congelada a 4 bits, así que cuesta 0.5 bytes por parámetro y el adaptador no cambia.

Modelo	FT completo, pesos + Adam	FT completo, con activaciones	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Supuestos declarados para que puedas cambiarlos: checkpointing de gradientes activado, longitud de secuencia 2,048, lote 1, adaptadores de rango 16 sobre las proyecciones de atención en torno al 0.5% de los parámetros, 15% añadido a la columna de ajuste fino completo para activaciones y fragmentación. Estado del optimizador del adaptador contado a 16 bytes por parámetro del adaptador.

La columna de ajuste fino completo es la cifra ingenua, con todo residente en las GPU. ZeRO etapa 3 con estado del optimizador descargado a memoria del host reduce sustancialmente el requisito en el lado GPU, y nuestros nodos de 8 vías llevan 2 TB de RAM de host exactamente para eso. La descarga cambia ancho de banda PCIe por VRAM, de modo que hace posible una ejecución, no rápida. La elección de método está en la página GPU para ajuste fino.

Lee las dos últimas columnas frente a la primera. Un ajuste fino completo de 70B pide un nodo de ocho tarjetas por $11.450. El mismo 70B con QLoRA pide 51 GB, que es una A100 SXM 80GB a $990 al mes. Es una diferencia de doce veces para un método que es peor, pero pocas veces doce veces peor. A la mayoría de la gente que hace esta pregunta le han presupuestado la cifra de ajuste fino completo y no la necesita.

05 Consulta

¿Qué GPU necesito para un modelo de 70B, o de cualquier otro tamaño?

Tamaño del modelo en el lateral, método arriba. Cada celda es la VRAM necesaria y lo más barato de nuestra flota que la contiene.

Modelo	Inferencia BF16	Inferencia FP8	Inferencia INT4	QLoRA	LoRA	Ajuste fino completo
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, justo	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, justo	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, justo	28 GBA40 $240	79 GBA100 SXM $990, justo	626 GB8× A100 $7,130, justo
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBcinco nodos, cotizado

La tarjeta única más barata que cabe, a 8,192 tokens y lote 1; un conjunto multitarjeta solo donde ninguna tarjeta única lo contiene. Esta tabla responde a una pregunta, la tarjeta más barata que contiene el modelo, y las guías de carga de trabajo responden a otra distinta, la tarjeta más barata en la que merece la pena ejecutarlo, que a veces es una tarjeta distinta y más cara, con el motivo indicado allí. «Justo» significa menos de 5 GB libres, o menos de 2 GB por tarjeta en filas multitarjeta. Los precios multitarjeta incluyen el descuento por volumen del 5% en dos tarjetas, 8% en cuatro y 10% en ocho. Las filas de ajuste fino completo suponen NVLink o NVSwitch, porque un all-reduce en cada paso sobre PCIe peer-to-peer no vale la pena alquilarlo. Existen sustituciones multitarjeta más baratas para la mayoría de filas y la sección 07 explica cuándo elegir una. La celda FP8 de 13B es la más justa: 22 GB dejan 2 GB libres en una L4, cuya memoria de 300 GB/s es la más lenta que alquilamos, así que la RTX 6000 Ada por $460 es la alternativa cuando la restricción es la velocidad de decodificación y no la capacidad. La MI300X ocupa siete celdas aquí y viene con tres condiciones: solo DFW-1 Dallas, 8 tarjetas libres en la última actualización del catálogo y ROCm en lugar de CUDA, de modo que vLLM y PyTorch funcionan y un kernel CUDA escrito a mano no. Especificaciones y stock por región en el catálogo de GPU, descuentos en la página de precios.

La celda que hay que mirar es 70B en INT4: 40 GB, contenidos por una A40 48GB a $240 al mes. No es un truco, es lo que compran la cuantización de cuatro bits y 48 GB de GDDR6. La sección 07 explica a qué renunciaste por ello. Todo lo que esté por encima de un nodo de 8 vías es una cuestión de clúster, no de tarjeta, y pertenece a la página de alquiler de clústeres multi-GPU.

06 Coste de la memoria

¿Qué GPU te da más VRAM por dólar?

Precio mensual dividido por gigabytes de VRAM, y ancho de banda de memoria dividido por precio mensual. Nadie publica ninguno de los dos. Ambos deciden más compras que una cifra de TFLOPS.

GPU	VRAM	Ancho de banda	Mensual	$ por GB/mes	GB/s por $/mes	Por GPU-hora
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mes	$8.28	3.33	$2.21
B200HBM3e, Blackwell, mínimo 2 GPU	180 GB	8 TB/s	$3,890/mes	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mes	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mes	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mes	$18.63	1.34	$2.07
A100 SXMHBM2e, sin FP8	80 GB	2.04 TB/s	$990/mes	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mes	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mes	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, sin FP8	48 GB	768 GB/s	$290/mes	$6.04	2.65	$0.40
A40GDDR6 ECC, sin FP8	48 GB	696 GB/s	$240/mes	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mes	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mes	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mes	$10.42	1.20	$0.35
RTX 3090GDDR6X, sin FP8	24 GB	936 GB/s	$230/mes	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, sin FP8	24 GB	768 GB/s	$190/mes	$7.92	4.04	$0.26

Ordenado por VRAM. Dólares por gigabyte es el precio mensual dividido por la capacidad. GB/s por dólar es el ancho de banda de memoria dividido por el precio mensual, de modo que cuanto más alto, mejor. Por GPU-hora es el precio mensual dividido por las 720 horas de un plazo, explicado en alquiler mensual frente a por horas de GPU. El precio de la B200 es por tarjeta, pero se entrega sobre una placa base HGX de 8 vías y la unidad alquilable más pequeña es de dos tarjetas, de modo que el pedido más pequeño de B200 son dos tarjetas: $7,780 al mes a precio de catálogo, $7,391 con el descuento del 5% por dos tarjetas.

Dos tarjetas distintas ganan las dos columnas, razón por la que se publican ambas. La A40 mantiene un gigabyte por $5.00 al mes, menos de la mitad de lo que cobra una L40S por los mismos 48 GB, porque es una tarjeta de 2020 con 696 GB/s detrás. La RTX 3090 da 4.07 GB/s por dólar, más del doble que la H100 SXM, porque es una tarjeta de consumo antigua con un bus rápido y un alquiler bajo. Ninguna es la mejor tarjeta de esta página. Ambas responden correctamente a una pregunta concreta.

La MI300X es el valor atípico. A $8.28 por gigabyte es memoria más barata que una A100, una H100 o una H200, con 5.3 TB/s detrás, razón por la que llena las celdas de modelos grandes de arriba. El coste es ROCm en lugar de CUDA: vLLM y PyTorch funcionan, un kernel CUDA escrito a mano no.

07 Contraargumento

¿Más VRAM es siempre la respuesta correcta?

No. Tres casos en los que comprar capacidad es la compra equivocada, con la aritmética de cada uno.

El ancho de banda es el cuello de botella, no la capacidad

Decodificar un token lee de la VRAM cada peso residente una vez. Divide el ancho de banda por el tamaño residente del modelo para obtener un techo estricto de tokens por segundo en flujo único. Un 7B en BF16 son 14 GB, así que una A40 de 696 GB/s no puede superar 50 tokens por segundo y una RTX 5090 de 1.79 TB/s no puede superar 128. Ambas caben el modelo. Una es 2.6 veces más rápida en ello.

Un techo, no un benchmark. Te quedas por debajo.

Cuantizado en una tarjeta pequeña gana a precisión completa en una grande

Un 34B en BF16 son 72 GB en total y necesita una A100 de $990: 2.04 TB/s sobre sus 68 GB de pesos son un techo de 30 tokens por segundo. El mismo 34B en INT4 son 21 GB en total y cabe en una RTX 4090 de $390: 1.01 TB/s sobre sus 17 GB de pesos son un techo de 59. Más rápido y un 61% más barato. A lo que renunciaste es a la calidad de los pesos cuantizados, la cual evalúas en lugar de suponerla.

Más barato y más rápido, peor salida. Pruébalo.

Dos tarjetas baratas, a veces

Dos A40 dan 96 GB por $456 al mes frente a los 80 GB de una A100 por $990. Más memoria, menos de la mitad de precio. Funciona para inferencia por lotes con una réplica por tarjeta, para QLoRA y para servicio dividido por capas a baja concurrencia. Falla bajo paralelismo de tensores y en cualquier paso de entrenamiento con un all-reduce, porque el enlace entre las tarjetas es la pieza que no compraste.

96 GB por $456. La pega es la interconexión.

El argumento de NVLink, dicho con precisión.

Una H100 SXM habla con sus vecinas a 900 GB/s por NVLink. Un par de A40 o RTX A6000 usa un puente NVLink a 112 GB/s. Una L40S no tiene NVLink y mueve datos por PCIe Gen4 peer-to-peer a una velocidad de línea de unos 32 GB/s. Una RTX 5090 tampoco tiene NVLink, pero su enlace es Gen5, de modo que unos 63 GB/s. Esa diferencia se paga una vez por capa y por token en una ejecución con paralelismo de tensores.

Dividir por capas en lugar de por tensores evita la mayor parte de ese tráfico y no aumenta nada. Por token sigues leyendo cada byte del modelo, en dos tarjetas en secuencia en lugar de en una sola. El paralelismo de tensores es lo que convierte dos tarjetas en el doble de ancho de banda, y es exactamente el modo que necesita el enlace rápido. Ese es todo el intercambio.

Comparación resuelta

2× RTX 5090: 64 GB, 3.58 TB/s agregados, $1,026/mes, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB, 3.35 TB/s, $1,690/mes, un solo espacio de memoria
Veredicto: El par gana sobre el papel y pierde en cualquier modelo que no quepa en 32 GB por tarjeta

Si tu modelo cabe en una tarjeta, ponlo en una tarjeta. Cada partición que añadas es un punto de sincronización, un modo de fallo y una tarde depurando mapas de dispositivos.

08 Cuándo no alquilar de nosotros

Los casos en los que esta página debería enviarte a otro sitio.

Nuestro plazo más corto es de siete días. Si necesitas una tarjeta durante una tarde para comprobar si un 13B cabe en 24 GB, usa un proveedor por horas: unas pocas horas allí cuestan menos que la semana mínima de $55 en una RTX A5000 aquí. No vendemos horas y no tenemos planes de hacerlo.

Si estás eligiendo entre dos tarjetas por velocidad y no por capacidad, deja de leer tablas y ejecuta tu stack en ambas. Todo lo que hay aquí es aritmética de capacidad y un techo de ancho de banda. Ninguno predice lo que harán tus kernels, tu forma de lote y tu planificador, y no fingiremos lo contrario con una cifra de rendimiento que no podamos documentar.

Si necesitas 6,480 GB para un ajuste fino completo de 405B, necesitas un clúster, una fabric y un plan, no una página de alquiler. Pregunta a ventas por capacidad multinodo en DFW-1 Dallas, IAD-1 Ashburn o PDX-1 Hillsboro y espera una conversación sobre interconexión antes que un precio.

En resumen Empieza aquí

Aprendizaje, cualquier modelo hasta 13B: RTX A5000 24 GB, $190/mes
Sirviendo de 24B a 34B en producción: L40S 48 GB, $520/mes
Tarjeta única más rápida por debajo de $600: RTX 5090 32 GB, $540/mes
70B más barato en INT4: A40 48 GB, $240/mes
70B en BF16 en una tarjeta: MI300X 192 GB, $1,590/mes
Contexto largo en 70B: H200 SXM 141 GB, $2,290/mes

BTCETHUSDTUSDCXMRSOLLTC

Deposita una vez, despliega en unos noventa segundos, sin dirección de correo y sin documento de identidad. Consulta hosting de GPU sin KYC y cómo funciona el pago con cripto.

09 Preguntas

Preguntas de VRAM, planteadas como la gente las hace.

¿Cuánta VRAM necesito para ejecutar un modelo de 70B?

Unos 145 GB en BF16, 75 GB en FP8 y 40 GB en INT4, cada uno a 8,192 tokens y lote 1. Eso es pesos más una caché KV de 2.7 GB más 2 GB de sobrecarga. La cifra de FP8 cabe en una tarjeta de 80 GB. La cifra de INT4 cabe en una A40 de 48 GB por $240 al mes.

¿Cuánta VRAM necesito para un modelo de 7B?

17 GB en BF16, 10 GB en FP8, 7 GB en INT4, a 8k de contexto y lote 1. Las tres caben en una tarjeta de 24 GB, así que una RTX A5000 por $190 al mes cubre cualquiera de ellas. La mejor pregunta es el ancho de banda: ese 7B tiene un techo de decodificación de 55 tokens por segundo en una A5000 y de 128 en una RTX 5090.

¿Cómo calculo el tamaño de la caché KV?

2 × capas × cabezas KV × dimensión de cabeza × bytes por elemento × longitud de contexto × tamaño de lote. Para un 70B con 80 capas, 8 cabezas KV y dimensión de cabeza 128, eso son 0.33 MB por token en FP16, es decir, 2.7 GB a 8k y 42.9 GB a 128k. Una caché en FP8 divide cada cifra a la mitad.

¿Son suficientes 24 GB de VRAM para ajustar un modelo?

Para QLoRA sí, hasta unos 34B en longitudes de secuencia cortas: un 13B necesita unos 14 GB y un 7B necesita 10 GB. Para LoRA en BF16, 24 GB cubren un 7B en unos 21 GB y nada mayor. Para ajuste fino completo con Adam, no. Incluso un 7B necesita unos 129 GB, porque el estado del optimizador cuesta 16 bytes por parámetro.

¿Qué GPU necesito para un modelo de 405B?

En INT4 necesita unos 209 GB, que ocho A40 contienen por $1,728 al mes, aunque a 696 GB/s cada una eso es capacidad más que velocidad. En FP8 necesita 411 GB y en BF16 816 GB, y ambos caben en un nodo 8× MI300X por $11,450. El ajuste fino completo necesita unos 7,452 GB y pertenece a un clúster.

¿Funcionan dos tarjetas de 24 GB como una de 48 GB?

Para capacidad, casi. Para velocidad, no. Un modelo dividido entre dos tarjetas sigue leyendo cada byte por token, de modo que dividir por capas no eleva tu techo. El paralelismo de tensores sí lo hace, pero intercambia activaciones en cada capa por el enlace entre las tarjetas: 112 GB/s en un puente NVLink, unos 63 GB/s por PCIe Gen5 y 32 GB/s por Gen4.

¿Qué GPU tiene la VRAM más barata por gigabyte?

La A40: 48 GB por $240 al mes son $5.00 por gigabyte al mes, la menor proporción de nuestra flota. Le sigue la RTX A6000 con $6.04, la RTX A5000 con $7.92 y la MI300X con $8.28. Una H100 SXM cuesta $21.13 por gigabyte porque compras ancho de banda y rendimiento FP8, no capacidad.

¿Perjudica la calidad de salida cuantizar a INT4?

Sí, de forma medible, y cuánto depende del modelo y del método. Los esquemas solo de pesos como AWQ y GPTQ pierden notablemente menos que el redondeo ingenuo. El proceso honesto es cuantizar, ejecutar tu propio conjunto de evaluación y decidir si la pérdida vale la tarjeta que ahorras. Alquilamos ambas tarjetas y no tenemos opinión.

Dimensionamiento específico por carga de trabajo en GPU para inferencia de LLM y GPU para ajuste fino. Especificaciones completas, stock y precios en el catálogo de GPU.

Ya conoces el número. Ahora elige la tarjeta.

Quince modelos en DFW-1, IAD-1 y PDX-1, desde $190 al mes, semanal o mensual, pagado en siete monedas sin verificación de identidad.

Crear una cuenta →