GPU Rent HubGuia de VRAM

Quanta VRAM eu preciso? A aritmética e, depois, a placa.

Um modelo de 70B de parâmetros precisa de cerca de 145 GB de VRAM para servir em BF16, 75 GB em FP8 e 40 GB em INT4, e a GPU Rent Hub aluga uma placa dedicada para cada um desses casos: $240 por mês para o caso INT4 em uma A40 de 48 GB, $1.490 para FP8 em uma H100 PCIe de 80 GB, $1.590 para BF16 em uma MI300X de 192 GB, pagos em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin sem verificação de identidade. Todos os números abaixo são aritmética que você pode refazer. Nada disso é benchmark, porque não citaremos um que não possamos comprovar.

Updated 2026-09-01
2 BBytes por parâmetro em BF16
$5.00VRAM mais barata que alugamos, por GB por mês
192 GBMaior VRAM em uma única placa, MI300X
15Placas para escolher
01 A fórmula

Como calcular de quanta VRAM um modelo precisa?

Três componentes. Pesos, cache KV e sobrecarga de execução. Dois deles podem ser calculados com exatidão.

O bloco de dimensionamento

VRAM necessária = (parâmetros × bytes por parâmetro) + cache KV + cerca de 2 GB de sobrecarga de execução. Bytes por parâmetro são 4 em FP32, 2 em BF16 ou FP16, 1 em FP8 e 0.5 em INT4. O cache KV é 2 × camadas × cabeças KV × dimensão das cabeças × bytes por elemento × comprimento de contexto × tamanho do lote, em que o 2 inicial cobre a chave e o valor. A sobrecarga de execução é o contexto CUDA, o framework e a fragmentação do alocador; 2 GB é uma margem segura para um único processo.

Exemplo calculado: um modelo de 70B em FP8 com 8.192 tokens e lote 1 ocupa 70 GB de pesos, 2,7 GB de cache KV e 2 GB de sobrecarga, totalizando 75 GB — cabe em uma placa de 80 GB com 5 GB de folga.

Duas convenções, definidas antes de você discutir pelo último gigabyte.

Parâmetros em bilhões multiplicados pelos bytes por parâmetro resultam diretamente em gigabytes, na convenção decimal em que um gigabyte equivale a 109 bytes. As capacidades das placas são informadas da mesma forma. Ferramentas que relatam gibibytes reduzem todos os números daqui em cerca de 7%, motivo pelo qual se deve deixar folga em vez de planejar até o último gigabyte.

Dimensione pelos parâmetros residentes, não pelos ativos. Um modelo mixture-of-experts mantém todos os especialistas na VRAM e executa dois por token: a memória do todo, a velocidade da parte.

PrecisãoBytes/param7B70B
FP32raramente vale a pena para inferência428 GB280 GB
BF16 / FP16o ponto de referência214 GB140 GB
FP8Ada, Hopper, Blackwell, CDNA 317 GB70 GB
INT4 / NF4somente pesos, qualquer arquitetura0.53.5 GB35 GB
FP8 exige suporte de hardware. As placas A100, A40, RTX A6000, RTX 3090 e RTX A5000 não o têm. A quantização somente de pesos INT4 roda em todas elas.
02 Inferência

Quanta VRAM eu preciso para executar um modelo de 7B, 13B, 34B, 70B ou 405B?

Pesos mais cache KV com 8.192 tokens e lote 1, além de 2 GB. Mude o contexto e a coluna KV muda; os pesos, não.

ModeloKV com 8k, lote 1BF16 totalFP8 totalINT4 total
7B32 camadas, GQA, 8 cabeças KV1.1 GB17 GB10 GB7 GB
13B40 camadas, MHA, sem GQA6.7 GB35 GB22 GB15 GB
34B60 camadas, GQA, 8 cabeças KV2.0 GB72 GB38 GB21 GB
70B80 camadas, GQA, 8 cabeças KV2.7 GB145 GB75 GB40 GB
405B126 camadas, GQA, 8 cabeças KV4.2 GB816 GB411 GB209 GB
Cache KV mantido em FP16 em todas as colunas. Dimensão das cabeças 128 em toda a tabela. Verifique a contagem de camadas e de cabeças KV no config.json do seu modelo antes de confiar em uma linha, porque estas são formas típicas, não universais.

A linha do 13B é a interessante: ela carrega um cache KV maior que a do 70B logo abaixo. Sua arquitetura usa atenção multi-cabeça com 40 cabeças de chave e valor, enquanto modelos posteriores usam atenção de consulta agrupada e 8. Essa mudança reduziu o cache de cinco a oito vezes e é o motivo pelo qual servir contexto longo se tornou acessível. Ao dimensionar qualquer modelo anterior a 2024, verifique o esquema de atenção antes da contagem de parâmetros.

O tamanho do lote multiplica o cache KV e nada mais. Esse 70B com lote 32 adiciona 85 GB de cache aos mesmos 70 GB de pesos; é por isso que um endpoint precisa de muito mais memória do que uma requisição por vez. O dimensionamento de serviço está na página GPU para inferência de LLM.

03 Contexto

Quanta VRAM o cache KV usa em contexto longo?

Linear com tokens e linear com o lote. Em 128k, o cache pode custar mais do que os pesos.

Formato do modeloKV por token8k32k128k
7B, 32 camadas, GQAlargura do KV 1,0240.13 MB1.1 GB4.3 GB17.2 GB
13B, 40 camadas, MHAlargura do KV 5,1200.82 MB6.7 GB26.8 GB107.4 GB
34B, 60 camadas, GQAlargura do KV 1,0240.25 MB2.0 GB8.1 GB32.2 GB
70B, 80 camadas, GQAlargura do KV 1,0240.33 MB2.7 GB10.7 GB42.9 GB
405B, 126 camadas, GQAlargura do KV 1,0240.52 MB4.2 GB16.9 GB67.6 GB
Cache em FP16, lote 1. Reduza cada número pela metade para um cache em FP8. Multiplique pelo tamanho do lote. A largura do KV é o número de cabeças KV multiplicado pela dimensão das cabeças.

Onde isso pesa.

Um 70B em FP8 cabe em uma placa de 80 GB em 8k com 5 GB de folga. Leve-o a 32k e só o cache vai a 10,7 GB; ele deixa de caber. É por isso que a H200 SXM de 141 GB e a MI300X de 192 GB existem como produtos. Elas comportam mais contexto do que uma H100 SXM, o que é diferente de serem mais rápidas.

Quantizar o cache KV para FP8 é uma alavanca separada da quantização dos pesos e costuma ser a mais barata. Ela reduz o cache pela metade com custo de qualidade bem menor do que baixar os pesos mais um nível, e tanto o vLLM quanto o TensorRT-LLM oferecem suporte.
04 Treinamento

Quanta VRAM eu preciso para ajustar um modelo?

O ajuste fino completo custa cerca de 16 bytes por parâmetro. LoRA custa 2. QLoRA custa 0.5. A diferença entre esses três números é toda a decisão.

O ajuste fino completo com Adam mantém cinco coisas por parâmetro: pesos em BF16 (2 bytes), gradientes em BF16 (2), uma cópia mestre em FP32 (4) e o primeiro e o segundo momentos do Adam (4 cada). São 16 bytes por parâmetro antes das ativações. LoRA congela a base, então você paga 2 bytes por parâmetro pelo modelo congelado e estado do otimizador apenas no adaptador, normalmente meio por cento dos parâmetros. QLoRA quantiza essa base congelada para 4 bits, custando 0.5 byte por parâmetro, e o adaptador permanece inalterado.

ModeloFT completo, pesos + AdamFT completo, com ativaçõesLoRAQLoRA
7B112 GB129 GB21 GB10 GB
13B208 GB239 GB33 GB14 GB
34B544 GB626 GB79 GB28 GB
70B1,120 GB1,288 GB156 GB51 GB
405B6,480 GB7,452 GB856 GB249 GB
Premissas declaradas para que você possa alterá-las: gradient checkpointing ativado, comprimento de sequência 2,048, lote 1, adaptadores de rank 16 nas projeções de atenção com cerca de 0,5% dos parâmetros, 15% adicionados à coluna de ajuste fino completo para ativações e fragmentação. O estado do otimizador do adaptador é contado em 16 bytes por parâmetro do adaptador.

A coluna de ajuste fino completo é o número ingênuo, com tudo residente nas GPUs. O ZeRO estágio 3 com estado do otimizador descarregado para a memória do host reduz substancialmente o requisito do lado da GPU, e nossos nós de 8 vias têm 2 TB de RAM de host exatamente para isso. O offload troca largura de banda PCIe por VRAM, portanto torna uma execução possível, não rápida. A escolha do método está na página GPU para ajuste fino.

Leia as duas últimas colunas em comparação com a primeira. Um ajuste fino completo de 70B exige um nó de oito placas a $11.450. O mesmo 70B com QLoRA exige 51 GB, o que equivale a uma A100 SXM de 80 GB a $990 por mês. É uma diferença de doze vezes para um método que é pior, mas raramente doze vezes pior. A maioria das pessoas que fazem essa pergunta recebeu o número do ajuste fino completo e não precisa dele.

05 Consulta

Qual GPU preciso para um modelo de 70B, ou de qualquer outro tamanho?

Tamanho do modelo na lateral, método no topo. Cada célula mostra a VRAM necessária e o item mais barato da nossa frota que a comporta.

ModeloInferência BF16Inferência FP8Inferência INT4QLoRALoRAAjuste fino completo
7B 17 GBRTX A5000 $190 10 GBL4 $250 7 GBRTX A5000 $190 10 GBRTX A5000 $190 21 GBRTX A5000 $190, apertado 129 GBMI300X $1,590
13B 35 GBA40 $240 22 GBL4 $250, apertado 15 GBRTX A5000 $190 14 GBRTX A5000 $190 33 GBA40 $240 239 GB4× A100 $3,643
34B 72 GBA100 SXM $990 38 GBRTX 6000 Ada $460 21 GBRTX A5000 $190, apertado 28 GBA40 $240 79 GBA100 SXM $990, apertado 626 GB8× A100 $7,130, apertado
70B 145 GBMI300X $1,590 75 GBH100 PCIe $1,490 40 GBA40 $240 51 GBA100 SXM $990 156 GBMI300X $1,590 1,288 GB8× MI300X $11,450
405B 816 GB8× MI300X $11,450 411 GB8× MI300X $11,450 209 GB8× A40 $1,728 249 GB8× A40 $1,728 856 GB8× MI300X $11,450 7,452 GBcinco nós, sob consulta
A placa única mais barata que comporta o modelo, com 8.192 tokens e lote 1; um conjunto de várias placas apenas quando nenhuma placa isolada o comporta. Esta tabela responde a uma pergunta, a placa mais barata que comporta o modelo, e os guias de carga de trabalho respondem a outra, a placa mais barata que vale a pena usar para executá-lo — que às vezes é uma placa diferente e mais cara, com o motivo explicado lá. Apertado significa menos de 5 GB de folga, ou menos de 2 GB por placa nas linhas com várias placas. Os preços de múltiplas placas incluem o desconto por volume de 5% em duas placas, 8% em quatro e 10% em oito. As linhas de ajuste fino completo pressupõem NVLink ou NVSwitch, porque um all-reduce a cada passo via PCIe peer-to-peer não vale o aluguel. Existem substituições de múltiplas placas mais baratas para a maioria das linhas, e a seção 07 explica quando usá-las. A célula 13B FP8 é a mais apertada: 22 GB deixam 2 GB de folga em uma L4, cujos 300 GB/s são a memória mais lenta que alugamos; portanto, a RTX 6000 Ada a $460 é a alternativa quando a velocidade de decodificação, e não a capacidade, é a restrição. A MI300X ocupa sete células aqui e vem com três condições: somente DFW-1 Dallas, 8 placas disponíveis na última atualização do catálogo e ROCm em vez de CUDA — assim, vLLM e PyTorch rodam, mas um kernel CUDA escrito à mão, não. Especificações e estoque por região no catálogo de GPUs, descontos na página de preços.

A célula que merece atenção é 70B em INT4: 40 GB, comportados por uma A40 de 48GB a $240 por mês. Não é truque, é apenas o que a quantização de quatro bits e 48 GB de GDDR6 proporcionam. A seção 07 mostra do que você abriu mão. Qualquer coisa acima de um nó de 8 vias é uma questão de cluster, não de placa, e pertence à página aluguel de cluster multi-GPU.

06 Custo da memória

Qual GPU oferece mais VRAM por dólar?

Preço mensal dividido pelos gigabytes de VRAM e largura de banda de memória dividida pelo preço mensal. Ninguém publica nenhum dos dois. Ambos decidem mais compras do que um número de TFLOPS.

GPUVRAMLargura de bandaMensal$ por GB/mêsGB/s por $/mêsPor GPU-hora
MI300XHBM3, CDNA 3192 GB5.3 TB/s$1,590/mês$8.283.33$2.21
B200HBM3e, Blackwell, mínimo de 2 GPUs180 GB8 TB/s$3,890/mês$21.612.06$5.40
H200 SXMHBM3e, Hopper141 GB4.8 TB/s$2,290/mês$16.242.10$3.18
H100 SXMHBM3, NVLink 900 GB/s80 GB3.35 TB/s$1,690/mês$21.131.98$2.35
H100 PCIeHBM2e80 GB2 TB/s$1,490/mês$18.631.34$2.07
A100 SXMHBM2e, sem FP880 GB2.04 TB/s$990/mês$12.382.06$1.38
L40SGDDR6 ECC, FP848 GB864 GB/s$520/mês$10.831.66$0.72
RTX 6000 AdaGDDR6 ECC, FP848 GB960 GB/s$460/mês$9.582.09$0.64
RTX A6000GDDR6 ECC, sem FP848 GB768 GB/s$290/mês$6.042.65$0.40
A40GDDR6 ECC, sem FP848 GB696 GB/s$240/mês$5.002.90$0.33
RTX 5090GDDR7, FP832 GB1.79 TB/s$540/mês$16.883.31$0.75
RTX 4090GDDR6X, FP824 GB1.01 TB/s$390/mês$16.252.59$0.54
L4GDDR6, FP8, 72 W24 GB300 GB/s$250/mês$10.421.20$0.35
RTX 3090GDDR6X, sem FP824 GB936 GB/s$230/mês$9.584.07$0.32
RTX A5000GDDR6 ECC, sem FP824 GB768 GB/s$190/mês$7.924.04$0.26
Ordenado por VRAM. Dólares por gigabyte é o preço mensal dividido pela capacidade. GB/s por dólar é a largura de banda de memória dividida pelo preço mensal; portanto, quanto maior, melhor. Por GPU-hora é o preço mensal dividido pelas 720 horas de um ciclo, conforme explicado em aluguel mensal versus por hora de GPU. O preço da B200 é por placa, mas ela é fornecida em uma base HGX de 8 vias, e a menor unidade alugável é de duas placas; portanto, o menor pedido de B200 é de duas placas: $7,780 por mês na tabela, $7,391 com o desconto de 5% para duas placas.

Duas placas diferentes vencem as duas colunas, e é por isso que ambas são publicadas. A A40 mantém um gigabyte por $5.00 ao mês, menos da metade do que uma L40S cobra pelos mesmos 48 GB, porque é uma placa de 2020 com 696 GB/s atrás dela. A RTX 3090 oferece 4,07 GB/s por dólar, mais que o dobro da H100 SXM, porque é uma placa de consumo antiga com barramento rápido e aluguel baixo. Nenhuma delas é a melhor placa daqui. Ambas respondem corretamente a uma pergunta específica.

A MI300X é o ponto fora da curva. A $8.28 por gigabyte, é memória mais barata do que uma A100, uma H100 ou uma H200, com 5.3 TB/s atrás dela; é por isso que preenche as células de modelos grandes acima. O custo é ROCm em vez de CUDA: vLLM e PyTorch rodam; um kernel CUDA escrito à mão, não.

07 Contra-argumento

Mais VRAM é sempre a resposta certa?

Não. Três casos em que comprar capacidade é a compra errada, com a aritmética de cada um.

01

O gargalo é a largura de banda, não a capacidade

Decodificar um token lê uma vez cada peso residente na VRAM. Divida a largura de banda pelo tamanho residente do modelo para obter um teto rígido de tokens por segundo em fluxo único. Um 7B em BF16 tem 14 GB; assim, uma A40 a 696 GB/s não passa de 50 tokens por segundo, e uma RTX 5090 a 1.79 TB/s não passa de 128. Ambas comportam o modelo. Uma é 2.6 vezes mais rápida nisso.

Um teto, não um benchmark. Você fica abaixo dele.
02

Quantizado em uma placa pequena vence a precisão total em uma grande

Um 34B em BF16 ocupa 72 GB no total e exige uma A100 a $990: 2.04 TB/s sobre seus 68 GB de pesos resultam em um teto de 30 tokens por segundo. O mesmo 34B em INT4 ocupa 21 GB no total e cabe em uma RTX 4090 a $390: 1.01 TB/s sobre seus 17 GB de pesos resultam em um teto de 59. Mais rápido e 61% mais barato. O que você abriu mão é a qualidade dos pesos quantizados, que deve ser avaliada, não presumida.

Mais barato e mais rápido, saída pior. Teste.
03

Duas placas baratas, às vezes

Duas A40 oferecem 96 GB por $456 ao mês, contra 80 GB de uma A100 por $990. Mais memória e menos da metade do preço. Funciona para inferência em lote com uma réplica por placa, para QLoRA e para servir com divisão por camadas em baixa concorrência. Falha sob paralelismo de tensores e em qualquer passo de treinamento com all-reduce, porque o enlace entre as placas é a parte que você não comprou.

96 GB por $456. O problema é a interconexão.

A questão do NVLink, dita com precisão.

Uma H100 SXM conversa com as vizinhas a 900 GB/s por NVLink. Um par de A40 ou RTX A6000 usa uma ponte NVLink a 112 GB/s. A L40S não tem NVLink e move dados por PCIe Gen4 peer-to-peer a uma taxa de linha de cerca de 32 GB/s. A RTX 5090 tampouco tem NVLink, mas seu enlace é Gen5, cerca de 63 GB/s. Essa diferença é paga uma vez por camada e por token em uma execução com paralelismo de tensores.

Dividir por camadas em vez de por tensores evita a maior parte desse tráfego e não aumenta a velocidade. Por token, você ainda lê cada byte do modelo, em duas placas em sequência, e não em uma só. O paralelismo de tensores é o que transforma duas placas no dobro da largura de banda e é exatamente o modo que precisa do enlace rápido. Essa é toda a troca.

Comparação calculada

2× RTX 5090
64 GB, 3.58 TB/s agregados, $1,026/mês, PCIe Gen5 peer-to-peer
1× H100 SXM
80 GB, 3.35 TB/s, $1,690/mês, um único espaço de memória
Veredito
O par vence no papel e perde em qualquer modelo que não caiba em 32 GB por placa
Se o seu modelo cabe em uma placa, coloque-o em uma placa. Cada divisão que você adiciona é um ponto de sincronização, um modo de falha e uma noite depurando mapas de dispositivos.
08 Quando não alugar conosco

Os casos em que esta página deveria enviá-lo para outro lugar.

Nosso prazo mínimo é de sete dias. Se você precisa de uma placa por uma tarde para verificar se um 13B cabe em 24 GB, use um provedor por hora: algumas horas lá custam menos do que a semana mínima de $55 em uma RTX A5000 aqui. Não vendemos horas e não planejamos vender.

Se você está escolhendo entre duas placas pela velocidade, e não pela capacidade, pare de ler tabelas e execute sua pilha nas duas. Tudo aqui é aritmética de capacidade e teto de largura de banda. Nada disso prevê o que seus kernels, formato de lote e escalonador farão, e não vamos fingir o contrário com um número de vazão que não podemos comprovar.

Se você precisa de 6,480 GB para um ajuste fino completo de 405B, precisa de um cluster, uma malha e um plano, não de uma página de aluguel. Pergunte ao setor de vendas sobre capacidade multinó em DFW-1 Dallas, IAD-1 Ashburn ou PDX-1 Hillsboro e espere uma conversa sobre interconexão antes de um preço.

TL;DR Comece por aqui
Aprendizado, qualquer modelo até 13B
RTX A5000 24 GB, $190/mês
Servir de 24B a 34B em produção
L40S 48 GB, $520/mês
Placa única mais rápida abaixo de $600
RTX 5090 32 GB, $540/mês
70B mais barato em INT4
A40 48 GB, $240/mês
70B em BF16 em uma placa
MI300X 192 GB, $1,590/mês
Contexto longo em 70B
H200 SXM 141 GB, $2,290/mês
BTCETHUSDTUSDCXMRSOLLTC

Deposite uma vez, implante em cerca de noventa segundos, sem endereço de e-mail e sem documento de identidade. Veja hospedagem de GPU sem KYC e como funciona o pagamento com criptomoedas.

09 Perguntas

Perguntas sobre VRAM, feitas do jeito que as pessoas fazem.

Quanta VRAM eu preciso para executar um modelo de 70B?
Cerca de 145 GB em BF16, 75 GB em FP8 e 40 GB em INT4, cada caso com 8.192 tokens e lote 1. Isso inclui pesos, 2,7 GB de cache KV e 2 GB de sobrecarga. O número em FP8 cabe em uma placa de 80 GB. O número em INT4 cabe em uma A40 de 48 GB a $240 por mês.
Quanta VRAM eu preciso para um modelo de 7B?
17 GB em BF16, 10 GB em FP8 e 7 GB em INT4, com contexto de 8k e lote 1. Os três cabem em uma placa de 24 GB; portanto, uma RTX A5000 de $190 por mês cobre qualquer um deles. A pergunta melhor é sobre largura de banda: esse 7B tem teto de decodificação de 55 tokens por segundo em uma A5000 e 128 em uma RTX 5090.
Como calculo o tamanho do cache KV?
2 × camadas × cabeças KV × dimensão das cabeças × bytes por elemento × comprimento de contexto × tamanho do lote. Para um 70B com 80 camadas, 8 cabeças KV e dimensão de cabeça 128, isso dá 0,33 MB por token em FP16; portanto, 2,7 GB em 8k e 42,9 GB em 128k. Um cache em FP8 reduz cada número pela metade.
24 GB de VRAM são suficientes para ajustar um modelo?
Para QLoRA, sim, até cerca de 34B em comprimentos de sequência curtos: um 13B precisa de cerca de 14 GB e um 7B, de 10 GB. Para LoRA em BF16, 24 GB cobrem um 7B em cerca de 21 GB e nada maior. Para ajuste fino completo com Adam, não. Mesmo um 7B precisa de cerca de 129 GB, porque o estado do otimizador custa 16 bytes por parâmetro.
Qual GPU preciso para um modelo de 405B?
Em INT4, ele precisa de cerca de 209 GB, que oito A40 comportam por $1,728 ao mês, embora a 696 GB/s cada uma isso seja capacidade, não velocidade. Em FP8, precisa de 411 GB e, em BF16, 816 GB; ambos cabem em um nó 8× MI300X a $11,450. O ajuste fino completo exige cerca de 7,452 GB e pertence a um cluster.
Duas placas de 24 GB funcionam como uma de 48 GB?
Para capacidade, quase. Para velocidade, não. Um modelo dividido em duas placas ainda lê cada byte por token; portanto, dividir por camadas não aumenta seu teto. O paralelismo de tensores aumenta, mas troca ativações a cada camada pelo enlace entre as placas: 112 GB/s em uma ponte NVLink, cerca de 63 GB/s via PCIe Gen5 e 32 GB/s via Gen4.
Qual GPU tem a VRAM mais barata por gigabyte?
A A40: 48 GB por $240 ao mês resultam em $5.00 por gigabyte por mês, a menor relação da nossa frota. A RTX A6000 vem em seguida com $6.04; a RTX A5000, $7.92; a MI300X, $8.28. Uma H100 SXM custa $21.13 por gigabyte porque você está comprando largura de banda e vazão em FP8, não capacidade.
Quantizar para INT4 prejudica a qualidade da saída?
Sim, de forma mensurável, e o quanto depende do modelo e do método. Esquemas somente de pesos, como AWQ e GPTQ, perdem visivelmente menos do que o arredondamento ingênuo. O processo honesto é quantizar, rodar seu próprio conjunto de avaliação e decidir se a perda vale a placa economizada. Alugamos as duas placas e não temos opinião.

Dimensionamento específico por carga de trabalho em GPU para inferência de LLM e GPU para ajuste fino. Especificações completas, estoque e preços no catálogo de GPUs.

Você sabe o número. Agora escolha a placa.

Quinze modelos em DFW-1, IAD-1 e PDX-1, a partir de $190 por mês, semanal ou mensal, pagos em sete criptomoedas sem verificação de identidade.

Criar uma conta →