Quanta VRAM eu preciso? A aritmética e, depois, a placa.
Um modelo de 70B de parâmetros precisa de cerca de 145 GB de VRAM para servir em BF16, 75 GB em FP8 e 40 GB em INT4, e a GPU Rent Hub aluga uma placa dedicada para cada um desses casos: $240 por mês para o caso INT4 em uma A40 de 48 GB, $1.490 para FP8 em uma H100 PCIe de 80 GB, $1.590 para BF16 em uma MI300X de 192 GB, pagos em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin sem verificação de identidade. Todos os números abaixo são aritmética que você pode refazer. Nada disso é benchmark, porque não citaremos um que não possamos comprovar.
Como calcular de quanta VRAM um modelo precisa?
Três componentes. Pesos, cache KV e sobrecarga de execução. Dois deles podem ser calculados com exatidão.
O bloco de dimensionamento
VRAM necessária = (parâmetros × bytes por parâmetro) + cache KV + cerca de 2 GB de sobrecarga de execução. Bytes por parâmetro são 4 em FP32, 2 em BF16 ou FP16, 1 em FP8 e 0.5 em INT4. O cache KV é 2 × camadas × cabeças KV × dimensão das cabeças × bytes por elemento × comprimento de contexto × tamanho do lote, em que o 2 inicial cobre a chave e o valor. A sobrecarga de execução é o contexto CUDA, o framework e a fragmentação do alocador; 2 GB é uma margem segura para um único processo.
Exemplo calculado: um modelo de 70B em FP8 com 8.192 tokens e lote 1 ocupa 70 GB de pesos, 2,7 GB de cache KV e 2 GB de sobrecarga, totalizando 75 GB — cabe em uma placa de 80 GB com 5 GB de folga.
Duas convenções, definidas antes de você discutir pelo último gigabyte.
Parâmetros em bilhões multiplicados pelos bytes por parâmetro resultam diretamente em gigabytes, na convenção decimal em que um gigabyte equivale a 109 bytes. As capacidades das placas são informadas da mesma forma. Ferramentas que relatam gibibytes reduzem todos os números daqui em cerca de 7%, motivo pelo qual se deve deixar folga em vez de planejar até o último gigabyte.
Dimensione pelos parâmetros residentes, não pelos ativos. Um modelo mixture-of-experts mantém todos os especialistas na VRAM e executa dois por token: a memória do todo, a velocidade da parte.
| Precisão | Bytes/param | 7B | 70B |
|---|---|---|---|
| FP32raramente vale a pena para inferência | 4 | 28 GB | 280 GB |
| BF16 / FP16o ponto de referência | 2 | 14 GB | 140 GB |
| FP8Ada, Hopper, Blackwell, CDNA 3 | 1 | 7 GB | 70 GB |
| INT4 / NF4somente pesos, qualquer arquitetura | 0.5 | 3.5 GB | 35 GB |
Quanta VRAM eu preciso para executar um modelo de 7B, 13B, 34B, 70B ou 405B?
Pesos mais cache KV com 8.192 tokens e lote 1, além de 2 GB. Mude o contexto e a coluna KV muda; os pesos, não.
| Modelo | KV com 8k, lote 1 | BF16 total | FP8 total | INT4 total |
|---|---|---|---|---|
| 7B32 camadas, GQA, 8 cabeças KV | 1.1 GB | 17 GB | 10 GB | 7 GB |
| 13B40 camadas, MHA, sem GQA | 6.7 GB | 35 GB | 22 GB | 15 GB |
| 34B60 camadas, GQA, 8 cabeças KV | 2.0 GB | 72 GB | 38 GB | 21 GB |
| 70B80 camadas, GQA, 8 cabeças KV | 2.7 GB | 145 GB | 75 GB | 40 GB |
| 405B126 camadas, GQA, 8 cabeças KV | 4.2 GB | 816 GB | 411 GB | 209 GB |
A linha do 13B é a interessante: ela carrega um cache KV maior que a do 70B logo abaixo. Sua arquitetura usa atenção multi-cabeça com 40 cabeças de chave e valor, enquanto modelos posteriores usam atenção de consulta agrupada e 8. Essa mudança reduziu o cache de cinco a oito vezes e é o motivo pelo qual servir contexto longo se tornou acessível. Ao dimensionar qualquer modelo anterior a 2024, verifique o esquema de atenção antes da contagem de parâmetros.
O tamanho do lote multiplica o cache KV e nada mais. Esse 70B com lote 32 adiciona 85 GB de cache aos mesmos 70 GB de pesos; é por isso que um endpoint precisa de muito mais memória do que uma requisição por vez. O dimensionamento de serviço está na página GPU para inferência de LLM.
Quanta VRAM o cache KV usa em contexto longo?
Linear com tokens e linear com o lote. Em 128k, o cache pode custar mais do que os pesos.
| Formato do modelo | KV por token | 8k | 32k | 128k |
|---|---|---|---|---|
| 7B, 32 camadas, GQAlargura do KV 1,024 | 0.13 MB | 1.1 GB | 4.3 GB | 17.2 GB |
| 13B, 40 camadas, MHAlargura do KV 5,120 | 0.82 MB | 6.7 GB | 26.8 GB | 107.4 GB |
| 34B, 60 camadas, GQAlargura do KV 1,024 | 0.25 MB | 2.0 GB | 8.1 GB | 32.2 GB |
| 70B, 80 camadas, GQAlargura do KV 1,024 | 0.33 MB | 2.7 GB | 10.7 GB | 42.9 GB |
| 405B, 126 camadas, GQAlargura do KV 1,024 | 0.52 MB | 4.2 GB | 16.9 GB | 67.6 GB |
Onde isso pesa.
Um 70B em FP8 cabe em uma placa de 80 GB em 8k com 5 GB de folga. Leve-o a 32k e só o cache vai a 10,7 GB; ele deixa de caber. É por isso que a H200 SXM de 141 GB e a MI300X de 192 GB existem como produtos. Elas comportam mais contexto do que uma H100 SXM, o que é diferente de serem mais rápidas.
Quanta VRAM eu preciso para ajustar um modelo?
O ajuste fino completo custa cerca de 16 bytes por parâmetro. LoRA custa 2. QLoRA custa 0.5. A diferença entre esses três números é toda a decisão.
O ajuste fino completo com Adam mantém cinco coisas por parâmetro: pesos em BF16 (2 bytes), gradientes em BF16 (2), uma cópia mestre em FP32 (4) e o primeiro e o segundo momentos do Adam (4 cada). São 16 bytes por parâmetro antes das ativações. LoRA congela a base, então você paga 2 bytes por parâmetro pelo modelo congelado e estado do otimizador apenas no adaptador, normalmente meio por cento dos parâmetros. QLoRA quantiza essa base congelada para 4 bits, custando 0.5 byte por parâmetro, e o adaptador permanece inalterado.
| Modelo | FT completo, pesos + Adam | FT completo, com ativações | LoRA | QLoRA |
|---|---|---|---|---|
| 7B | 112 GB | 129 GB | 21 GB | 10 GB |
| 13B | 208 GB | 239 GB | 33 GB | 14 GB |
| 34B | 544 GB | 626 GB | 79 GB | 28 GB |
| 70B | 1,120 GB | 1,288 GB | 156 GB | 51 GB |
| 405B | 6,480 GB | 7,452 GB | 856 GB | 249 GB |
A coluna de ajuste fino completo é o número ingênuo, com tudo residente nas GPUs. O ZeRO estágio 3 com estado do otimizador descarregado para a memória do host reduz substancialmente o requisito do lado da GPU, e nossos nós de 8 vias têm 2 TB de RAM de host exatamente para isso. O offload troca largura de banda PCIe por VRAM, portanto torna uma execução possível, não rápida. A escolha do método está na página GPU para ajuste fino.
Leia as duas últimas colunas em comparação com a primeira. Um ajuste fino completo de 70B exige um nó de oito placas a $11.450. O mesmo 70B com QLoRA exige 51 GB, o que equivale a uma A100 SXM de 80 GB a $990 por mês. É uma diferença de doze vezes para um método que é pior, mas raramente doze vezes pior. A maioria das pessoas que fazem essa pergunta recebeu o número do ajuste fino completo e não precisa dele.
Qual GPU preciso para um modelo de 70B, ou de qualquer outro tamanho?
Tamanho do modelo na lateral, método no topo. Cada célula mostra a VRAM necessária e o item mais barato da nossa frota que a comporta.
| Modelo | Inferência BF16 | Inferência FP8 | Inferência INT4 | QLoRA | LoRA | Ajuste fino completo |
|---|---|---|---|---|---|---|
| 7B | 17 GBRTX A5000 $190 | 10 GBL4 $250 | 7 GBRTX A5000 $190 | 10 GBRTX A5000 $190 | 21 GBRTX A5000 $190, apertado | 129 GBMI300X $1,590 |
| 13B | 35 GBA40 $240 | 22 GBL4 $250, apertado | 15 GBRTX A5000 $190 | 14 GBRTX A5000 $190 | 33 GBA40 $240 | 239 GB4× A100 $3,643 |
| 34B | 72 GBA100 SXM $990 | 38 GBRTX 6000 Ada $460 | 21 GBRTX A5000 $190, apertado | 28 GBA40 $240 | 79 GBA100 SXM $990, apertado | 626 GB8× A100 $7,130, apertado |
| 70B | 145 GBMI300X $1,590 | 75 GBH100 PCIe $1,490 | 40 GBA40 $240 | 51 GBA100 SXM $990 | 156 GBMI300X $1,590 | 1,288 GB8× MI300X $11,450 |
| 405B | 816 GB8× MI300X $11,450 | 411 GB8× MI300X $11,450 | 209 GB8× A40 $1,728 | 249 GB8× A40 $1,728 | 856 GB8× MI300X $11,450 | 7,452 GBcinco nós, sob consulta |
A célula que merece atenção é 70B em INT4: 40 GB, comportados por uma A40 de 48GB a $240 por mês. Não é truque, é apenas o que a quantização de quatro bits e 48 GB de GDDR6 proporcionam. A seção 07 mostra do que você abriu mão. Qualquer coisa acima de um nó de 8 vias é uma questão de cluster, não de placa, e pertence à página aluguel de cluster multi-GPU.
Qual GPU oferece mais VRAM por dólar?
Preço mensal dividido pelos gigabytes de VRAM e largura de banda de memória dividida pelo preço mensal. Ninguém publica nenhum dos dois. Ambos decidem mais compras do que um número de TFLOPS.
| GPU | VRAM | Largura de banda | Mensal | $ por GB/mês | GB/s por $/mês | Por GPU-hora |
|---|---|---|---|---|---|---|
| MI300XHBM3, CDNA 3 | 192 GB | 5.3 TB/s | $1,590/mês | $8.28 | 3.33 | $2.21 |
| B200HBM3e, Blackwell, mínimo de 2 GPUs | 180 GB | 8 TB/s | $3,890/mês | $21.61 | 2.06 | $5.40 |
| H200 SXMHBM3e, Hopper | 141 GB | 4.8 TB/s | $2,290/mês | $16.24 | 2.10 | $3.18 |
| H100 SXMHBM3, NVLink 900 GB/s | 80 GB | 3.35 TB/s | $1,690/mês | $21.13 | 1.98 | $2.35 |
| H100 PCIeHBM2e | 80 GB | 2 TB/s | $1,490/mês | $18.63 | 1.34 | $2.07 |
| A100 SXMHBM2e, sem FP8 | 80 GB | 2.04 TB/s | $990/mês | $12.38 | 2.06 | $1.38 |
| L40SGDDR6 ECC, FP8 | 48 GB | 864 GB/s | $520/mês | $10.83 | 1.66 | $0.72 |
| RTX 6000 AdaGDDR6 ECC, FP8 | 48 GB | 960 GB/s | $460/mês | $9.58 | 2.09 | $0.64 |
| RTX A6000GDDR6 ECC, sem FP8 | 48 GB | 768 GB/s | $290/mês | $6.04 | 2.65 | $0.40 |
| A40GDDR6 ECC, sem FP8 | 48 GB | 696 GB/s | $240/mês | $5.00 | 2.90 | $0.33 |
| RTX 5090GDDR7, FP8 | 32 GB | 1.79 TB/s | $540/mês | $16.88 | 3.31 | $0.75 |
| RTX 4090GDDR6X, FP8 | 24 GB | 1.01 TB/s | $390/mês | $16.25 | 2.59 | $0.54 |
| L4GDDR6, FP8, 72 W | 24 GB | 300 GB/s | $250/mês | $10.42 | 1.20 | $0.35 |
| RTX 3090GDDR6X, sem FP8 | 24 GB | 936 GB/s | $230/mês | $9.58 | 4.07 | $0.32 |
| RTX A5000GDDR6 ECC, sem FP8 | 24 GB | 768 GB/s | $190/mês | $7.92 | 4.04 | $0.26 |
Duas placas diferentes vencem as duas colunas, e é por isso que ambas são publicadas. A A40 mantém um gigabyte por $5.00 ao mês, menos da metade do que uma L40S cobra pelos mesmos 48 GB, porque é uma placa de 2020 com 696 GB/s atrás dela. A RTX 3090 oferece 4,07 GB/s por dólar, mais que o dobro da H100 SXM, porque é uma placa de consumo antiga com barramento rápido e aluguel baixo. Nenhuma delas é a melhor placa daqui. Ambas respondem corretamente a uma pergunta específica.
A MI300X é o ponto fora da curva. A $8.28 por gigabyte, é memória mais barata do que uma A100, uma H100 ou uma H200, com 5.3 TB/s atrás dela; é por isso que preenche as células de modelos grandes acima. O custo é ROCm em vez de CUDA: vLLM e PyTorch rodam; um kernel CUDA escrito à mão, não.
Mais VRAM é sempre a resposta certa?
Não. Três casos em que comprar capacidade é a compra errada, com a aritmética de cada um.
O gargalo é a largura de banda, não a capacidade
Decodificar um token lê uma vez cada peso residente na VRAM. Divida a largura de banda pelo tamanho residente do modelo para obter um teto rígido de tokens por segundo em fluxo único. Um 7B em BF16 tem 14 GB; assim, uma A40 a 696 GB/s não passa de 50 tokens por segundo, e uma RTX 5090 a 1.79 TB/s não passa de 128. Ambas comportam o modelo. Uma é 2.6 vezes mais rápida nisso.
Quantizado em uma placa pequena vence a precisão total em uma grande
Um 34B em BF16 ocupa 72 GB no total e exige uma A100 a $990: 2.04 TB/s sobre seus 68 GB de pesos resultam em um teto de 30 tokens por segundo. O mesmo 34B em INT4 ocupa 21 GB no total e cabe em uma RTX 4090 a $390: 1.01 TB/s sobre seus 17 GB de pesos resultam em um teto de 59. Mais rápido e 61% mais barato. O que você abriu mão é a qualidade dos pesos quantizados, que deve ser avaliada, não presumida.
Duas placas baratas, às vezes
Duas A40 oferecem 96 GB por $456 ao mês, contra 80 GB de uma A100 por $990. Mais memória e menos da metade do preço. Funciona para inferência em lote com uma réplica por placa, para QLoRA e para servir com divisão por camadas em baixa concorrência. Falha sob paralelismo de tensores e em qualquer passo de treinamento com all-reduce, porque o enlace entre as placas é a parte que você não comprou.
A questão do NVLink, dita com precisão.
Uma H100 SXM conversa com as vizinhas a 900 GB/s por NVLink. Um par de A40 ou RTX A6000 usa uma ponte NVLink a 112 GB/s. A L40S não tem NVLink e move dados por PCIe Gen4 peer-to-peer a uma taxa de linha de cerca de 32 GB/s. A RTX 5090 tampouco tem NVLink, mas seu enlace é Gen5, cerca de 63 GB/s. Essa diferença é paga uma vez por camada e por token em uma execução com paralelismo de tensores.
Dividir por camadas em vez de por tensores evita a maior parte desse tráfego e não aumenta a velocidade. Por token, você ainda lê cada byte do modelo, em duas placas em sequência, e não em uma só. O paralelismo de tensores é o que transforma duas placas no dobro da largura de banda e é exatamente o modo que precisa do enlace rápido. Essa é toda a troca.
Comparação calculada
- 2× RTX 5090
- 64 GB, 3.58 TB/s agregados, $1,026/mês, PCIe Gen5 peer-to-peer
- 1× H100 SXM
- 80 GB, 3.35 TB/s, $1,690/mês, um único espaço de memória
- Veredito
- O par vence no papel e perde em qualquer modelo que não caiba em 32 GB por placa
Os casos em que esta página deveria enviá-lo para outro lugar.
Nosso prazo mínimo é de sete dias. Se você precisa de uma placa por uma tarde para verificar se um 13B cabe em 24 GB, use um provedor por hora: algumas horas lá custam menos do que a semana mínima de $55 em uma RTX A5000 aqui. Não vendemos horas e não planejamos vender.
Se você está escolhendo entre duas placas pela velocidade, e não pela capacidade, pare de ler tabelas e execute sua pilha nas duas. Tudo aqui é aritmética de capacidade e teto de largura de banda. Nada disso prevê o que seus kernels, formato de lote e escalonador farão, e não vamos fingir o contrário com um número de vazão que não podemos comprovar.
Se você precisa de 6,480 GB para um ajuste fino completo de 405B, precisa de um cluster, uma malha e um plano, não de uma página de aluguel. Pergunte ao setor de vendas sobre capacidade multinó em DFW-1 Dallas, IAD-1 Ashburn ou PDX-1 Hillsboro e espere uma conversa sobre interconexão antes de um preço.
- Aprendizado, qualquer modelo até 13B
- RTX A5000 24 GB, $190/mês
- Servir de 24B a 34B em produção
- L40S 48 GB, $520/mês
- Placa única mais rápida abaixo de $600
- RTX 5090 32 GB, $540/mês
- 70B mais barato em INT4
- A40 48 GB, $240/mês
- 70B em BF16 em uma placa
- MI300X 192 GB, $1,590/mês
- Contexto longo em 70B
- H200 SXM 141 GB, $2,290/mês
Deposite uma vez, implante em cerca de noventa segundos, sem endereço de e-mail e sem documento de identidade. Veja hospedagem de GPU sem KYC e como funciona o pagamento com criptomoedas.
Perguntas sobre VRAM, feitas do jeito que as pessoas fazem.
Quanta VRAM eu preciso para executar um modelo de 70B?
Quanta VRAM eu preciso para um modelo de 7B?
Como calculo o tamanho do cache KV?
24 GB de VRAM são suficientes para ajustar um modelo?
Qual GPU preciso para um modelo de 405B?
Duas placas de 24 GB funcionam como uma de 48 GB?
Qual GPU tem a VRAM mais barata por gigabyte?
Quantizar para INT4 prejudica a qualidade da saída?
Dimensionamento específico por carga de trabalho em GPU para inferência de LLM e GPU para ajuste fino. Especificações completas, estoque e preços no catálogo de GPUs.
Você sabe o número. Agora escolha a placa.
Quinze modelos em DFW-1, IAD-1 e PDX-1, a partir de $190 por mês, semanal ou mensal, pagos em sete criptomoedas sem verificação de identidade.