GPU Rent HubGPU para inferência de LLM

Como escolher uma GPU para inferência de LLM.

A GPU Rent Hub aluga servidores GPU dedicados para inferência de LLM de $250 por mês por uma NVIDIA L4 até $2.290 por mês por uma H200 SXM, pagos em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin, sem verificação de identidade.

Dois números escolhem a placa: a VRAM que os pesos e o cache KV precisam, e a largura de banda de memória que define os tokens por segundo.

Updated 2026-09-01

75 GBUm modelo 70B em FP8, contexto de 8k, lote 1

3.35 TB/sLargura de banda de memória da H100 SXM

$2.35H100 SXM por GPU-hora em um mês

20 TBSaída incluída por instância

01 Dimensionamento

Quanta VRAM um LLM precisa para inferência?

Dois números decidem a placa aqui. A derivação pertence ao guia de VRAM; o termo que varia é o cache KV, e ele varia com o seu tráfego, não com o modelo.

Os dois números dos quais esta página parte

Um modelo 70B em FP8 usa 75 GB com 8,192 tokens e lote 1, e 2.7 GB disso é cache KV. Todo o resto — a fórmula de pesos mais cache mais overhead, os bytes por parâmetro em cada precisão e uma linha para cada tamanho de modelo — é derivado termo a termo no guia de VRAM de GPU e não é repetido aqui. Esses dois números fazem o trabalho abaixo: 75 GB é o motivo pelo qual uma placa de 80 GB atende um 70B com 5 GB livres, e o cache de 2.7 GB é o termo levado adiante para a linha de 120B da tabela.

O termo de cache domina em contextos longos, onde ele cresce com o comprimento do contexto vezes o tamanho do lote, não com a contagem de parâmetros. Em 128k e 32 requisições concorrentes, ele pode exceder os pesos. É por isso que a H200 SXM com 141 GB custa mais do que uma H100 SXM rodando o mesmo silício.

Tamanho do modelo	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Placa NVIDIA mais barata que cabe, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 camadas, MHA, cache grande	35 GB	22 GB	15 GB	L4, 24 GB, justa
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bmesma fórmula, sem linha no guia	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Pesos mais um cache KV com 8,192 tokens e lote 1 mais 2 GB de overhead, citados do guia de VRAM de GPU junto com a placa mais barata que comporta cada valor de FP8. A última coluna é apenas NVIDIA, porque a alternativa exige uma pilha de software diferente: na linha de 120B, a MI300X de 192 GB comporta os mesmos 125 GB por $1,590 por mês contra $2,290 da H200 SXM, ao custo de ROCm em vez de CUDA e de Dallas em vez de três sites. A linha de 120B é a mesma fórmula levada um passo adiante, aproveitando o cache de 2.7 GB da linha de 70B, porque nenhuma linha do guia cobre esse tamanho. A linha de 405B é a exceção à coluna, porque nenhuma placa única de qualquer marca comporta esse tamanho e o nó mais barato que comporta é a 8× MI300X. Um 70B em FP8 deixa 5 GB livres em uma placa de 80 GB com 8k e deixa de caber em 32k, onde só o cache ocupa 10.7 GB.

02 Largura de banda

Por que a largura de banda de memória importa mais do que TFLOPS para inferência de LLM?

Decodificar um token lê todos os pesos uma vez. A placa espera pela memória, não pela matemática.

Em um lote de um, a decodificação transmite todo o conjunto de pesos da VRAM para cada token e faz cerca de duas operações de ponto flutuante por parâmetro, o que em BF16 equivale a uma operação por byte lido. Manter os núcleos tensores de uma H100 SXM ocupados exige cerca de 300, considerando seus 1,979 TFLOPS FP16 esparsos como cerca de 990 densos contra 3.35 TB/s de largura de banda. A placa é limitada pela memória com folga, portanto o teto de tokens por segundo é a largura de banda dividida pelos bytes de pesos lidos por token.

Um modelo 8B em BF16 tem 16 GB. Em uma RTX 4090 com 1.01 TB/s, o teto é de 63 tokens por segundo; em uma H100 SXM com 3.35 TB/s, é de 209. São tetos de ficha técnica e a decodificação real fica abaixo deles, por uma fração que não citaremos porque não podemos citar uma fonte. A ordem permanece. O prefill é o caso oposto, limitado pela computação, que é onde os núcleos tensores FP8 fazem valer a pena.

Teto, tokens por segundo = largura de banda de memória ÷ (parâmetros × bytes por parâmetro). O uso de lote aumenta a vazão por placa sem aumentar a velocidade de uma única requisição, porque os pesos são lidos uma vez para todo o lote.

Dois fatos da tabela que soam mal para nós. Uma A100 SXM com 2.04 TB/s tem mais largura de banda do que uma H100 PCIe, e uma RTX 3090 com 936 GB/s mais do que uma L40S. Nenhuma das duas é a melhor placa para inferência. A seção 03 diz por quê.

GPU	VRAM	Largura de banda	Teto, 8B em BF16	Mensal	Por GPU-hora
B200Blackwell, HBM3e, mínimo de 2 GPUs	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, sem FP8	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, sem FP8	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, sem FP8	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

A coluna de teto é a largura de banda dividida por 16 GB de pesos em BF16: um limite superior da ficha técnica, não um resultado medido. Por GPU-hora é o valor mensal dividido por 720. O preço da B200 é por placa e a placa é vendida em uma baseboard HGX de 8 vias, então o menor pedido de B200 é de duas placas, $7,780 por mês antes do desconto de duas placas. Todas as quinze placas no catálogo de GPU.

03 Precisão

O FP8 importa, e por que a A100 é uma placa de inferência pior do que o preço sugere?

O FP8 reduz os pesos pela metade. Isso reduz pela metade os bytes lidos por token e dobra o modelo que cabe.

Hopper, Ada Lovelace e Blackwell têm núcleos tensores FP8: a B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 e L4. Ampere não tem. A A100, A40, RTX A6000, RTX A5000 e RTX 3090 não suportam FP8, e isso é silício, não uma lacuna de driver.

Então um modelo 70B em FP8 tem 75 GB e roda em uma H100 SXM por $1,690 por mês, $2.35 por GPU-hora. Em Ampere, ele roda em BF16 com 145 GB, ou seja, duas placas A100 SXM: $1,980 na tabela, $1,881 por mês com o desconto de 5% para duas placas, o que dá $2.61 por hora para o endpoint contra $2.35 para uma única H100 SXM, com tráfego de paralelismo tensorial em cada token. A placa mais barata constrói o endpoint mais caro.

A Ampere ainda vale a pena alugar

Para ajuste fino, para servir em 4 bits e onde 80 GB abaixo de $1,000 por mês é o ponto. É uma má escolha padrão para um endpoint de tokens em produção, e a etiqueta de $990 esconde isso.

A MI300X é a exceção que vale conhecer. 192 GB de HBM3 a 5.3 TB/s por $1,590 por mês comporta um modelo 70B em BF16 em uma única placa, 145 GB com 47 GB livres, sem quantização e sem sharding. Ela inicializa nosso template ROCm 6.4 com uma compilação PyTorch ROCm.

04 Escolhas

Qual é a melhor GPU para inferência de LLM em cada tamanho de modelo?

Ordenado por tamanho de modelo. Uma placa por faixa, escolhida pela aritmética acima.

Servindo isto	Escolha	VRAM	Semanal	Mensal	Por GPU-hora
7B–8B, sempre ligado, QPS baixo72 W, slot único, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, a latência importa1.01 TB/s, 265 em estoque	RTX 4090	24 GB	$110	$390/mo	$0.54
14B–24B em FP8memória mais rápida abaixo de $600	RTX 5090	32 GB	$155	$540/mo	$0.75
24B–34B em FP8ECC, nós de 8 vias, RT cores	L40S	48 GB	$148	$520/mo	$0.72
32B em BF16, sem quantizaçãoHopper a 350 W	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
70B em FP8, uma placao padrão de produção	H100 SXM	80 GB	$475	$1,690/mo	$2.35
70B em BF16, uma placamais HBM por placa	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B, ou 70B em 128kfolga de cache KV	H200 SXM	141 GB	$640	$2,290/mo	$3.18
405B em FP8, um nó8 vias, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

Por GPU-hora é o valor mensal dividido por 720 e, para o nó, por 8 placas e 720 horas. Descontos para múltiplas GPUs são de 5% em duas placas, 8% em quatro, 10% em oito, então um nó 8× H100 SXM custa $12,170 por mês, $2.11 por GPU-hora. Em estoque: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Estas são as placas em que rodaríamos o trabalho; a tabela de consulta do guia de VRAM nomeia a placa mais barata que meramente comporta, então uma linha aqui às vezes é a placa mais cara e o motivo está na linha. A linha de 405B é o caso mais claro: o guia dá o nó mais barato que comporta um 405B em FP8 como a 8× MI300X por $11,450, e esta tabela escolhe a 8× B200 por sua malha de 1.8 TB/s.

Os preços são idênticos em DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro, então escolha a região pela latência. A MI300X está apenas em Dallas. Das oito B200, seis estão em DFW-1 e duas em PDX-1, nenhuma em IAD-1.

05 A instância

O que recebo em um servidor de inferência de LLM da GPU Rent Hub?

Bare metal, root, a pilha de servidor pré-instalada, nada escutando até você habilitar.

Template vLLM 0.9

Ubuntu 24.04 com vLLM 0.9 e uma unidade de servidor compatível com OpenAI instalada. A unidade vem desativada. Você a habilita e decide o que pode acessar a porta.

Nada é exposto por padrão.

Template Ollama

Para um modelo que responde em dois minutos em vez de um servidor ajustado. O Ollama fica vinculado ao localhost e você mesmo o expõe, geralmente via WireGuard.

Mesma regra: localhost até você movê-lo.

20 TB de saída incluídos

A cerca de 100 bytes de JSON e enquadramento SSE por token transmitido, isso dá cerca de 200 bilhões de tokens por mês. Um endpoint de texto não chegará a isso.

Depois, $4/TB. Entrada sem medição.

Porta 100G, 10G garantidos

Uplink compartilhado de 100G com piso de 10 Gbps, um IPv4 e um /64 IPv6. Uma porta 100G dedicada custa $220 por mês se você transmitir áudio ou imagens.

VLAN privada entre instâncias, $25/mo.

Inferência sempre ligada é o caso mais claro para um contrato: ocupada em horários imprevisíveis, intolerante a partidas a frio, mantendo pesos que uma plataforma medida puxaria novamente a cada escalonamento. A placa é sua por 720 horas, chegue ou não tráfego, e não pode ser preemptada. A aritmética de crossover em aluguel mensal versus por hora de GPU, detalhes de implantação na documentação. Um pedido, um pagamento em BTC, ETH, USDT, USDC, XMR, SOL ou LTC: como funciona o pagamento com cripto e o que significa hospedagem de GPU sem KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Quando não

Quando você não deve alugar uma GPU dedicada para inferência de LLM?

Três casos em que uma placa dedicada é a ferramenta errada, e preferimos dizê-lo.

Abaixo de cerca de dez milhões de tokens por mês, use uma API de tokens hospedada. Um modelo 7B em uma L4 custa $250 por mês, o que dá $25 por milhão de tokens nesse volume, e as taxas por token de commodities para um modelo aberto comparável ficam abaixo disso.

Segundo, tráfego em rajadas. Um endpoint que responde a cem requisições na terça-feira e nada até a semana seguinte mantém a placa ocupada por minutos e a aluga por 720 horas. Use um provedor por hora. Nosso prazo mais curto é de sete dias e não há medidor.

Terceiro, uma placa menor fazendo o trabalho. Quantize um modelo 34B para 4 bits e ele cabe em 21 GB, que uma RTX 3090 de $230 por mês serve a 936 GB/s com 3 GB livres, memória mais rápida do que a RTX A5000 mais barata que a tabela do guia nomeia para a mesma célula. Não alugue uma H100 SXM porque o modelo tem um número grande no nome.

Alugue de nós se

O endpoint está sempre ligado, a cobrança por token se tornou sua maior despesa, os pesos e prompts devem permanecer em hardware que ninguém mais toca, ou você quer pagar em cripto sem verificação de identidade.

Não alugue de nós se

Você precisa de uma placa por uma tarde, o tráfego é imprevisível e baixo, ou você ainda não mediu se o modelo cabe em 4 bits em uma placa por um quarto do preço.

O treinamento é um problema de dimensionamento diferente, dominado pelos estados do otimizador: veja GPU para ajuste fino.

07 Perguntas

GPU para inferência de LLM, perguntado com franqueza.

Qual é a melhor GPU para inferência de LLM?

Depende do tamanho do modelo. Para 7B a 14B, uma RTX 4090 por $390 por mês é a escolha de valor. Para 24B a 34B em FP8, uma L40S com 48 GB por $520. Para 70B em FP8, uma H100 SXM por $1,690, o que dá $2.35 por GPU-hora. Para 100B ou mais, uma H200 SXM por $2,290.

O que um endpoint 70B precisa além dos pesos?

Cache, e ele cresce com a concorrência, não com o modelo. Os pesos e o número de fluxo único estão no guia de VRAM de GPU: 75 GB em FP8 com 8,192 tokens e lote 1. Cada requisição concorrente adicional nesse contexto adiciona 2.7 GB, então oito em voo somam cerca de 22 GB adicionais e trinta e duas, cerca de 85 GB. Essa é a diferença entre uma placa de 80 GB servindo um fluxo com 5 GB livres e uma H200 com 141 GB ou uma MI300X com 192 GB servindo um endpoint com concorrência real. Quantizar o cache para FP8 reduz pela metade cada um desses números.

Posso alugar uma GPU para vLLM?

Sim. Qualquer instância inicializa o template vLLM 0.9 no Ubuntu 24.04, que inclui uma unidade de servidor compatível com OpenAI que vem desativada até você habilitá-la. Você tem root no bare metal, então pode substituí-la pela sua própria compilação. A MI300X usa o template ROCm 6.4 com uma compilação PyTorch ROCm.

Por que a A100 não é uma boa placa para inferência de LLM?

A Ampere não tem núcleos tensores FP8, então um modelo 70B roda em BF16 com 145 GB. Isso exige duas placas A100 SXM, $1,980 na tabela e $1,881 por mês depois do desconto de 5% para duas placas, contra uma H100 SXM por $1,690 servindo o mesmo modelo em FP8 a 3.35 TB/s. A A100 ainda é uma boa placa para ajuste fino e para servir em 4 bits.

Quantos tokens por segundo uma GPU produzirá?

O limite superior é a largura de banda de memória dividida pelos bytes de pesos lidos por token. Um modelo 8B em BF16 tem 16 GB, então uma RTX 4090 com 1.01 TB/s chega perto de 63 tokens por segundo e uma H100 SXM com 3.35 TB/s perto de 209. Pilhas reais ficam abaixo do teto, e o quanto abaixo depende de seus kernels, formato de lote e escalonador, que é por que publicamos o limite e não uma fração dele.

Um aluguel mensal é certo para um endpoint de LLM sempre ligado?

Geralmente. Um contrato fixo custa o mesmo com ou sem tráfego, então um endpoint que responde em horários imprevisíveis não paga prêmio ocioso, não tem partida a frio e nunca espera por capacidade. O crossover segue dos preços: $1,690 por um mês de H100 SXM contra um medidor ilustrativo de $2.49 a $3.49 empata entre cerca de 480 e 680 horas usadas de um mês de 720 horas, então abaixo disso um provedor por hora é mais barato. O cálculo completo está em nossa página mensal versus por hora.

Vocês incluem largura de banda suficiente para uma API de tokens?

Sim. Cada instância inclui 20 TB de saída por mês, o que a cerca de 100 bytes de JSON e enquadramento SSE por token transmitido dá cerca de 200 bilhões de tokens. A entrada não é medida, então puxar pesos não custa nada. Acima de 20 TB, são $4 por TB, e uma porta 100G dedicada custa $220 por mês.

Preciso fornecer identidade para alugar um servidor de inferência de LLM?

Não. Uma conta é um nome de usuário e uma senha, sem exigência de e-mail, e você paga cada prazo com uma única transferência em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin. A GPU Rent Hub Compute LLC opera assim desde 15 de março de 2021, com 6.300 GPUs em DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro.

Casos de dimensionamento mais profundos no guia de VRAM de GPU, todas as placas no catálogo de GPU, descontos de prazo na página de preços.

Coloque o endpoint em hardware que ninguém mais toca.

Implante o vLLM em uma placa dedicada em DFW-1, IAD-1 ou PDX-1 em cerca de noventa segundos. Um pedido, um pagamento, sem e-mail, sem identidade.

Crie uma conta →