GPU Rent HubGPU para fine-tuning

Alugue uma GPU para fine-tuning, dimensionada por uma aritmética que você pode conferir.

A GPU Rent Hub aluga GPUs dedicadas NVIDIA e AMD para fine-tuning por semana ou por mês, de $190 por mês por uma placa de 24 GB que roda QLoRA em um modelo de 7B a $12,170 por mês por um nó com 8× H100 SXM conectado por NVLink, pago em Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin sem verificação de identidade.

Atualizado 2026-09-01

112 GB7B fine-tuning completo, Adam, antes das ativações

10 GBMesmo modelo sob QLoRA

900 GB/sNVLink em H100 SXM e H200

72 hPeríodo de carência em uma renovação não paga

01 Definição

Quanta memória de GPU o fine-tuning realmente exige?

Esta é a parte em que as pessoas erram, e é a única parte que decide qual placa você aluga.

Memória de fine-tuning em um parágrafo. Um fine-tuning completo com o otimizador Adam custa cerca de 16 bytes por parâmetro: 2 para os pesos em BF16, 2 para os gradientes, 4 para a cópia mestre em FP32 e 4 para cada um dos dois estados de momento do Adam. Portanto, um modelo de 7B precisa de cerca de 112 GB antes que uma única ativação seja armazenada, o que não cabe em uma placa de 24 GB nem em uma placa de 80 GB. LoRA congela os pesos base e treina matrizes adaptadoras pequenas, de modo que a conta cai para a base congelada em 2 bytes por parâmetro, mais algumas centenas de megabytes de adaptadores e estado do otimizador: cerca de 21 GB para um 7B. QLoRA quantiza essa base congelada para 4 bits, 0.5 byte por parâmetro, e treina os mesmos adaptadores: cerca de 10 GB para um 7B e cerca de 51 GB para um 70B.

Esses três números, e todos os da tabela abaixo, vêm do guia de VRAM de GPU, nas premissas dele: gradient checkpointing ativado, comprimento de sequência 2,048, lote 1, adaptadores de rank 16 em cerca de 0.5% dos parâmetros e uma margem de overhead de execução já incluída. Aumente o comprimento da sequência ou o lote e as ativações crescem por cima.

De onde vem o 16

Nada em um loop de treinamento armazena o modelo uma única vez. Pesos, um gradiente do mesmo formato, uma cópia mestre em FP32 e a média e a variância do Adam por parâmetro. Nenhum framework elimina isso.

O que o LoRA remove

O gradiente e ambos os estados do otimizador, para tudo exceto os adaptadores. A base congelada ainda precisa estar residente, e é por isso que LoRA em um 7B BF16 ainda ocupa 14 GB antes de qualquer outra coisa. O QLoRA ataca a residência, não o otimizador.

02 Dimensionamento

Qual GPU eu preciso para fazer fine-tuning de um modelo 7B, 13B ou 70B?

Modelo versus método versus uma placa que o comporta, com a VRAM citada do guia de VRAM. O valor por GPU-hora é o mensal dividido por 720.

Modelo e método	VRAM necessária	Placa que comporta	VRAM da placa	Semanal	Mensal	Por GPU-hora
7B, QLoRAbase de 4 bits, rank 16	10 GB	RTX A5000	24 GB	$55	$190/mo	$0.26
13B, QLoRAbase de 4 bits	14 GB	RTX 3090	24 GB	$65	$230/mo	$0.32
7B, LoRAbase BF16 mantida residente	21 GB	RTX 4090	24 GB	$110	$390/mo	$0.54
34B, QLoRAbase de 4 bits	28 GB	A40	48 GB	$68	$240/mo	$0.33
13B, LoRAbase BF16	33 GB	L40S	48 GB	$148	$520/mo	$0.72
70B, QLoRA35 GB de pesos de 4 bits	51 GB	A100 SXM	80 GB	$280	$990/mo	$1.38
34B, LoRAbase BF16, uma placa	79 GB	MI300X	192 GB	$450	$1,590/mo	$2.21
7B, fine-tuning completoAdam, 16 bytes por parâmetro	129 GB	2× A100 SXMNVLink 600 GB/s, o caminho CUDA mais barato	160 GB	$532	$1,881/mo	$1.31
70B, LoRAbase BF16, uma placa	156 GB	1× MI300Xsem necessidade de sharding	192 GB	$450	$1,590/mo	$2.21
70B, fine-tuning completoZeRO-3 pelo nó	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/mo	$1.99

VRAM necessária é o valor que o guia de VRAM de GPU deriva para aquele modelo e método, com comprimento de sequência 2,048 e lote 1, gradient checkpointing ativado e a margem de overhead de execução já incluída. O preço de duas placas inclui o desconto de 5% para multi-GPU; o valor de oito placas é o preço do nó. O valor por GPU-hora é o total mensal dividido por 720 horas e pela quantidade de placas. As duas linhas com MI300X são somente em DFW-1 Dallas e executam ROCm em vez de CUDA. Estas são as placas em que rodaríamos o trabalho; a consulta do guia de VRAM nomeia a placa mais barata que apenas comporta o modelo, então uma linha aqui às vezes é a placa mais cara. Duas linhas divergem, e ambas têm um motivo. A linha de LoRA de 7B usa uma RTX 4090 em vez da RTX A5000 do guia com os mesmos 24 GB porque 1,008 GB/s de largura de banda contra 768 encurta cada etapa. A linha de fine-tuning completo de 7B usa duas A100 SXM como o caminho CUDA e NVLink mais barato, enquanto uma MI300X de 192 GB comporta os mesmos 129 GB por $1,590 por mês em ROCm. Especificações no catálogo de GPUs.

Leia a linha oito contra a linha seis. Um fine-tuning completo de um 7B custa cerca do dobro do que custa QLoRA em um 70B. Para a maioria das pessoas, não é o trabalho que precisam fazer.

03 A escolha

Qual GPU você deve alugar para treinamento, se tivesse que escolher uma?

Ordenado pelo que implantaríamos para uma execução de várias semanas, não pelo preço. O estoque está distribuído entre DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro.

GPU	VRAM	Interconexão	Semanal	Mensal	Por GPU-hora	Livres agora
H100 SXM EscolhaHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/mo	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, sem FP8	80 GB	NVLink 600 GB/s	$280	$990/mo	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/mo	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/mo	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 peer-to-peer	$148	$520/mo	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	Ponte NVLink 112 GB/s, pares	$82	$290/mo	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	Ponte NVLink 112 GB/s, pares	$65	$230/mo	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	Ponte NVLink 112 GB/s, pares	$55	$190/mo	$0.26	51

Livres agora são as placas não reservadas nos três sites na última atualização do catálogo. Todo preço inclui energia, refrigeração, uplink de 100G com garantia de 10G, IPv4 e IPv6 e 20 TB de saída por mês. Descontos para múltiplas placas e pré-pago estão na página de preços.

A H100 SXM é a escolha: a placa mais barata que alugamos que reúne 80 GB de HBM3, núcleos tensor FP8 e 900 GB/s de NVLink em um único número de peça. A A100 SXM 80 GB é a resposta de custo-benefício a $990, sem FP8, mesma topologia NVLink, 59% do preço.

04 Interconexão

Por que o NVLink importa acima de uma placa?

Porque uma execução fragmentada move gradientes entre as placas a cada etapa, e o link é o piso da velocidade com que isso acontece.

Em uma GPU, a interconexão é irrelevante. A partir do momento em que você fragmenta, com ZeRO-2, ZeRO-3 ou paralelismo de tensor, as placas trocam gradientes ou fragmentos de parâmetros a cada etapa, e esse tráfego é um múltiplo fixo do tamanho do modelo. PCIe Gen4 x16 tem uma taxa nominal de cerca de 32 GB/s em uma direção, e Gen5 cerca de 63. O NVLink em uma H100 SXM é de 900 GB/s. Essa é a diferença entre uma etapa de comunicação que se esconde atrás da computação e uma que se torna a etapa.

A regra: execuções de LoRA ou QLoRA em uma única placa rodam em qualquer coisa com VRAM suficiente, treinamento em paralelismo de dados tolera PCIe, e qualquer coisa que fragmente um modelo pede NVLink. Acima de quatro placas, pede NVSwitch, que os nós HGX de 8 vias na página de aluguel de cluster multi-GPU possuem.

As RTX 4090 e RTX 5090 não têm NVLink. A NVIDIA o removeu da linha de consumo após Ampere. Elas são GPUs fortes de treinamento em uma única placa e uma restrição real acima de uma placa, e preferimos dizer isso aqui do que depois que você tiver comprado oito.

A A6000, A40, RTX 3090 e RTX A5000 aceitam ponte NVLink, mas somente em pares e somente a 112 GB/s. Útil para combinar duas placas de 48 GB em 96 GB. Não é uma malha.

Placa	Link entre placas	Largura de banda	Treinamento fragmentado
B2002, 4 ou 8 vias	NVLink 5 com NVSwitch	1.8 TB/s	Sim, até 8 placas
H100 SXM, H200 SXM	NVLink com NVSwitch	900 GB/s	Sim, até 8 placas
A100 SXM	NVLink com NVSwitch	600 GB/s	Sim, até 8 placas
MI300X	Infinity Fabric	896 GB/s	Sim, somente 8 vias
H100 PCIe	Ponte NVLink opcional	600 GB/s	Pares
A6000, A40, 3090, A5000	Ponte NVLink	112 GB/s	Pares
L40S, RTX 6000 Ada, L4	PCIe Gen4 peer-to-peer	~32 GB/s	Somente paralelismo de dados
RTX 4090, RTX 5090	PCIe peer-to-peer, sem NVLink	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Placa única

Largura de banda agregada por GPU e por link conforme publicada pelo fabricante. Os valores de PCIe são taxas nominais para um link x16 em uma direção, Gen4 na 4090 e Gen5 na 5090, não a vazão medida, que fica menor.

05 Prazo

Por que um prazo mensal é o formato certo para uma execução de treinamento?

Um fine-tuning é a carga de trabalho em que o modelo de cobrança e o trabalho concordam entre si.

A cadência de checkpoint é sua

Em capacidade preemptível, você faz checkpoints defensivamente, porque o intervalo é uma proteção contra remoção. Em um prazo, é uma decisão de recuperação: grave a cada mil passos se a curva de perda merecer, ou a cada dez mil.

2 TB de NVMe local em uma H100 SXM

Um fine-tuning raramente é uma única execução

Uma varredura de taxa de aprendizado, uma ablação de dados e uma reexecução depois que a avaliação decepciona são mais três execuções, que chegam ao longo de uma quinzena em vez de em uma única reserva. Cada uma não custa nada extra em um prazo fixo.

Mesma placa, mesmo ambiente, sem reprovisionamento

Ela não pode ser removida

Uma remoção na hora 60 custa a distância desde o último checkpoint, a espera na fila e o recarregamento do dataset. Um prazo não pode ser preemptado, porque ninguém mais está na fila pela placa.

Bare metal de locatário único, acesso root

O dataset permanece residente

Entre execuções, o conjunto de trabalho fica no NVMe local, 2 TB em uma H100 SXM e 1 TB em uma A100, então a segunda varredura começa no primeiro passo, em vez de em um download.

Sem partida a frio depois da primeira

A aritmética de ponto de equilíbrio contra um medidor está em aluguel de GPU mensal versus por hora, e vale a pena ler antes de assumir um prazo. O que é específico do treinamento é que as varreduras e os recarregamentos também contam como GPU-horas, então o índice de utilização com o qual você deve testar o equilíbrio é a quinzena, não a execução única.

06 Checkpoints

Para onde vão os checkpoints, e o que sobrevive ao fim de um prazo?

Um checkpoint de 70B com estado do otimizador tem mais de um terabyte. Decida onde ele ficará antes do passo 4,000.

NVMe local: Incluído: 2 TB em H100 SXM e H200, 1 TB em A100 SXM, 500 GB em L40S e A6000. Criptografado com LUKS2 por instância, apagado sete dias após o fim do prazo.
NVMe local extra: $9 por TB ao mês, até 30 TB em um nó. Mesmo host, mesma criptografia.
Volume de rede: $14 por TB ao mês, triplicado na região, anexável a várias instâncias, persistente após a liberação.
Snapshots: $6 por TB ao mês. Restaurável em qualquer instância da região, que é como uma execução passa de uma A100 para uma H100 sem reenviar o dataset.
Recuperando os dados: 20 TB de saída incluídos por instância ao mês, depois $4 por TB. Um conjunto de adaptadores nunca chega a esse limite.

Se a execução durar mais que o prazo

Uma ordem de renovação é gerada 24 horas antes pelo mesmo preço. Deixe-a sem pagar e a instância para no fim do prazo, com o slot mantido por 72 horas enquanto você paga em BTC, ETH, USDT, USDC, XMR, SOL ou LTC. O disco não é tocado. Depois disso, o slot é liberado e a chave do NVMe é destruída.

Grave cada checkpoint duas vezes: NVMe local para velocidade, um volume de rede para sobrevivência. O volume é a única cópia que sobrevive ao prazo.

BTCETHUSDTUSDCXMRSOLLTC

O hardware fica em DFW-1, IAD-1 e PDX-1. Uma conta é um nome de usuário e uma senha: veja hospedagem de GPU sem KYC e como pagar com cripto.

07 Honestidade

Quando você não deve alugar uma GPU de fine-tuning conosco?

Três casos, comuns o bastante para preferirmos registrá-los.

Se o trabalho é um experimento que roda por seis horas, use um provedor por hora. Nosso prazo mais curto é de sete dias. Um mês de H100 SXM para uma tarde de QLoRA custa $1,690, e você usa cerca de $18 dos $1,690 que pagou.

O segundo é comprar placa demais. Muita gente aluga uma H100 para fazer fine-tuning de um 7B com QLoRA, que precisa de 10 GB. Esse trabalho roda em uma RTX A5000 de $190, mais lenta, mas não nove vezes mais lenta. Dimensione pela tabela da seção 02, não pelo modelo que você gostaria de estar treinando.

O terceiro é uma execução que precisa de 32 ou 64 placas por dois dias e nunca mais. Vendemos nós de até oito placas; acima disso, um provedor de cluster medido se encaixa melhor.

Alugue por hora se

Seu total fica abaixo de aproximadamente 480 a 680 GPU-horas por mês, que é onde $1,690 por um mês de H100 SXM encontra um medidor ilustrativo de $2.49 a $3.49, ou você quer uma hora em cada, uma A100 SXM e uma H100 SXM, para cronometrar seu passo.

Alugue por prazo se

A execução é medida em semanas, reenviar o dataset dói, você já foi removido de capacidade spot uma vez ou quer pagar em cripto sem verificação de identidade.

08 Perguntas

Alugar uma GPU para fine-tuning, sem rodeios.

Quanta VRAM eu preciso para fazer fine-tuning de um modelo 7B?

Cerca de 10 GB com QLoRA, 21 GB com LoRA em uma base BF16 e 129 GB para um fine-tuning completo com Adam depois que as ativações são contadas, ou 112 GB apenas para pesos, gradientes e estado do otimizador. Os dois primeiros cabem em uma placa de 24 GB, portanto, uma RTX A5000 a $190 por mês. Para o terceiro, duas placas de 80 GB com NVLink a $1,881 por mês é o caminho CUDA mais barato, e uma MI300X de 192 GB a $1,590 comporta os mesmos 129 GB por menos se uma stack ROCm servir para você. Números do guia de VRAM de GPU.

Posso fazer fine-tuning de um modelo 70B em uma única GPU?

Com QLoRA, sim. Uma base 70B de 4 bits tem cerca de 35 GB de pesos e 51 GB com adaptadores, estado do otimizador e overhead, o que cabe em uma A100 SXM 80 GB a $990 por mês. LoRA em uma base 70B BF16 precisa de 156 GB, o que ainda é uma placa se for uma MI300X de 192 GB a $1,590. Um fine-tuning completo de 70B precisa de cerca de 1,288 GB e exige um nó.

Qual é a diferença entre LoRA e QLoRA em memória de GPU?

O LoRA congela os pesos base em BF16, 2 bytes por parâmetro, e treina matrizes adaptadoras pequenas, então o estado do otimizador fica em centenas de megabytes em vez de dezenas de gigabytes. O QLoRA quantiza essa base congelada para 4 bits, 0.5 byte por parâmetro. Em um modelo 7B, isso é 21 GB contra 10 GB.

Preciso de NVLink para fazer fine-tuning em múltiplas GPUs?

Não para uma placa, e não para execuções em paralelismo de dados em modelos pequenos. Importa quando gradientes ou fragmentos de parâmetros cruzam entre placas a cada etapa. H100 SXM e H200 têm 900 GB/s, A100 SXM 600 GB/s, B200 1.8 TB/s. As RTX 4090 e RTX 5090 não têm NVLink, então não as recomendamos para treinamento fragmentado.

Quanto custa alugar uma GPU para treinamento por mês?

Uma A100 SXM de 80 GB custa $990 por mês, o que dá $1.38 por GPU-hora em um prazo de 720 horas. Uma H100 SXM custa $1,690, ou $2.35. Um nó de oito placas H100 SXM com NVSwitch custa $12,170, ou $2.11. Uma placa de 24 GB para QLoRA começa em $190, e todas as placas estão disponíveis semanalmente.

O que acontece com meus checkpoints quando o prazo termina?

O NVMe local é apagado sete dias após o fim do prazo e sua chave de criptografia é destruída, então qualquer coisa que você queira manter deve ficar em um volume de rede a $14 por TB ao mês, triplicado na região e persistente após a instância ser liberada. Você também pode retirá-lo usando os 20 TB de saída incluídos a cada mês.

Posso alugar uma GPU de treinamento sem verificação de identidade?

Sim. Uma conta é um nome de usuário e uma senha. Sem endereço de e-mail, sem número de telefone, sem documento de identidade, sem cartão cadastrado. Você paga o prazo com uma transferência em BTC, ETH, USDT, USDC, XMR, SOL ou LTC. Nenhum agente roda dentro da sua instância e ninguém aqui lê seu dataset.

Aluguel mensal de GPU é melhor que por hora para uma execução de treinamento?

Para uma execução medida em semanas, sim. Um fine-tuning mantém a placa ocupada quase o tempo todo, que é onde um prazo fixo vence: $2.35 por GPU-hora em uma H100 SXM contra $2.49 a $3.49 por hora, uma faixa ilustrativa entre provedores sob demanda dos EUA, em vez de uma cotação de um fornecedor específico, sem remoção e sem fila. Para uma tarde, use um provedor por hora.

Dimensionamento no guia de VRAM de GPU, topologias em aluguel de cluster multi-GPU, servindo o resultado em GPU para inferência de LLM, imagens na documentação.

Dimensione a placa, assuma o prazo, comece a execução.

QLoRA em 24 GB a partir de $190 por mês, uma NVLink H100 SXM a partir de $1,690, um nó de 8 vias a partir de $12,170. Um pedido, um pagamento, sem identidade, sem cartão.

Criar uma conta →