GPU Rent HubGPU per inferenza LLM

Scegliere una GPU per l'inferenza LLM.

GPU Rent Hub noleggia server GPU dedicati per l'inferenza LLM da $250 al mese per una NVIDIA L4 a $2,290 al mese per un H200 SXM, pagamento in Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin, senza verifica dell'identità.

Due numeri scelgono la scheda: la VRAM richiesta dai pesi e dalla cache KV, e la larghezza di banda della memoria che determina i token al secondo.

Aggiornato 2026-09-01

75 GBUn 70B in FP8, contesto 8k, batch 1

3.35 TB/sLarghezza di banda della memoria H100 SXM

$2.35H100 SXM per GPU-ora in un mese

20 TBTraffico in uscita incluso per istanza

01 Dimensionamento

Quanta VRAM serve a un LLM per l'inferenza?

Qui decidono la scheda due cifre. La derivazione è nella guida alla VRAM; il termine che varia è la cache KV, e varia con il traffico più che con il modello.

Le due cifre su cui si basa questa pagina

Un modello da 70B in FP8 occupa 75 GB a 8,192 token e batch 1, e 2.7 GB di quelli sono cache KV. Tutto il resto — la formula pesi più cache più overhead, i byte per parametro a ciascuna precisione e una riga per ogni dimensione di modello — è derivato termine per termine nella guida alla VRAM GPU e non viene ripetuto qui. Quelle due cifre fanno il lavoro qui sotto: 75 GB sono il motivo per cui una scheda da 80 GB serve un 70B con 5 GB di margine, e la cache da 2.7 GB è il termine riportato nella riga 120B della tabella.

Il termine cache diventa dominante con contesti lunghi, dove scala con lunghezza del contesto per dimensione del batch, non con il numero di parametri. A 128k e 32 richieste concorrenti può superare i pesi. È per questo che la H200 SXM con 141 GB costa più di una H100 SXM con lo stesso silicio.

Dimensione modello	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Scheda NVIDIA più economica che ci sta, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 layer, MHA, cache ampia	35 GB	22 GB	15 GB	L4, 24 GB, al limite
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bstessa formula, nessuna riga nella guida	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Pesi più cache KV a 8,192 token e batch 1 più 2 GB di overhead, ripresi dalla guida alla VRAM GPU insieme alla scheda più economica che contiene ciascun valore in FP8. L'ultima colonna è solo NVIDIA, perché l'alternativa comporta uno stack software diverso: nella riga 120B la MI300X da 192 GB contiene gli stessi 125 GB per $1,590 al mese contro i $2,290 della H200 SXM, al prezzo di ROCm anziché CUDA e di Dallas anziché tre siti. La riga 120B è la stessa formula portata un passo avanti, prendendo la cache di 2.7 GB della riga 70B, perché nessuna riga della guida copre quella dimensione. La riga 405B è l'eccezione alla colonna, perché nessuna singola scheda di nessuno dei due marchi la contiene e il nodo più economico che lo fa è la 8× MI300X. Un 70B in FP8 lascia 5 GB di margine su una scheda da 80 GB a 8k e smette di starci a 32k, dove la sola cache è 10.7 GB.

02 Banda

Perché la larghezza di banda della memoria conta più dei TFLOPS per l'inferenza LLM?

Decodificare un token legge ogni peso una volta. La scheda attende la memoria, non la matematica.

Con batch pari a uno, la decodifica trasferisce l'intero insieme di pesi dalla VRAM per ogni token ed esegue circa due operazioni in virgola mobile per parametro, che in BF16 equivalgono a un'operazione per byte caricato. Tenere occupati i tensor core di una H100 SXM richiede circa 300, considerando i suoi 1,979 TFLOPS FP16 sparsi come circa 990 densi contro 3.35 TB/s di banda. La scheda è limitata dalla memoria con un ampio margine, quindi il tetto in token al secondo è la banda divisa per i byte di pesi letti per token.

Un modello da 8B in BF16 occupa 16 GB. Su una RTX 4090 a 1.01 TB/s il tetto è di 63 token al secondo; su una H100 SXM a 3.35 TB/s è di 209. Sono tetti da scheda tecnica e la decodifica reale si colloca sotto di essi, di una frazione che non citiamo perché non possiamo documentarla. La classifica regge. Il prefill è il caso opposto, limitato dal calcolo, ed è lì che i tensor core FP8 si guadagnano il loro posto.

Tetto, token al secondo = banda della memoria ÷ (parametri × byte per parametro). Il batching aumenta il throughput per scheda senza aumentare la velocità della singola richiesta, perché i pesi vengono letti una volta per l'intero batch.

Due dati della tabella che ci fanno apparire male. Una A100 SXM a 2.04 TB/s ha più banda di una H100 PCIe, e una RTX 3090 a 936 GB/s più di una L40S. Nessuna delle due è la scheda migliore per l'inferenza. La sezione 03 spiega perché.

GPU	VRAM	Banda	Tetto, 8B in BF16	Mensile	Per GPU-ora
B200Blackwell, HBM3e, minimo 2 GPU	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, senza FP8	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, senza FP8	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, senza FP8	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

La colonna del tetto è la banda divisa per 16 GB di pesi in BF16: un limite superiore da scheda tecnica, non un risultato misurato. Il costo per GPU-ora è il mensile diviso per 720. Il prezzo della B200 è per scheda e la scheda è venduta su una base HGX a 8 vie, quindi l'ordine minimo di B200 è di due schede, $7,780 al mese prima dello sconto per due schede. Tutte le quindici schede nel catalogo GPU.

03 Precisione

L'FP8 conta? E perché la A100 è una scheda per inferenza peggiore di quanto suggerisca il suo prezzo?

L'FP8 dimezza i pesi. Questo dimezza i byte letti per token e raddoppia il modello che ci sta.

Hopper, Ada Lovelace e Blackwell hanno tensor core FP8: B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 e L4. Ampere no. A100, A40, RTX A6000, RTX A5000 e RTX 3090 non supportano l'FP8, e questo è silicio, non una lacuna dei driver.

Quindi un modello da 70B in FP8 occupa 75 GB e gira su una H100 SXM a $1,690 al mese, $2.35 per GPU-ora. Su Ampere gira in BF16 a 145 GB, cioè due schede A100 SXM: $1,980 a listino, $1,881 al mese con lo sconto del 5% per due schede, ovvero $2.61 l'ora per l'endpoint contro $2.35 per la singola H100 SXM, con traffico tensor-parallelo su ogni token. La scheda più economica costruisce l'endpoint più costoso.

Ampere vale ancora la pena noleggiarla

Per il fine-tuning, per servire modelli a 4 bit e quando il punto è avere 80 GB sotto i $1,000 al mese. È un cattivo default per un endpoint di token in produzione, e il prezzo di $990 lo nasconde.

La MI300X è l'eccezione che vale la pena conoscere. 192 GB di HBM3 a 5.3 TB/s per $1,590 al mese ospitano un modello da 70B in BF16 su una sola scheda, 145 GB con 47 GB di margine, senza quantizzazione e senza sharding. Avvia il nostro template ROCm 6.4 con una build PyTorch ROCm.

04 Scelte

Qual è la migliore GPU per l'inferenza LLM per ciascuna dimensione di modello?

Ordinate per dimensione del modello. Una scheda per fascia, scelta in base ai calcoli qui sopra.

Per servire questo	Scelta	VRAM	Settimanale	Mensile	Per GPU-ora
7B–8B, sempre attivo, QPS basso72 W, slot singolo, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, conta la latenza1.01 TB/s, 265 in magazzino	RTX 4090	24 GB	$110	$390/mo	$0.54
14B–24B in FP8memoria più veloce sotto i $600	RTX 5090	32 GB	$155	$540/mo	$0.75
24B–34B in FP8ECC, nodi a 8 vie, core RT	L40S	48 GB	$148	$520/mo	$0.72
32B in BF16, senza quantizzazioneHopper a 350 W	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
70B in FP8, una schedail default di produzione	H100 SXM	80 GB	$475	$1,690/mo	$2.35
70B in BF16, una schedapiù HBM per scheda	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B, o 70B a 128kmargine per la cache KV	H200 SXM	141 GB	$640	$2,290/mo	$3.18
405B in FP8, un nodo8 vie, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

Il costo per GPU-ora è il mensile diviso per 720, e per il nodo diviso per 8 schede e 720 ore. Gli sconti multi-GPU sono del 5% con due schede, dell'8% con quattro, del 10% con otto, quindi un nodo 8× H100 SXM costa $12,170 al mese, $2.11 per GPU-ora. In stock: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Queste sono le schede su cui eseguiremmo il lavoro; la tabella della guida alla VRAM indica la scheda più economica che semplicemente la contiene, quindi una riga qui a volte è una scheda più costosa e il motivo è nella riga. La riga 405B è il caso più chiaro: la guida indica come nodo più economico che contiene un 405B in FP8 il nodo 8× MI300X a $11,450, e questa tabella sceglie il nodo 8× B200 per il suo fabric da 1.8 TB/s.

I prezzi sono identici a DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro, quindi scegli la regione in base alla latenza. La MI300X è solo a Dallas. Delle otto B200, sei sono a DFW-1 e due a PDX-1, nessuna a IAD-1.

05 L'istanza

Cosa ricevo su un server GPU Rent Hub per l'inferenza LLM?

Bare metal, root, stack di serving preinstallato, nessun servizio in ascolto finché non lo abiliti.

Template vLLM 0.9

Ubuntu 24.04 con vLLM 0.9 e un'unità server compatibile con OpenAI installata. L'unità viene fornita disabilitata. La abiliti e decidi cosa può raggiungere la porta.

Nulla è esposto per impostazione predefinita.

Template Ollama

Per un modello che risponde in due minuti invece di un server ottimizzato. Ollama è vincolato a localhost e lo esponi tu stesso, di solito tramite WireGuard.

Stessa regola: localhost finché non lo sposti.

20 TB di traffico in uscita inclusi

Con circa 100 byte di JSON e framing SSE per token trasmesso, sono circa 200 miliardi di token al mese. Un endpoint testuale non li raggiungerà.

Poi $4/TB. In entrata non misurato.

Porta 100G, 10G garantiti

Uplink 100G condiviso con un minimo di 10 Gbps, un IPv4 e un IPv6 /64. Una porta 100G dedicata costa $220 al mese se trasmetti audio o immagini.

VLAN privata tra le istanze, $25/mese.

L'inferenza sempre attiva è il caso più chiaro per un noleggio a termine: intensa in orari imprevedibili, intollerante agli avvii a freddo, con pesi che una piattaforma a consumo scaricherebbe di nuovo a ogni scale-up. La scheda è tua per 720 ore, che arrivi traffico o meno, e non può subire preemption. Calcolo del punto di pareggio nella pagina noleggio GPU mensile e orario, dettagli di distribuzione nella documentazione. Un ordine, un pagamento in BTC, ETH, USDT, USDC, XMR, SOL o LTC: come funziona il pagamento in criptovalute, e cosa significa hosting GPU senza KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Quando non farlo

Quando non dovresti noleggiare una GPU dedicata per l'inferenza LLM?

Tre casi in cui una scheda dedicata è lo strumento sbagliato, e preferiamo dirlo.

Sotto circa dieci milioni di token al mese, usa un'API token ospitata. Un modello da 7B su una L4 costa $250 al mese, cioè $25 per milione di token a quel volume, e le tariffe a token standard per un modello aperto paragonabile sono inferiori.

Secondo, traffico a raffica. Un endpoint che risponde a cento richieste martedì e a niente fino alla settimana successiva tiene occupata la scheda per minuti e la noleggia per 720 ore. Usa un provider orario. Il nostro termine più breve è di sette giorni e non c'è il misuratore.

Terzo, una scheda più piccola che fa il lavoro. Quantizza un modello da 34B a 4 bit e sta in 21 GB, che una RTX 3090 a $230 al mese serve a 936 GB/s con 3 GB di margine, memoria più veloce della più economica RTX A5000 che la tabella della guida indica per la stessa cella. Non noleggiare una H100 SXM perché il modello ha un numero grande nel nome.

Noleggia da noi se

L'endpoint è sempre attivo, la fatturazione a token è diventata la tua voce di costo maggiore, i pesi e i prompt devono restare su hardware che nessun altro tocca, oppure vuoi pagare in criptovalute senza controllo dell'identità.

Non noleggiare da noi se

Ti serve una scheda per un pomeriggio, il traffico è imprevedibile e basso, o non hai ancora verificato se il modello sta in 4 bit su una scheda che costa un quarto.

L'addestramento è un problema di dimensionamento diverso, dominato dagli stati dell'ottimizzatore: vedi GPU per il fine-tuning.

07 Domande

GPU per inferenza LLM, domande chiare.

Qual è la migliore GPU per l'inferenza LLM?

Dipende dalla dimensione del modello. Per 7B–14B una RTX 4090 a $390 al mese è la scelta di valore. Per 24B–34B in FP8, una L40S con 48 GB a $520. Per 70B in FP8, una H100 SXM a $1,690, cioè $2.35 per GPU-ora. Per 100B e oltre, una H200 SXM a $2,290.

Di cosa ha bisogno un endpoint 70B oltre ai pesi?

La cache, e scala con la concorrenza più che con il modello. I pesi e il valore per un singolo flusso sono nella guida alla VRAM GPU: 75 GB in FP8 a 8,192 token e batch 1. Ogni ulteriore richiesta concorrente a quel contesto aggiunge 2.7 GB, quindi otto richieste in volo sono circa 22 GB in più e trentadue circa 85 GB. È la differenza tra una scheda da 80 GB che serve un flusso con 5 GB di margine e una H200 da 141 GB o una MI300X da 192 GB che serve un endpoint con concorrenza reale. Quantizzare la cache in FP8 dimezza ciascuna di queste cifre.

Posso noleggiare una GPU per vLLM?

Sì. Qualsiasi istanza avvia il template vLLM 0.9 su Ubuntu 24.04, che include un'unità server compatibile con OpenAI fornita disabilitata finché non la abiliti. Hai root sul bare metal, quindi puoi sostituirla con una tua build. La MI300X usa il template ROCm 6.4 con una build PyTorch ROCm.

Perché la A100 non è una buona scheda per l'inferenza LLM?

Ampere non ha tensor core FP8, quindi un modello da 70B gira in BF16 a 145 GB. Servono due schede A100 SXM, $1,980 a listino e $1,881 al mese una volta applicato lo sconto del 5% per due schede, contro una H100 SXM a $1,690 che serve lo stesso modello in FP8 a 3.35 TB/s. La A100 resta una buona scheda per il fine-tuning e per servire modelli a 4 bit.

Quanti token al secondo produrrà una GPU?

Il limite superiore è la banda della memoria divisa per i byte di pesi letti per token. Un modello da 8B in BF16 occupa 16 GB, quindi una RTX 4090 a 1.01 TB/s arriva al massimo vicino a 63 token al secondo e una H100 SXM a 3.35 TB/s vicino a 209. Gli stack reali si collocano sotto il tetto, e quanto sotto dipende dai tuoi kernel, dalla forma del batch e dallo scheduler, motivo per cui pubblichiamo il limite e non una sua frazione.

Un noleggio mensile è giusto per un endpoint LLM sempre attivo?

Di solito sì. Un canone fisso costa lo stesso che arrivi traffico o meno, quindi un endpoint che risponde in orari imprevedibili non paga un premio per l'inattività, non ha avvii a freddo e non resta mai in coda per la capacità. Il punto di pareggio deriva dai prezzi: $1,690 per un mese di H100 SXM contro un misuratore illustrativo da $2.49 a $3.49 va in pareggio tra circa 480 e 680 ore utilizzate di un mese di 720 ore, quindi sotto quel livello un provider orario è più economico. Il calcolo completo è nella nostra pagina sul noleggio mensile rispetto a quello orario.

Includete abbastanza banda per una token API?

Sì. Ogni istanza include 20 TB di traffico in uscita al mese, che a circa 100 byte di JSON e framing SSE per token trasmesso corrispondono a circa 200 miliardi di token. Il traffico in entrata non è misurato, quindi scaricare i pesi non costa nulla. Oltre 20 TB costa $4 per TB, e una porta 100G dedicata costa $220 al mese.

Devo fornire un documento per noleggiare un server per l'inferenza LLM?

No. Un account è un nome utente e una password, senza obbligo di indirizzo email, e paghi ogni termine con un singolo trasferimento in Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin. GPU Rent Hub Compute LLC opera così dal 15 marzo 2021, con 6,300 GPU tra DFW-1 Dallas, IAD-1 Ashburn e PDX-1 Hillsboro.

Casi di dimensionamento più approfonditi nella guida alla VRAM GPU, tutte le schede nel catalogo GPU, sconti per termini più lunghi nella pagina dei prezzi.

Metti l'endpoint su hardware che nessun altro tocca.

Distribuisci vLLM su una scheda dedicata a DFW-1, IAD-1 o PDX-1 in circa novanta secondi. Un ordine, un pagamento, nessuna email, nessun documento.

Crea un account →