GPU Rent HubGuida alla VRAM

Quanta VRAM mi serve? Prima l'aritmetica, poi la scheda.

Un modello da 70 miliardi di parametri richiede circa 145 GB di VRAM per essere servito in BF16, 75 GB in FP8 e 40 GB in INT4, e GPU Rent Hub noleggia una scheda dedicata per ciascuno di questi casi: $240 al mese per il caso INT4 su una A40 da 48 GB, $1,490 per FP8 su una H100 PCIe da 80 GB, $1,590 per BF16 su una MI300X da 192 GB, pagabili in Bitcoin, Ethereum, USDT, USDC, Monero, Solana o Litecoin senza verifica dell'identità. Ogni numero qui sotto è aritmetica che puoi rifare. Nessuno è un benchmark, perché non ne citiamo uno che non possiamo documentare.

Aggiornato 2026-09-01

2 BByte per parametro in BF16

$5.00VRAM più economica che noleggiamo, per GB al mese

192 GBMassima VRAM su una singola scheda, MI300X

15Schede tra cui scegliere

01 La formula

Come si calcola quanta VRAM serve a un modello?

Tre termini. Pesi, cache KV e overhead di runtime. Due di essi si possono calcolare esattamente.

Il blocco di dimensionamento

VRAM richiesta = (parametri × byte per parametro) + cache KV + circa 2 GB di overhead di runtime. I byte per parametro sono 4 in FP32, 2 in BF16 o FP16, 1 in FP8 e 0.5 in INT4. La cache KV è 2 × livelli × teste KV × dimensione della testa × byte per elemento × lunghezza del contesto × dimensione del batch, dove il 2 iniziale copre chiave e valore. L'overhead di runtime è il contesto CUDA, il framework e la frammentazione dell'allocatore, e 2 GB sono un margine prudente per un singolo processo.

Esempio svolto una volta: un modello da 70B in FP8 a 8,192 token e batch 1 richiede 70 GB di pesi, 2.7 GB di cache KV e 2 GB di overhead, quindi 75 GB, che stanno in una scheda da 80 GB con 5 GB di margine.

Due convenzioni, fissate prima di discutere dell'ultimo gigabyte.

I parametri in miliardi moltiplicati per i byte per parametro danno direttamente gigabyte, con la convenzione decimale in cui un gigabyte è 10⁹ byte. Le capacità delle schede sono indicate allo stesso modo. Gli strumenti che invece riportano gibibyte riducono ogni cifra qui di circa il 7%, ed è per questo che conviene lasciare margine invece di pianificare fino all'ultimo gigabyte.

Dimensiona sui parametri residenti, non su quelli attivi. Un modello mixture-of-experts tiene ogni esperto in VRAM e ne esegue due per token: la memoria del tutto, la velocità della parte.

Precisione	Byte/param	7B	70B
FP32raramente conveniente per l'inferenza	4	28 GB	280 GB
BF16 / FP16il punto di riferimento	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4solo pesi, qualsiasi architettura	0.5	3.5 GB	35 GB

FP8 richiede supporto hardware. La A100, la A40, la RTX A6000, la RTX 3090 e la RTX A5000 non ce l'hanno. La quantizzazione INT4 solo pesi funziona su tutte.

02 Inferenza

Quanta VRAM mi serve per eseguire un modello 7B, 13B, 34B, 70B o 405B?

Pesi più una cache KV a 8,192 token e batch 1, più 2 GB. Cambia il contesto e si sposta la colonna KV, non i pesi.

Modello	KV a 8k, batch 1	Totale BF16	Totale FP8	Totale INT4
7B32 livelli, GQA, 8 teste KV	1.1 GB	17 GB	10 GB	7 GB
13B40 livelli, MHA, senza GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 livelli, GQA, 8 teste KV	2.0 GB	72 GB	38 GB	21 GB
70B80 livelli, GQA, 8 teste KV	2.7 GB	145 GB	75 GB	40 GB
405B126 livelli, GQA, 8 teste KV	4.2 GB	816 GB	411 GB	209 GB

Cache KV mantenuta in FP16 in ogni colonna. Dimensione della testa 128 ovunque. Controlla il numero di livelli e di teste KV nel config.json del tuo modello prima di fidarti di una riga, perché queste sono forme tipiche, non universali.

La riga 13B è quella interessante: porta una cache KV più grande della 70B sotto di lei. La sua forma usa attenzione multi-testa con 40 teste per chiave e valore, mentre i modelli successivi usano attenzione a query raggruppate e 8. Quel cambiamento ha ridotto la cache da cinque a otto volte ed è il motivo per cui servire contesti lunghi è diventato accessibile. Per dimensionare qualsiasi cosa precedente al 2024, controlla lo schema di attenzione prima del numero di parametri.

La dimensione del batch moltiplica la cache KV e nient'altro. Quella 70B a batch 32 aggiunge 85 GB di cache agli stessi 70 GB di pesi, ed è per questo che un endpoint richiede molta più memoria di una richiesta alla volta. Il dimensionamento per servizio è nella pagina GPU per l'inferenza LLM.

03 Contesto

Quanta VRAM usa la cache KV con contesti lunghi?

Linearmente con i token e linearmente con il batch. A 128k la cache può costare più dei pesi.

Forma del modello	KV per token	8k	32k	128k
7B, 32 livelli, GQAlarghezza KV 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 livelli, MHAlarghezza KV 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 livelli, GQAlarghezza KV 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 livelli, GQAlarghezza KV 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 livelli, GQAlarghezza KV 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

Cache FP16, batch 1. Dimezza ogni cifra per una cache FP8. Moltiplica per la dimensione del batch. La larghezza KV è teste KV moltiplicate per la dimensione della testa.

Dove colpisce.

Una 70B in FP8 entra in una scheda da 80 GB a 8k con 5 GB di margine. Portala a 32k e la sola cache è 10.7 GB, quindi smette di entrarci. È per questo che la H200 SXM da 141 GB e la MI300X da 192 GB esistono come prodotti. Reggono più contesto di una H100 SXM, che è una cosa diversa dall'essere più veloce.

Quantizzare la cache KV a FP8 è una leva separata dalla quantizzazione dei pesi, e di solito è quella meno costosa. Dimezza la cache con un costo qualitativo molto inferiore rispetto a far scendere i pesi di un altro gradino, e sia vLLM sia TensorRT-LLM la supportano.

04 Addestramento

Quanta VRAM mi serve per fare fine-tuning di un modello?

Il fine-tuning completo costa circa 16 byte per parametro. LoRA costa 2. QLoRA costa 0.5. La differenza tra questi tre numeri è l'intera decisione.

Il fine-tuning completo con Adam mantiene cinque cose per parametro: pesi in BF16 (2 byte), gradienti in BF16 (2), una copia master in FP32 (4) e il primo e il secondo momento di Adam (4 ciascuno). Sono 16 byte per parametro prima delle attivazioni. LoRA congela la base, quindi paghi 2 byte per parametro per il modello congelato e lo stato dell'ottimizzatore solo sull'adattatore, in genere mezzo punto percentuale dei parametri. QLoRA quantizza quella base congelata a 4 bit, quindi costa 0.5 byte per parametro e l'adattatore resta invariato.

Modello	FT completo, pesi + Adam	FT completo, con attivazioni	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Ipotesi dichiarate così puoi cambiarle: gradient checkpointing attivo, lunghezza sequenza 2,048, batch 1, adattatori di rango 16 sulle proiezioni di attenzione a circa lo 0.5% dei parametri, 15% aggiunto alla colonna del fine-tuning completo per attivazioni e frammentazione. Stato dell'ottimizzatore dell'adattatore conteggiato a 16 byte per parametro dell'adattatore.

La colonna del fine-tuning completo è la cifra ingenua, con tutto residente sulle GPU. ZeRO stage 3 con stato dell'ottimizzatore scaricato sulla memoria host riduce sensibilmente il requisito lato GPU, e i nostri nodi a 8 vie montano 2 TB di RAM host proprio per questo. Lo scaricamento scambia larghezza di banda PCIe con VRAM, quindi rende un'esecuzione possibile più che veloce. La scelta del metodo è nella pagina GPU per il fine-tuning.

Leggi le ultime due colonne rispetto alla prima. Un fine-tuning completo di una 70B richiede un nodo a otto schede da $11,450. La stessa 70B in QLoRA richiede 51 GB, cioè una A100 SXM 80GB a $990 al mese. È una differenza di dodici volte per un metodo che è peggiore ma raramente dodici volte peggiore. Alla maggior parte delle persone che fanno questa domanda è stato preventivato il numero del fine-tuning completo e non ne ha bisogno.

05 Tabella di riferimento

Quale GPU mi serve per un modello da 70B, o di qualsiasi altra dimensione?

Dimensione del modello sul lato, metodo in alto. Ogni cella indica la VRAM richiesta e la cosa più economica della nostra flotta che la contiene.

Modello	Inferenza BF16	Inferenza FP8	Inferenza INT4	QLoRA	LoRA	Fine-tuning completo
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, risicato	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, risicato	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, risicato	28 GBA40 $240	79 GBA100 SXM $990, risicato	626 GB8× A100 $7,130, risicato
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBcinque nodi, su preventivo

La singola scheda più economica che ci sta, a 8,192 token e batch 1; un insieme multi-scheda solo dove nessuna singola scheda la contiene. Questa tabella risponde a una domanda, la scheda più economica che contiene il modello, e le guide sui carichi di lavoro rispondono a un'altra, la scheda più economica su cui valga la pena eseguirlo, che a volte è una scheda diversa e più costosa, con la motivazione indicata lì. Risicato significa meno di 5 GB di margine, o meno di 2 GB per scheda nelle righe multi-scheda. I prezzi multi-scheda includono lo sconto quantità del 5% a due schede, 8% a quattro e 10% a otto. Le righe di fine-tuning completo presuppongono NVLink o NVSwitch, perché non vale la pena noleggiare un all-reduce a ogni passo su PCIe peer-to-peer. Esistono sostituzioni multi-scheda più economiche per la maggior parte delle righe e la sezione 07 spiega quando prenderne una. La cella 13B FP8 è la più risicata: 22 GB lasciano 2 GB di margine su una L4, la cui memoria da 300 GB/s è la più lenta che noleggiamo, quindi la RTX 6000 Ada a $460 è l'alternativa quando il vincolo è la velocità di decodifica e non la capacità. La MI300X occupa sette celle qui e arriva con tre condizioni: solo DFW-1 Dallas, 8 schede libere all'ultimo aggiornamento del catalogo e ROCm anziché CUDA, quindi vLLM e PyTorch funzionano e un kernel CUDA scritto a mano no. Specifiche e disponibilità per regione nel catalogo GPU, sconti nella pagina prezzi.

La cella da guardare è 70B in INT4: 40 GB, contenuti da una A40 48GB a $240 al mese. Non è un trucco, solo ciò che comprano la quantizzazione a quattro bit e 48 GB di GDDR6. La sezione 07 spiega a cosa hai rinunciato. Qualsiasi cosa sopra un nodo a 8 vie è una questione di cluster, non di scheda, e appartiene alla pagina noleggio cluster multi-GPU.

06 Costo della memoria

Quale GPU offre più VRAM per dollaro?

Prezzo mensile diviso per i gigabyte di VRAM, e larghezza di banda della memoria divisa per il prezzo mensile. Nessuno pubblica né l'uno né l'altro. Entrambi determinano più acquisti di una cifra in TFLOPS.

GPU	VRAM	Larghezza di banda	Mensile	$ per GB/mese	GB/s per $/mese	Per GPU-ora
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mese	$8.28	3.33	$2.21
B200HBM3e, Blackwell, minimo 2 GPU	180 GB	8 TB/s	$3,890/mese	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mese	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mese	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mese	$18.63	1.34	$2.07
A100 SXMHBM2e, senza FP8	80 GB	2.04 TB/s	$990/mese	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mese	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mese	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, senza FP8	48 GB	768 GB/s	$290/mese	$6.04	2.65	$0.40
A40GDDR6 ECC, senza FP8	48 GB	696 GB/s	$240/mese	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mese	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mese	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mese	$10.42	1.20	$0.35
RTX 3090GDDR6X, senza FP8	24 GB	936 GB/s	$230/mese	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, senza FP8	24 GB	768 GB/s	$190/mese	$7.92	4.04	$0.26

Ordinata per VRAM. I dollari per gigabyte sono il prezzo mensile diviso per la capacità. I GB/s per dollaro sono la larghezza di banda della memoria divisa per il prezzo mensile, quindi più alti sono, meglio è. Il costo per GPU-ora è il prezzo mensile diviso per le 720 ore di un termine, come spiegato in noleggio GPU mensile rispetto a orario. Il prezzo della B200 è per scheda, ma viene montata su una base HGX a 8 vie e l'unità minima noleggiabile è di due schede, quindi l'ordine minimo di B200 è di due schede: $7,780 al mese a listino, $7,391 con lo sconto del 5% per due schede.

Due schede diverse vincono le due colonne, ed è per questo che sono pubblicate entrambe. La A40 offre un gigabyte per $5.00 al mese, meno della metà di quanto chiede una L40S per gli stessi 48 GB, perché è una scheda del 2020 con 696 GB/s alle spalle. La RTX 3090 offre 4.07 GB/s per dollaro, più del doppio della H100 SXM, perché è una vecchia scheda consumer con un bus veloce e un canone basso. Nessuna delle due è la migliore scheda qui. Entrambe rispondono correttamente a una domanda specifica.

La MI300X è l'eccezione. A $8.28 per gigabyte è memoria più economica di una A100, una H100 o una H200, con 5.3 TB/s alle spalle, ed è per questo che riempie le celle dei modelli grandi qui sopra. Il costo è ROCm anziché CUDA: vLLM e PyTorch funzionano, un kernel CUDA scritto a mano no.

07 Controargomentazione

Avere più VRAM è sempre la risposta giusta?

No. Tre casi in cui comprare capacità è l'acquisto sbagliato, con l'aritmetica per ciascuno.

Il collo di bottiglia è la larghezza di banda, non la capacità

Decodificare un token legge ogni peso residente dalla VRAM una volta. Dividi la larghezza di banda per la dimensione residente del modello per ottenere un tetto rigido in token al secondo a flusso singolo. Una 7B in BF16 è 14 GB, quindi una A40 a 696 GB/s non può superare 50 token al secondo e una RTX 5090 a 1.79 TB/s non può superare 128. Entrambe contengono il modello. Una è 2.6 volte più veloce nel farlo.

Un tetto, non un benchmark. Arrivi sotto.

Quantizzato su una scheda piccola batte la piena precisione su una grande

Una 34B in BF16 richiede 72 GB in totale e ha bisogno di una A100 a $990: 2.04 TB/s sui suoi 68 GB di pesi sono un tetto di 30 token al secondo. La stessa 34B in INT4 richiede 21 GB in totale e sta in una RTX 4090 a $390: 1.01 TB/s sui suoi 17 GB di pesi sono un tetto di 59. Più veloce e il 61% più economica. Ciò a cui rinunci è la qualità sui pesi quantizzati, che valuti invece di darla per scontata.

Più economica e più veloce, output peggiore. Provala.

Due schede economiche, a volte

Due A40 danno 96 GB per $456 al mese contro gli 80 GB di una A100 per $990. Più memoria, meno della metà del prezzo. Funziona per l'inferenza in batch con una replica per scheda, per QLoRA e per il serving a livelli separati a bassa concorrenza. Fallisce con il parallelismo tensoriale e in qualsiasi passo di addestramento con un'all-reduce, perché il collegamento tra le schede è la parte che non hai comprato.

96 GB per $456. Il problema è l'interconnessione.

Il punto su NVLink, detto con precisione.

Una H100 SXM parla con le vicine a 900 GB/s su NVLink. Una coppia di A40 o RTX A6000 usa un bridge NVLink a 112 GB/s. Una L40S non ha NVLink e sposta i dati su PCIe Gen4 peer-to-peer a una velocità di linea di circa 32 GB/s. Una RTX 5090 non ha NVLink, ma il suo collegamento è Gen5, quindi circa 63 GB/s. Quel divario si paga una volta per livello per token in un'esecuzione con parallelismo tensoriale.

Dividere per livelli invece che per tensori evita gran parte di quel traffico e non aumenta nulla. Per token leggi comunque ogni byte del modello, su due schede in sequenza anziché su una sola. Il parallelismo tensoriale è ciò che trasforma due schede nel doppio della larghezza di banda, ed è esattamente la modalità che richiede il collegamento veloce. Questo è l'intero compromesso.

Confronto svolto

2× RTX 5090: 64 GB, 3.58 TB/s aggregate, $1,026/mese, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB, 3.35 TB/s, $1,690/mese, un unico spazio di memoria
Verdetto: La coppia vince sulla carta e perde su qualsiasi modello che non stia in 32 GB per scheda

Se il tuo modello sta su una scheda, mettilo su una scheda. Ogni divisione che aggiungi è un punto di sincronizzazione, una modalità di guasto e una serata di debug delle mappe dei dispositivi.

08 Quando non noleggiare da noi

I casi in cui questa pagina dovrebbe mandarti altrove.

Il nostro termine minimo è sette giorni. Se ti serve una scheda per un pomeriggio per verificare se una 13B sta in 24 GB, usa un provider orario: poche ore lì costano meno della settimana minima da $55 su una RTX A5000 qui. Non vendiamo ore e non abbiamo intenzione di farlo.

Se stai scegliendo tra due schede per la velocità e non per la capacità, smetti di leggere tabelle ed esegui il tuo stack su entrambe. Qui tutto è aritmetica della capacità e un tetto di larghezza di banda. Nessuno dei due predice cosa faranno i tuoi kernel, la forma del batch e lo scheduler, e non fingeremo il contrario con un dato di throughput che non possiamo documentare.

Se ti servono 6,480 GB per un fine-tuning completo di una 405B, ti serve un cluster, una fabric e un piano, non una pagina di noleggio. Chiedi al reparto vendite della capacità multi-nodo in DFW-1 Dallas, IAD-1 Ashburn o PDX-1 Hillsboro e aspettati una conversazione sull'interconnessione prima di un prezzo.

TL;DR Inizia qui

Apprendimento, qualsiasi modello fino a 13B: RTX A5000 24 GB, $190/mese
Servire modelli da 24B a 34B in produzione: L40S 48 GB, $520/mese
La singola scheda più veloce sotto i $600: RTX 5090 32 GB, $540/mese
70B più economica in INT4: A40 48 GB, $240/mese
70B in BF16 su una scheda: MI300X 192 GB, $1,590/mese
Contesto lungo su 70B: H200 SXM 141 GB, $2,290/mese

BTCETHUSDTUSDCXMRSOLLTC

Deposita una volta, distribuisci in circa novanta secondi, senza indirizzo email e senza documento d'identità. Vedi hosting GPU senza KYC e come funziona il pagamento in criptovaluta.

09 Domande

Domande sulla VRAM, poste come le fanno le persone.

Quanta VRAM mi serve per eseguire un modello da 70B?

Circa 145 GB in BF16, 75 GB in FP8 e 40 GB in INT4, ciascuno a 8,192 token e batch 1. Sono i pesi più una cache KV da 2.7 GB più 2 GB di overhead. Il valore FP8 entra in una scheda da 80 GB. Il valore INT4 entra in una A40 da 48 GB a $240 al mese.

Quanta VRAM mi serve per un modello da 7B?

17 GB in BF16, 10 GB in FP8, 7 GB in INT4, a contesto 8k e batch 1. Tutti e tre stanno in una scheda da 24 GB, quindi una RTX A5000 a $190 al mese copre ciascuno di essi. La domanda migliore è la larghezza di banda: quella 7B ha un tetto di decodifica di 55 token al secondo su una A5000 e di 128 su una RTX 5090.

Come calcolo la dimensione della cache KV?

2 × livelli × teste KV × dimensione della testa × byte per elemento × lunghezza del contesto × dimensione del batch. Per una 70B con 80 livelli, 8 teste KV e dimensione della testa 128, sono 0.33 MB per token in FP16, quindi 2.7 GB a 8k e 42.9 GB a 128k. Una cache FP8 dimezza ogni cifra.

Bastano 24 GB di VRAM per fare fine-tuning di un modello?

Per QLoRA sì, fino a circa 34B con sequenze brevi: una 13B richiede circa 14 GB e una 7B richiede 10 GB. Per LoRA in BF16, 24 GB coprono una 7B a circa 21 GB e niente di più grande. Per il fine-tuning completo con Adam, no. Anche una 7B richiede circa 129 GB, perché lo stato dell'ottimizzatore costa 16 byte per parametro.

Quale GPU mi serve per un modello da 405B?

In INT4 richiede circa 209 GB, che otto A40 contengono per $1,728 al mese, sebbene a 696 GB/s ciascuna sia capacità più che velocità. In FP8 richiede 411 GB e in BF16 816 GB, entrambi contenuti in un nodo 8× MI300X a $11,450. Il fine-tuning completo richiede circa 7,452 GB e appartiene a un cluster.

Due schede da 24 GB funzionano come una da 48 GB?

Per la capacità, quasi. Per la velocità, no. Un modello diviso su due schede legge comunque ogni byte per token, quindi la divisione per livelli non alza il tetto. Il parallelismo tensoriale lo fa, ma scambia attivazioni a ogni livello sul collegamento tra le schede: 112 GB/s su un bridge NVLink, circa 63 GB/s su PCIe Gen5 e 32 GB/s su Gen4.

Quale GPU ha la VRAM più economica per gigabyte?

La A40: 48 GB per $240 al mese sono $5.00 per gigabyte al mese, il rapporto più basso della nostra flotta. Seguono la RTX A6000 a $6.04, la RTX A5000 a $7.92, la MI300X a $8.28. Una H100 SXM costa $21.13 per gigabyte perché compri larghezza di banda e throughput FP8, non capacità.

Quantizzare a INT4 peggiora la qualità dell'output?

Sì, in modo misurabile, e quanto dipende dal modello e dal metodo. Gli schemi solo pesi come AWQ e GPTQ perdono sensibilmente meno dell'arrotondamento ingenuo. Il processo onesto è quantizzare, eseguire il proprio set di valutazione e decidere se la perdita vale la scheda che risparmi. Noleggiamo entrambe le schede e non esprimiamo opinioni.

Dimensionamento specifico per carico di lavoro in GPU per l'inferenza LLM e GPU per il fine-tuning. Specifiche complete, disponibilità e prezzi nel catalogo GPU.

Conosci il numero. Ora scegli la scheda.

Quindici modelli in DFW-1, IAD-1 e PDX-1, da $190 al mese, settimanalmente o mensilmente, pagati in sette criptovalute senza controllo dell'identità.

Crea un account →