GPU Rent HubVRAM-gids

Hoeveel VRAM heb ik nodig? Eerst de rekensom, dan de kaart.

Een model met 70B parameters heeft ongeveer 145 GB VRAM nodig om te draaien op BF16, 75 GB op FP8 en 40 GB op INT4, en GPU Rent Hub verhuurt voor elk daarvan een dedicated kaart: $240 per maand voor de INT4-situatie op een 48 GB A40, $1,490 voor FP8 op een 80 GB H100 PCIe, $1,590 voor BF16 op een 192 GB MI300X, te betalen in Bitcoin, Ethereum, USDT, USDC, Monero, Solana of Litecoin zonder identiteitsverificatie. Elk getal hieronder is rekenwerk dat u zelf kunt narekenen. Niets ervan is een benchmark, want wij citeren geen benchmark die we niet kunnen onderbouwen.

Updated 2026-09-01

2 BBytes per parameter bij BF16

$5.00Goedkoopste VRAM die we verhuren, per GB per maand

192 GBMeeste VRAM op één kaart, MI300X

15Kaarten om uit te kiezen

01 De formule

Hoe berekent u hoeveel VRAM een model nodig heeft?

Drie termen. Gewichten, KV-cache, runtime-overhead. Twee daarvan kunt u exact berekenen.

Het rekenblok

VRAM benodigd = (parameters × bytes per parameter) + KV-cache + ongeveer 2 GB runtime-overhead. Bytes per parameter is 4 bij FP32, 2 bij BF16 of FP16, 1 bij FP8 en 0.5 bij INT4. De KV-cache is 2 × lagen × KV-heads × hoofddimensie × bytes per element × contextlengte × batchgrootte, waarbij de voorste 2 de key en de value dekt. Runtime-overhead is de CUDA-context, het framework en allocatorfragmentatie, en 2 GB is een veilige marge voor één enkel proces.

Eén keer doorgerekend: een 70B-model in FP8 bij 8,192 tokens en batch 1 is 70 GB aan gewichten, 2.7 GB aan KV-cache en 2 GB aan overhead, dus 75 GB, wat op één 80 GB-kaart past met 5 GB reserve.

Twee conventies, vastgelegd voordat u over de laatste gigabyte discussieert.

Parameters in miljarden maal bytes per parameter geeft direct gigabytes, volgens de decimale conventie waarbij een gigabyte 10⁹ bytes is. Kaartcapaciteiten worden op dezelfde manier vermeld. Tooling die in plaats daarvan gibibytes rapporteert, verkleint elk getal hier met ongeveer 7%, en dat is de reden om headroom over te laten in plaats van tot op de laatste gigabyte te plannen.

Reken op basis van residente parameters, niet actieve. Een mixture-of-experts-model houdt elke expert in VRAM en gebruikt er twee per token: het geheugen van het geheel, de snelheid van het deel.

Precisie	Bytes/param	7B	70B
FP32zelden de moeite waard voor inferentie	4	28 GB	280 GB
BF16 / FP16het referentiepunt	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4weight-only, elke architectuur	0.5	3.5 GB	35 GB

FP8 vereist hardware-ondersteuning. De A100, A40, RTX A6000, RTX 3090 en RTX A5000 hebben die niet. INT4 weight-only-kwantisatie draait op al deze kaarten.

02 Inferentie

Hoeveel VRAM heb ik nodig om een 7B-, 13B-, 34B-, 70B- of 405B-model te draaien?

Gewichten plus een KV-cache bij 8,192 tokens en batch 1, plus 2 GB. Verander de context en de KV-kolom verschuift, niet de gewichten.

Model	KV bij 8k, batch 1	BF16 totaal	FP8 totaal	INT4 totaal
7B32 lagen, GQA, 8 KV-heads	1.1 GB	17 GB	10 GB	7 GB
13B40 lagen, MHA, geen GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 lagen, GQA, 8 KV-heads	2.0 GB	72 GB	38 GB	21 GB
70B80 lagen, GQA, 8 KV-heads	2.7 GB	145 GB	75 GB	40 GB
405B126 lagen, GQA, 8 KV-heads	4.2 GB	816 GB	411 GB	209 GB

KV-cache overal op FP16 gehouden. Hoofddimensie overal 128. Controleer het aantal lagen en KV-heads in de config.json van uw model voordat u een rij vertrouwt, want dit zijn typische vormen, geen universele.

De 13B-rij is de interessante: die heeft een grotere KV-cache dan de 70B eronder. De vorm gebruikt multi-head attention met 40 key- en value-heads, waar latere modellen grouped-query attention en 8 gebruiken. Die verandering verkleinde de cache vijf- tot achtvoudig en is de reden dat long-context-serving betaalbaar werd. Voor alles van vóór 2024: controleer het attention-schema vóór het aantal parameters.

Batchgrootte vermenigvuldigt alleen de KV-cache en verder niets. Die 70B bij batch 32 voegt 85 GB cache toe aan dezelfde 70 GB aan gewichten, en daarom heeft een endpoint veel meer geheugen nodig dan voor één verzoek tegelijk. De dimensionering voor services staat op de pagina GPU voor LLM-inferentie.

03 Context

Hoeveel VRAM gebruikt de KV-cache bij lange context?

Lineair met tokens en lineair met batch. Bij 128k kan de cache meer kosten dan de gewichten.

Modelvorm	KV per token	8k	32k	128k
7B, 32 lagen, GQAKV-breedte 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 lagen, MHAKV-breedte 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 lagen, GQAKV-breedte 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 lagen, GQAKV-breedte 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 lagen, GQAKV-breedte 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

FP16-cache, batch 1. Halveer elk getal voor een FP8-cache. Vermenigvuldig met de batchgrootte. KV-breedte is KV-heads vermenigvuldigd met de hoofddimensie.

Waar dit knelt.

Een 70B op FP8 past op een 80 GB-kaart bij 8k met 5 GB reserve. Zet hem op 32k en alleen de cache is al 10.7 GB, dus past hij niet meer. Daarom bestaan de H200 SXM met 141 GB en de MI300X met 192 GB als producten. Ze houden meer context vast dan een H100 SXM, en dat is iets anders dan sneller zijn.

Het kwantiseren van de KV-cache naar FP8 is een aparte hendel naast het kwantiseren van de gewichten, en meestal de goedkopere. Het halveert de cache met veel minder kwaliteitsverlies dan de gewichten nog een stap verlagen, en zowel vLLM als TensorRT-LLM ondersteunt het.

04 Training

Hoeveel VRAM heb ik nodig om een model te fine-tunen?

Volledige fine-tuning kost ruwweg 16 bytes per parameter. LoRA kost 2. QLoRA kost 0.5. Het verschil tussen die drie getallen is de hele beslissing.

Volledige fine-tuning met Adam houdt vijf dingen per parameter vast: BF16-gewichten (2 bytes), BF16-gradiënten (2), een FP32-masterkopie (4), en de eerste en tweede Adam-momenten (elk 4). Dat is 16 bytes per parameter vóór activaties. LoRA bevriest de basis, dus u betaalt 2 bytes per parameter voor het bevroren model en alleen optimizer-state op de adapter, doorgaans een half procent van de parameters. QLoRA kwantiseert die bevroren basis naar 4 bits, dus het kost 0.5 bytes per parameter en de adapter blijft ongewijzigd.

Model	Volledige FT, gewichten + Adam	Volledige FT, met activaties	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Aannames vermeld zodat u ze kunt wijzigen: gradient checkpointing aan, sequentielengte 2,048, batch 1, rank-16-adapters op de attention-projecties bij ongeveer 0.5% van de parameters, 15% toegevoegd aan de kolom volledige fine-tuning voor activaties en fragmentatie. Optimizer-state van de adapter geteld op 16 bytes per adapterparameter.

De kolom volledige fine-tuning is het naïeve getal, alles resident op de GPU's. ZeRO stage 3 met optimizer-state offloaded naar hostgeheugen verlaagt de vereiste aan GPU-zijde aanzienlijk, en onze 8-way nodes hebben precies daarvoor 2 TB host-RAM. Offload ruilt PCIe-bandbreedte tegen VRAM, dus het maakt een run mogelijk in plaats van snel. De methodiekeuze staat op de pagina GPU voor fine-tuning.

Lees de laatste twee kolommen naast de eerste. Een 70B volledige fine-tuning vraagt om een node met acht kaarten voor $11,450. Dezelfde 70B onder QLoRA vraagt 51 GB, wat neerkomt op één A100 SXM 80GB voor $990 per maand. Dat is een twaalfvoudig verschil voor een methode die slechter is, maar zelden twaalf keer slechter. De meeste mensen die deze vraag stellen, hebben het getal voor volledige fine-tuning gehoord en hebben dat niet nodig.

05 Opzoeken

Welke GPU heb ik nodig voor een 70B-model, of voor elke andere grootte?

Modelgrootte langs de zijkant, methode langs de bovenkant. Elke cel is de benodigde VRAM en het goedkoopste in onze vloot dat erin past.

Model	Inferentie BF16	Inferentie FP8	Inferentie INT4	QLoRA	LoRA	Volledige fine-tuning
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, krap	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, krap	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, krap	28 GBA40 $240	79 GBA100 SXM $990, krap	626 GB8× A100 $7,130, krap
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBvijf nodes, offerte

De goedkoopste losse kaart die past, bij 8,192 tokens en batch 1; een multi-cardset alleen waar geen losse kaart het model kan bevatten. Deze tabel beantwoordt één vraag, de goedkoopste kaart die het model bevat, en de werkbelastingsgidsen beantwoorden een andere, de goedkoopste kaart waarop het de moeite waard is om het te draaien, en dat is soms een andere en duurdere kaart, met de reden daar vermeld. Krap betekent minder dan 5 GB reserve, of minder dan 2 GB per kaart bij multi-cardrijen. Multi-cardprijzen zijn inclusief de volumekorting van 5% bij twee kaarten, 8% bij vier en 10% bij acht. Rijen voor volledige fine-tuning gaan uit van NVLink of NVSwitch, omdat een all-reduce bij elke stap over PCIe peer-to-peer niet de moeite waard is om te huren. Voor de meeste rijen bestaan goedkopere multi-cardsubstituties en sectie 07 legt uit wanneer u er een moet nemen. De 13B FP8-cel is het krapst: 22 GB laat 2 GB reserve over op een L4, waarvan de 300 GB/s het langzaamste geheugen is dat wij verhuren, dus de RTX 6000 Ada voor $460 is het alternatief wanneer decodesnelheid in plaats van passendheid de beperking is. De MI300X heeft hier zeven cellen en komt met drie voorwaarden: alleen DFW-1 Dallas, 8 kaarten vrij bij de laatste catalogusupdate, en ROCm in plaats van CUDA, dus vLLM en PyTorch draaien en een handgeschreven CUDA-kernel niet. Specificaties en voorraad per regio op de GPU-catalogus, kortingen op de prijspagina.

De cel om naar te kijken is 70B bij INT4: 40 GB, ondergebracht op een A40 48GB voor $240 per maand. Geen truc, gewoon wat vierbits-kwantisatie en 48 GB GDDR6 opleveren. Sectie 07 zet uiteen wat u daarvoor opgeeft. Alles boven één 8-way node is een clustervraag, geen kaartvraag, en hoort thuis op de pagina multi-GPU-clusterverhuur.

06 Kosten van geheugen

Welke GPU geeft u de meeste VRAM per dollar?

Maandprijs gedeeld door gigabytes VRAM, en geheugenbandbreedte gedeeld door maandprijs. Niemand publiceert een van beide. Beide bepalen meer aankopen dan een TFLOPS-getal doet.

GPU	VRAM	Bandbreedte	Maandelijks	$ per GB/mo	GB/s per $/mo	Per GPU-uur
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mo	$8.28	3.33	$2.21
B200HBM3e, Blackwell, minimaal 2 GPU's	180 GB	8 TB/s	$3,890/mo	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mo	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mo	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mo	$18.63	1.34	$2.07
A100 SXMHBM2e, geen FP8	80 GB	2.04 TB/s	$990/mo	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mo	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mo	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, geen FP8	48 GB	768 GB/s	$290/mo	$6.04	2.65	$0.40
A40GDDR6 ECC, geen FP8	48 GB	696 GB/s	$240/mo	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mo	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mo	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mo	$10.42	1.20	$0.35
RTX 3090GDDR6X, geen FP8	24 GB	936 GB/s	$230/mo	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, geen FP8	24 GB	768 GB/s	$190/mo	$7.92	4.04	$0.26

Gerangschikt op VRAM. Dollars per gigabyte is de maandprijs gedeeld door capaciteit. GB/s per dollar is geheugenbandbreedte gedeeld door de maandprijs, dus hoger is beter. Per GPU-uur is de maandprijs gedeeld door de 720 uren in een termijn, uitgelegd op maandelijkse versus uurlijkse GPU-verhuur. De B200-prijs is per kaart, maar wordt geleverd op een 8-way HGX-baseboard en de kleinste huureenheid is twee kaarten, dus de kleinste B200-bestelling is twee kaarten: $7,780 per maand tegen catalogusprijs, $7,391 met de 5% korting voor twee kaarten.

Twee verschillende kaarten winnen de twee kolommen, en daarom worden beide gepubliceerd. De A40 biedt een gigabyte voor $5.00 per maand, minder dan de helft van wat een L40S rekent voor dezelfde 48 GB, omdat het een kaart uit 2020 is met 696 GB/s erachter. De RTX 3090 geeft 4.07 GB/s per dollar, meer dan het dubbele van de H100 SXM, omdat het een oude consumentenkaart is met een snelle bus en een lage huurprijs. Geen van beide is de beste kaart hier. Beide beantwoorden een specifieke vraag correct.

De MI300X is de uitschieter. Met $8.28 per gigabyte is het goedkoper geheugen dan een A100, een H100 of een H200, met 5.3 TB/s erachter, en daarom vult het de cellen voor grote modellen hierboven. De prijs is ROCm in plaats van CUDA: vLLM en PyTorch draaien, een handgeschreven CUDA-kernel niet.

07 Tegenargument

Is meer VRAM altijd het juiste antwoord?

Nee. Drie gevallen waarin het kopen van capaciteit de verkeerde aankoop is, met de rekensom voor elk.

Bandbreedte is de bottleneck, niet capaciteit

Het decoderen van één token leest elk resident gewicht één keer uit VRAM. Deel de bandbreedte door de residente grootte van het model voor een harde bovengrens aan tokens per seconde bij een enkele stream. Een 7B op BF16 is 14 GB, dus een A40 met 696 GB/s kan niet boven de 50 tokens per seconde komen en een RTX 5090 met 1.79 TB/s niet boven de 128. Beide passen het model. De ene is er 2.6 keer sneller in.

Een bovengrens, geen benchmark. U komt eronder uit.

Gekwantiseerd op een kleine kaart verslaat volledige precisie op een grote

Een 34B op BF16 is 72 GB alles inbegrepen en vereist een A100 voor $990: 2.04 TB/s over zijn 68 GB aan gewichten is een bovengrens van 30 tokens per seconde. Dezelfde 34B op INT4 is 21 GB alles inbegrepen en past op een RTX 4090 voor $390: 1.01 TB/s over zijn 17 GB aan gewichten is een bovengrens van 59. Sneller, en 61% goedkoper. Wat u opgeeft is kwaliteit op de gekwantiseerde gewichten, die u evalueert in plaats van aanneemt.

Goedkoper en sneller, slechtere output. Test het.

Twee goedkope kaarten, soms

Twee A40's geven 96 GB voor $456 per maand tegenover 80 GB van één A100 voor $990. Meer geheugen, minder dan de helft van de prijs. Het werkt voor batch-inferentie met een replica per kaart, voor QLoRA en voor layer-split serving bij lage concurrency. Het faalt onder tensorparallelisme en bij elke trainingsstap met een all-reduce, omdat de verbinding tussen de kaarten het deel is dat u niet hebt gekocht.

96 GB voor $456. Het addertje is de interconnect.

Het NVLink-punt, precies geformuleerd.

Een H100 SXM praat met zijn buren op 900 GB/s over NVLink. Een paar A40 of RTX A6000 gebruikt een NVLink-brug op 112 GB/s. Een L40S heeft geen NVLink en verplaatst data over PCIe Gen4 peer-to-peer met een lijnsnelheid van ruwweg 32 GB/s. Een RTX 5090 heeft ook geen NVLink, maar zijn link is Gen5, dus ruwweg 63 GB/s. Dat verschil wordt één keer per laag per token betaald in een tensor-parallelle run.

Splitsen op lagen in plaats van op tensoren vermijdt het grootste deel van dat verkeer en levert niets op. Per token leest u nog steeds elke byte van het model, op twee kaarten na elkaar in plaats van op één alleen. Tensorparallelisme is wat van twee kaarten dubbele bandbreedte maakt, en het is precies de modus die de snelle verbinding nodig heeft. Dat is de hele afweging.

Uitgewerkte vergelijking

2× RTX 5090: 64 GB, 3.58 TB/s geaggregeerd, $1,026/mo, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB, 3.35 TB/s, $1,690/mo, één geheugenruimte
Verdict: Het paar wint op papier en verliest bij elk model dat niet in 32 GB per kaart past

Als uw model op één kaart past, zet het dan op één kaart. Elke splitsing die u toevoegt is een synchronisatiepunt, een faalmodus en een avond debuggen van device maps.

08 Wanneer u niet bij ons moet huren

De gevallen waarin deze pagina u ergens anders naartoe zou moeten sturen.

Onze kortste termijn is zeven dagen. Als u een kaart voor een middag nodig hebt om te controleren of een 13B in 24 GB past, gebruik dan een uuraanbieder: een paar uur daar kost minder dan de minimumweek van $55 op een RTX A5000 hier. Wij verkopen geen uren en zijn dat ook niet van plan.

Als u tussen twee kaarten kiest op snelheid in plaats van op passendheid, stop dan met het lezen van tabellen en draai uw stack op beide. Alles hier is capaciteitsrekenwerk en een bandbreedtebovengrens. Geen van beide voorspelt wat uw kernels, batchvorm en scheduler zullen doen, en wij doen niet alsof met een throughput-getal dat we niet kunnen onderbouwen.

Als u 6,480 GB nodig hebt voor een 405B volledige fine-tuning, hebt u een cluster, een fabric en een plan nodig, geen verhuurpagina. Vraag sales naar multi-nodecapaciteit in DFW-1 Dallas, IAD-1 Ashburn of PDX-1 Hillsboro en verwacht een gesprek over interconnect vóór een prijs.

TL;DR Begin hier

Leren, elk model tot 13B: RTX A5000 24 GB, $190/mo
Serveren van 24B tot 34B in productie: L40S 48 GB, $520/mo
Snelste losse kaart onder $600: RTX 5090 32 GB, $540/mo
Goedkoopste 70B op INT4: A40 48 GB, $240/mo
70B op BF16 op één kaart: MI300X 192 GB, $1,590/mo
Lange context op 70B: H200 SXM 141 GB, $2,290/mo

BTCETHUSDTUSDCXMRSOLLTC

Stort één keer, implementeer in ongeveer negentig seconden, geen e-mailadres en geen identiteitsdocument. Zie GPU-hosting zonder KYC en hoe cryptobetaling werkt.

09 Vragen

VRAM-vragen, gesteld zoals mensen ze stellen.

Hoeveel VRAM heb ik nodig om een 70B-model te draaien?

Ongeveer 145 GB bij BF16, 75 GB bij FP8 en 40 GB bij INT4, elk bij 8,192 tokens en batch 1. Dat is gewichten plus een 2.7 GB KV-cache plus 2 GB overhead. Het FP8-getal past op één 80 GB-kaart. Het INT4-getal past op een 48 GB A40 voor $240 per maand.

Hoeveel VRAM heb ik nodig voor een 7B-model?

17 GB bij BF16, 10 GB bij FP8, 7 GB bij INT4, bij 8k context en batch 1. Alle drie passen op een 24 GB-kaart, dus een RTX A5000 voor $190 per maand dekt ze allemaal. De betere vraag is bandbreedte: die 7B heeft een decode-bovengrens van 55 tokens per seconde op een A5000 en 128 op een RTX 5090.

Hoe bereken ik de KV-cachegrootte?

2 × lagen × KV-heads × hoofddimensie × bytes per element × contextlengte × batchgrootte. Voor een 70B met 80 lagen, 8 KV-heads en hoofddimensie 128 is dat 0.33 MB per token bij FP16, dus 2.7 GB bij 8k en 42.9 GB bij 128k. Een FP8-cache halveert elk getal.

Is 24 GB VRAM genoeg om een model te fine-tunen?

Voor QLoRA ja, tot ongeveer 34B bij korte sequentielengtes: een 13B heeft ruwweg 14 GB nodig en een 7B heeft 10 GB nodig. Voor LoRA in BF16 dekt 24 GB een 7B bij ongeveer 21 GB en niets groters. Voor volledige fine-tuning met Adam, nee. Zelfs een 7B heeft ongeveer 129 GB nodig, omdat optimizer-state 16 bytes per parameter kost.

Welke GPU heb ik nodig voor een 405B-model?

Bij INT4 heeft het ongeveer 209 GB nodig, wat acht A40's voor $1,728 per maand bevatten, maar bij 696 GB/s per stuk is dat capaciteit in plaats van snelheid. Bij FP8 heeft het 411 GB nodig en bij BF16 816 GB, die beide passen op een 8× MI300X-node voor $11,450. Volledige fine-tuning heeft ruwweg 7,452 GB nodig en hoort op een cluster.

Werken twee 24 GB-kaarten zoals één 48 GB-kaart?

Voor capaciteit, bijna wel. Voor snelheid, nee. Een model dat over twee kaarten is gesplitst, leest nog steeds elke byte per token, dus layer-splitting verhoogt uw bovengrens niet. Tensorparallelisme wel, maar het wisselt activaties uit bij elke laag over de verbinding tussen de kaarten: 112 GB/s op een NVLink-brug, ruwweg 63 GB/s over PCIe Gen5 en 32 GB/s over Gen4.

Welke GPU heeft de goedkoopste VRAM per gigabyte?

De A40: 48 GB voor $240 per maand is $5.00 per gigabyte per maand, de laagste verhouding in onze vloot. De RTX A6000 volgt met $6.04, de RTX A5000 met $7.92, de MI300X met $8.28. Een H100 SXM kost $21.13 per gigabyte omdat u bandbreedte en FP8-throughput koopt, geen capaciteit.

Doet kwantiseren naar INT4 de uitvoerkwaliteit pijn?

Ja, meetbaar, en hoeveel hangt af van het model en de methode. Weight-only-schema's zoals AWQ en GPTQ verliezen merkbaar minder dan naïef afronden. Het eerlijke proces is kwantiseren, uw eigen evaluatieset draaien en beslissen of het verlies de kaart waard is die u bespaart. Wij verhuren beide kaarten en hebben geen mening.

Workloadspecifieke dimensionering op GPU voor LLM-inferentie en GPU voor fine-tuning. Volledige specificaties, voorraad en prijzen op de GPU-catalogus.

U kent het getal. Kies nu de kaart.

Vijftien modellen in DFW-1, IAD-1 en PDX-1, vanaf $190 per maand, wekelijks of maandelijks, betaald in zeven munten zonder identiteitscontrole.

Account aanmaken →