GPU Rent HubGPU voor LLM-inferentie

Een GPU kiezen voor LLM-inferentie.

GPU Rent Hub verhuurt dedicated GPU-servers voor LLM-inferentie vanaf $250 per maand voor een NVIDIA L4 tot $2,290 per maand voor een H200 SXM, betaald in Bitcoin, Ethereum, USDT, USDC, Monero, Solana of Litecoin, zonder identiteitsverificatie.

Twee getallen bepalen de kaart: het VRAM dat de gewichten en de KV-cache nodig hebben, en de geheugenbandbreedte die de tokens per seconde bepaalt.

Bijgewerkt 2026-09-01

75 GBEen 70B in FP8, 8k context, batch 1

3.35 TB/sH100 SXM-geheugenbandbreedte

$2.35H100 SXM per GPU-uur op maandbasis

20 TBUitgaand verkeer inbegrepen per instantie

01 Dimensionering

Hoeveel VRAM heeft een LLM nodig voor inferentie?

Twee getallen bepalen hier de kaart. De afleiding staat in de VRAM-gids; de term die beweegt is de KV-cache, en die beweegt met uw verkeer in plaats van met het model.

De twee getallen waar deze pagina van uitgaat

Een 70B-model in FP8 is 75 GB bij 8,192 tokens en batch 1, en 2.7 GB daarvan is KV-cache. Al het overige, de formule gewichten-plus-cache-plus-overhead, de bytes per parameter bij elke precisie en een rij voor elke modelgrootte, wordt term voor term afgeleid in de GPU VRAM-gids en wordt hier niet herhaald. Die twee getallen doen het werk hieronder: 75 GB is waarom een 80 GB-kaart een 70B bedient met 5 GB reserve, en de 2.7 GB cache is de term die wordt doorgezet naar de 120B-rij van de tabel.

De cacheterm neemt het over bij lange context, waar hij schaalt met contextlengte maal batchgrootte, niet met het aantal parameters. Bij 128k en 32 gelijktijdige verzoeken kan hij de gewichten overschrijden. Daarom kost de H200 SXM met 141 GB meer dan een H100 SXM met dezelfde chip.

Modelgrootte	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Goedkoopste NVIDIA-kaart die past, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 lagen, MHA, grote cache	35 GB	22 GB	15 GB	L4, 24 GB, krap
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bzelfde formule, geen rij in de gids	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Gewichten plus een KV-cache bij 8,192 tokens en batch 1 plus 2 GB overhead, overgenomen uit de GPU VRAM-gids samen met de goedkoopste kaart die elk FP8-getal bevat. De laatste kolom is alleen NVIDIA, omdat het alternatief een andere softwarestack is: op de 120B-rij bevat de 192 GB MI300X dezelfde 125 GB voor $1,590 per maand tegenover $2,290 voor de H200 SXM, tegen de prijs van ROCm in plaats van CUDA en Dallas in plaats van drie locaties. De 120B-rij is dezelfde formule één stap verder doorgevoerd, met de 2.7 GB cache uit de 70B-rij, omdat geen rij in de gids die grootte behandelt. De 405B-rij is de uitzondering op de kolom, omdat geen enkele kaart van welk merk dan ook die bevat en het goedkoopste knooppunt dat dat wel doet de 8× MI300X is. Een 70B in FP8 laat 5 GB reserve over op een 80 GB-kaart bij 8k en past niet meer bij 32k, waar de cache alleen al 10.7 GB is.

02 Bandbreedte

Waarom is geheugenbandbreedte belangrijker dan TFLOPS voor LLM-inferentie?

Bij het decoderen van één token wordt elk gewicht één keer gelezen. De kaart wacht op geheugen, niet op rekenwerk.

Bij een batch van één stroomt bij het decoderen de hele gewichtenset voor elk token uit het VRAM en worden ongeveer twee floating-pointbewerkingen per parameter uitgevoerd, wat bij BF16 neerkomt op één bewerking per geladen byte. Om de tensorcores van een H100 SXM bezig te houden is ruwweg 300 nodig, als we de 1,979 sparse FP16 TFLOPS als ongeveer 990 dense nemen tegenover 3.35 TB/s bandbreedte. De kaart is met ruime marge geheugengebonden, dus het plafond in tokens per seconde is bandbreedte gedeeld door het aantal bytes aan gewichten dat per token wordt gelezen.

Een 8B-model in BF16 is 16 GB. Op een RTX 4090 met 1.01 TB/s is het plafond 63 tokens per seconde; op een H100 SXM met 3.35 TB/s is dat 209. Dat zijn plafonds volgens het specificatieblad en echte decodering ligt daaronder, met een fractie die we niet zullen noemen omdat we er geen bron voor kunnen geven. De rangorde blijft staan. Prefill is het tegenovergestelde geval, rekengebonden, en dat is waar FP8-tensorcores hun geld verdienen.

Plafond, tokens per seconde = geheugenbandbreedte ÷ (parameters × bytes per parameter). Batchen verhoogt de doorvoer per kaart zonder de snelheid van één verzoek te verhogen, omdat de gewichten één keer voor de hele batch worden gelezen.

Twee feiten uit de tabel die slecht voor ons lezen. Een A100 SXM met 2.04 TB/s heeft meer bandbreedte dan een H100 PCIe, en een RTX 3090 met 936 GB/s meer dan een L40S. Geen van beide is de betere inferentiekaart. Sectie 03 zegt waarom.

GPU	VRAM	Bandbreedte	Plafond, 8B in BF16	Maandelijks	Per GPU-uur
B200Blackwell, HBM3e, minimaal 2 GPU's	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, geen FP8	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, geen FP8	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, geen FP8	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

De plafondkolom is bandbreedte gedeeld door 16 GB aan BF16-gewichten: een bovengrens van het specificatieblad, geen gemeten resultaat. Per GPU-uur is het maandbedrag gedeeld door 720. De B200-prijs is per kaart en de kaart wordt verkocht op een 8-way HGX-basisboard, dus de kleinste B200-bestelling is twee kaarten, $7,780 per maand vóór de tweekaartenkorting. Alle vijftien kaarten staan in de GPU-catalogus.

03 Precisie

Maakt FP8 uit, en waarom is de A100 een slechtere inferentiekaart dan zijn prijs doet vermoeden?

FP8 halveert de gewichten. Dat halveert het aantal gelezen bytes per token en verdubbelt het model dat past.

Hopper, Ada Lovelace en Blackwell hebben FP8-tensorcores: de B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 en L4. Ampere niet. De A100, A40, RTX A6000, RTX A5000 en RTX 3090 ondersteunen geen FP8, en dat is silicium, geen driverhiaat.

Dus een 70B-model in FP8 is 75 GB en draait op één H100 SXM voor $1,690 per maand, $2.35 per GPU-uur. Op Ampere draait het in BF16 op 145 GB, wat twee A100 SXM-kaarten betekent: $1,980 volgens de lijst, $1,881 per maand met de 5% tweekaartenkorting, wat neerkomt op $2.61 per uur voor het endpoint tegenover $2.35 voor de enkele H100 SXM, met tensorparallel verkeer bij elk token. De goedkopere kaart bouwt het duurdere endpoint.

Ampere is nog steeds het huren waard

Voor fine-tuning, voor 4-bit serving, en wanneer 80 GB onder $1,000 per maand het punt is. Het is een slechte standaard voor een productietoken-endpoint, en het prijskaartje van $990 verbergt dat.

De MI300X is de uitzondering die de moeite waard is om te kennen. 192 GB HBM3 met 5.3 TB/s voor $1,590 per maand past een 70B-model in BF16 op één kaart, 145 GB met 47 GB reserve, geen kwantisatie en geen sharding. Hij start op met onze ROCm 6.4-template met een PyTorch ROCm-build.

04 Keuzes

Wat is de beste GPU voor LLM-inferentie bij elke modelgrootte?

Gesorteerd op modelgrootte. Eén kaart per band, gekozen op basis van bovenstaande rekenkunde.

Dit bedienen	Keuze	VRAM	Wekelijks	Maandelijks	Per GPU-uur
7B–8B, altijd aan, lage QPS72 W, single slot, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, latentie is belangrijk1.01 TB/s, 265 op voorraad	RTX 4090	24 GB	$110	$390/mo	$0.54
14B–24B in FP8snelste geheugen onder $600	RTX 5090	32 GB	$155	$540/mo	$0.75
24B–34B in FP8ECC, 8-way nodes, RT cores	L40S	48 GB	$148	$520/mo	$0.72
32B in BF16, geen kwantisatieHopper op 350 W	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
70B in FP8, één kaartde productiestandaard	H100 SXM	80 GB	$475	$1,690/mo	$2.35
70B in BF16, één kaartmeeste HBM per kaart	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B, of 70B bij 128kKV-cache-hoofdruimte	H200 SXM	141 GB	$640	$2,290/mo	$3.18
405B in FP8, één node8-way, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

Per GPU-uur is het maandbedrag gedeeld door 720, en voor het node door 8 kaarten en 720 uur. Multi-GPU-kortingen bedragen 5% bij twee kaarten, 8% bij vier, 10% bij acht, dus een 8× H100 SXM-node kost $12,170 per maand, $2.11 per GPU-uur. Op voorraad: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Dit zijn de kaarten waarop wij de taak zouden draaien; de zoektabel van de VRAM-gids noemt de goedkoopste kaart die hem slechts bevat, dus een rij hier is soms de duurdere kaart en de reden staat in de rij. De 405B-rij is het duidelijkste geval: de gids geeft het goedkoopste node dat een 405B in FP8 bevat als de 8× MI300X voor $11,450, en deze tabel kiest de 8× B200 vanwege zijn 1.8 TB/s fabric.

De prijzen zijn identiek in DFW-1 Dallas, IAD-1 Ashburn en PDX-1 Hillsboro, dus kies de regio op basis van latentie. De MI300X is alleen in Dallas beschikbaar. Van de acht B200 staan er zes in DFW-1 en twee in PDX-1, en geen in IAD-1.

05 De instantie

Wat krijg ik op een GPU Rent Hub LLM-inferentieserver?

Bare metal, root, de serving-stack vooraf geïnstalleerd, niets luistert totdat u het inschakelt.

vLLM 0.9-template

Ubuntu 24.04 met vLLM 0.9 en een OpenAI-compatibele serverunit geïnstalleerd. De unit wordt uitgeschakeld geleverd. U schakelt hem in en bepaalt wat de poort mag bereiken.

Niets wordt standaard blootgesteld.

Ollama-template

Voor een model dat binnen twee minuten antwoordt in plaats van een getunede server. Ollama is gebonden aan localhost en u stelt het zelf bloot, meestal via WireGuard.

Zelfde regel: localhost totdat u het verplaatst.

20 TB uitgaand verkeer inbegrepen

Bij ruwweg 100 bytes aan JSON- en SSE-framing per gestreamd token is dat ongeveer 200 miljard tokens per maand. Een tekst-endpoint haalt dat niet.

Daarna $4/TB. Inkomend verkeer onbeperkt.

100G-poort, 10G gegarandeerd

Gedeelde 100G-uplink met een bodem van 10 Gbps, één IPv4 en een IPv6 /64. Een dedicated 100G-poort kost $220 per maand als u audio of afbeeldingen streamt.

Private VLAN tussen instanties, $25/mo.

Altijd-aan-inferentie is het duidelijkste geval voor een termijn: druk op onvoorspelbare uren, intolerant voor koude starts, met gewichten die een platform met meting bij elke opschaling opnieuw zou moeten ophalen. De kaart is 720 uur van u, of er nu verkeer komt of niet, en kan niet preemptief worden stopgezet. Omslagrekenwerk op maandelijkse versus uurlijkse GPU-verhuur, implementatiedetails in de documentatie. Eén bestelling, één betaling in BTC, ETH, USDT, USDC, XMR, SOL of LTC: hoe cryptobetaling werkt, en wat no-KYC GPU-hosting betekent.

BTCETHUSDTUSDCXMRSOLLTC

06 Wanneer niet

Wanneer moet u geen dedicated GPU huren voor LLM-inferentie?

Drie gevallen waarin een dedicated kaart het verkeerde gereedschap is, en dat zeggen we liever zelf.

Onder ruwweg tien miljoen tokens per maand kunt u beter een gehoste token-API gebruiken. Een 7B-model op een L4 kost $250 per maand, wat neerkomt op $25 per miljoen tokens bij dat volume, en gangbare per-token tarieven voor een vergelijkbaar open model liggen daaronder.

Ten tweede, piekverkeer. Een endpoint dat op dinsdag honderd verzoeken beantwoordt en pas de week daarna weer iets doet, houdt de kaart minutenlang bezig en huurt hem voor 720 uur. Gebruik een aanbieder per uur. Onze kortste termijn is zeven dagen en er is geen meter.

Ten derde, een kleinere kaart die de klus doet. Kwantiseer een 34B-model naar 4-bit en het past in 21 GB, wat een RTX 3090 voor $230 per maand bedient op 936 GB/s met 3 GB reserve, sneller geheugen dan de goedkopere RTX A5000 die de zoektabel van de gids voor dezelfde cel noemt. Huur geen H100 SXM omdat het model een groot getal in zijn naam heeft.

Huur bij ons als

Het endpoint altijd aan staat, per-token facturering uw grootste kostenpost is geworden, de gewichten en prompts op hardware moeten blijven die niemand anders aanraakt, of u in crypto wilt betalen zonder identiteitscontrole.

Huur niet bij ons als

U een kaart voor een middag nodig hebt, het verkeer onvoorspelbaar en laag is, of u nog niet hebt gemeten of het model in 4-bit past op een kaart voor een kwart van de prijs.

Training is een ander dimensioneringsprobleem, gedomineerd door optimizer-statussen: zie GPU voor fine-tuning.

07 Vragen

GPU voor LLM-inferentie, gewoon gevraagd.

Wat is de beste GPU voor LLM-inferentie?

Dat hangt af van de modelgrootte. Voor 7B tot 14B is een RTX 4090 voor $390 per maand de waardekeuze. Voor 24B tot 34B in FP8 een L40S met 48 GB voor $520. Voor 70B in FP8 één H100 SXM voor $1,690, wat neerkomt op $2.35 per GPU-uur. Voor 100B en groter een H200 SXM voor $2,290.

Wat heeft een 70B-endpoint naast de gewichten nodig?

Cache, en die schaalt met gelijktijdigheid in plaats van met het model. De gewichten en een getal voor één stream staan in de GPU VRAM-gids: 75 GB in FP8 bij 8,192 tokens en batch 1. Elk bijkomend gelijktijdig verzoek bij die context voegt 2.7 GB toe, dus acht in behandeling is ongeveer 22 GB extra en tweeëndertig is ongeveer 85 GB. Dat is het verschil tussen een 80 GB-kaart die één stream bedient met 5 GB reserve en een H200 met 141 GB of een MI300X met 192 GB die een endpoint met echte gelijktijdigheid bedient. Het kwantiseren van de cache naar FP8 halveert al die getallen.

Kan ik een GPU huren voor vLLM?

Ja. Elke instantie start op met de vLLM 0.9-template op Ubuntu 24.04, inclusief een OpenAI-compatibele serverunit die uitgeschakeld wordt geleverd totdat u hem inschakelt. U hebt root op bare metal, dus u kunt hem vervangen door uw eigen build. De MI300X gebruikt de ROCm 6.4-template met een PyTorch ROCm-build.

Waarom is de A100 geen goede LLM-inferentiekaart?

Ampere heeft geen FP8-tensorcores, dus een 70B-model draait in BF16 op 145 GB. Dat vereist twee A100 SXM-kaarten, $1,980 volgens de lijst en $1,881 per maand zodra de 5% tweekaartenkorting geldt, tegenover één H100 SXM voor $1,690 die hetzelfde model in FP8 op 3.35 TB/s bedient. De A100 is nog steeds een goede kaart voor fine-tuning en 4-bit serving.

Hoeveel tokens per seconde produceert een GPU?

De bovengrens is geheugenbandbreedte gedeeld door het aantal bytes aan gewichten dat per token wordt gelezen. Een 8B-model in BF16 is 16 GB, dus een RTX 4090 met 1.01 TB/s komt uit op ongeveer 63 tokens per seconde en een H100 SXM met 3.35 TB/s op ongeveer 209. Echte stacks komen onder het plafond uit, en hoeveel lager hangt af van uw kernels, batchvorm en scheduler; daarom publiceren we de grens en niet een fractie daarvan.

Is een maandhuur geschikt voor een always-on LLM-endpoint?

Meestal wel. Een vaste termijn kost hetzelfde of er nu verkeer komt of niet, dus een endpoint dat op onvoorspelbare uren antwoordt betaalt geen stilstandpremie, heeft geen koude start en staat nooit te wachten op capaciteit. Het omslagpunt volgt uit de prijzen: $1,690 voor een H100 SXM-maand tegenover een illustratieve meter van $2.49 tot $3.49 speelt quitte tussen ruwweg 480 en 680 gebruikte uren van een maand van 720 uur, dus daaronder is een aanbieder per uur goedkoper. De volledige berekening staat op onze pagina maandelijks versus uurlijks.

Is er voldoende bandbreedte inbegrepen voor een token-API?

Ja. Elke instantie omvat 20 TB uitgaand verkeer per maand, wat bij ruwweg 100 bytes aan JSON- en SSE-framing per gestreamd token neerkomt op ongeveer 200 miljard tokens. Inkomend verkeer is onbeperkt, dus het ophalen van gewichten kost niets. Boven 20 TB kost het $4 per TB, en een dedicated 100G-poort kost $220 per maand.

Moet ik een identiteitsbewijs geven om een LLM-inferentieserver te huren?

Nee. Een account is een gebruikersnaam en een wachtwoord, zonder verplicht e-mailadres, en u betaalt voor elke termijn met één transactie in Bitcoin, Ethereum, USDT, USDC, Monero, Solana of Litecoin. GPU Rent Hub Compute LLC werkt zo al sinds 15 maart 2021, met 6,300 GPU's verspreid over DFW-1 Dallas, IAD-1 Ashburn en PDX-1 Hillsboro.

Diepgaandere dimensioneringsgevallen in de GPU VRAM-gids, elke kaart in de GPU-catalogus, termijnkortingen op de prijspagina.

Zet het endpoint op hardware die niemand anders aanraakt.

Implementeer vLLM op een dedicated kaart in DFW-1, IAD-1 of PDX-1 in ongeveer negentig seconden. Eén bestelling, één betaling, geen e-mail, geen ID.

Account aanmaken →