GPU Rent HubGPU voor fine-tuning

Huur een GPU voor fine-tuning, gedimensioneerd met rekenwerk dat je kunt controleren.

GPU Rent Hub verhuurt dedicated NVIDIA- en AMD-GPU's voor fine-tuning per week of maand, vanaf $190 per maand voor een 24 GB-kaart die QLoRA op een 7B-model draait tot $12.170 per maand voor een NVLink-gekoppeld 8× H100 SXM-node, betaald in Bitcoin, Ethereum, USDT, USDC, Monero, Solana of Litecoin zonder identiteitsverificatie.

Bijgewerkt 2026-09-01

112 GB7B volledige fine-tune, Adam, vóór activaties

10 GBZelfde model onder QLoRA

900 GB/sNVLink op H100 SXM en H200

72 hGratieperiode bij een onbetaalde verlenging

01 Definitie

Hoeveel GPU-geheugen heeft fine-tuning eigenlijk nodig?

Dit is het onderdeel waar mensen de mist in gaan, en het is het enige dat bepaalt welke kaart je huurt.

Fine-tuning-geheugen in één alinea. Een volledige fine-tune met de Adam-optimizer kost ongeveer 16 bytes per parameter: 2 voor de BF16-gewichten, 2 voor de gradiënten, 4 voor de FP32-masterkopie en elk 4 voor Adams twee momentstaten. Een 7B-model heeft daarom ruwweg 112 GB nodig voordat er ook maar één activatie is opgeslagen, wat niet past op een 24 GB-kaart en ook niet op een 80 GB-kaart. LoRA bevriest de basisgewichten en traint kleine adaptermatrices, dus de rekening zakt naar de bevroren basis van 2 bytes per parameter plus een paar honderd megabyte aan adapter- en optimizerstaat: ongeveer 21 GB voor een 7B. QLoRA kwantiseert die bevroren basis naar 4 bits, 0,5 bytes per parameter, en traint dezelfde adapters: ongeveer 10 GB voor een 7B en ongeveer 51 GB voor een 70B.

Die drie getallen, en elk getal in de tabel hieronder, zijn die van de GPU VRAM-gids, op zijn aannames: gradient checkpointing aan, sequentielengte 2.048, batch 1, rank-16-adapters van ongeveer 0,5% van de parameters, en een runtime-overheadtoeslag al inbegrepen. Verhoog de sequentielengte of de batch en de activaties groeien daar bovenop.

Waar de 16 vandaan komt

Niets in een trainingsloop slaat het model één keer op. Gewichten, een gradiënt van dezelfde vorm, een FP32-masterkopie en Adams gemiddelde en variantie per parameter. Geen enkel framework onderhandelt dat weg.

Wat LoRA verwijdert

De gradiënt en beide optimizerstaten, voor alles behalve de adapters. De bevroren basis moet nog steeds resident zijn, daarom is LoRA op een BF16 7B nog steeds 14 GB vóór al het andere. QLoRA pakt de residentie aan, niet de optimizer.

02 Maatvoering

Welke GPU heb ik nodig om een 7B-, 13B- of 70B-model te fine-tunen?

Model tegen methode tegen een kaart die het bevat, met het VRAM overgenomen uit de VRAM-gids. Per GPU-uur is maandelijks gedeeld door 720.

Model en methode	Benodigd VRAM	Kaart die past	VRAM van kaart	Wekelijks	Maandelijks	Per GPU-uur
7B, QLoRA4-bit basis, rank 16	10 GB	RTX A5000	24 GB	$55	$190/mo	$0.26
13B, QLoRA4-bit basis	14 GB	RTX 3090	24 GB	$65	$230/mo	$0.32
7B, LoRABF16-basis resident gehouden	21 GB	RTX 4090	24 GB	$110	$390/mo	$0.54
34B, QLoRA4-bit basis	28 GB	A40	48 GB	$68	$240/mo	$0.33
13B, LoRABF16-basis	33 GB	L40S	48 GB	$148	$520/mo	$0.72
70B, QLoRA35 GB aan 4-bit-gewichten	51 GB	A100 SXM	80 GB	$280	$990/mo	$1.38
34B, LoRABF16-basis, één kaart	79 GB	MI300X	192 GB	$450	$1,590/mo	$2.21
7B, volledige fine-tuneAdam, 16 bytes per parameter	129 GB	2× A100 SXMNVLink 600 GB/s, de goedkoopste CUDA-route	160 GB	$532	$1,881/mo	$1.31
70B, LoRABF16-basis, één kaart	156 GB	1× MI300Xgeen sharding nodig	192 GB	$450	$1,590/mo	$2.21
70B, volledige fine-tuneZeRO-3 over het node	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/mo	$1.99

Benodigd VRAM is het getal dat de GPU VRAM-gids afleidt voor dat model en die methode, bij sequentielengte 2.048 en batch 1, met gradient checkpointing aan en de runtime-overheadtoeslag er al in verwerkt. De prijs voor twee kaarten is inclusief de 5% multi-GPU-korting; het getal voor acht kaarten is de nodeprijs. Per GPU-uur is het maandbedrag gedeeld door 720 uur en door het aantal kaarten. De twee MI300X-rijen zijn alleen DFW-1 Dallas en draaien ROCm in plaats van CUDA. Dit zijn de kaarten waarop wij de klus zouden draaien; de zoektabel van de VRAM-gids noemt de goedkoopste kaart die het net bevat, dus een rij hier is soms de duurdere kaart. Twee rijen wijken af en hebben allebei een reden. De 7B LoRA-rij kiest een RTX 4090 boven de RTX A5000 van de gids bij dezelfde 24 GB, omdat 1.008 GB/s aan bandbreedte tegenover 768 elke stap verkort. De rij 7B volledige fine-tune kiest twee A100 SXM als de goedkoopste CUDA- en NVLink-route, waar één 192 GB MI300X dezelfde 129 GB bevat voor $1.590 per maand op ROCm. Specificaties op de GPU-catalogus.

Lees rij acht naast rij zes. Een volledige fine-tune van een 7B kost ongeveer het dubbele van QLoRA op een 70B. Voor de meeste mensen is dat niet de klus die ze geklaard moeten hebben.

03 De keuze

Welke GPU moet je huren voor training, als je er één zou moeten kiezen?

Gesorteerd op wat wij zouden inzetten voor een run van meerdere weken, niet op prijs. Voorraad is verdeeld over DFW-1 Dallas, IAD-1 Ashburn en PDX-1 Hillsboro.

GPU	VRAM	Interconnect	Wekelijks	Maandelijks	Per GPU-uur	Nu vrij
H100 SXM KeuzeHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/mo	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, geen FP8	80 GB	NVLink 600 GB/s	$280	$990/mo	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/mo	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/mo	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 peer-to-peer	$148	$520/mo	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink-brug 112 GB/s, paren	$82	$290/mo	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink-brug 112 GB/s, paren	$65	$230/mo	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink-brug 112 GB/s, paren	$55	$190/mo	$0.26	51

Nu vrij is het aantal niet-gereserveerde kaarten over de drie locaties bij de laatste catalogusupdate. Elke prijs is inclusief stroom, koeling, een 100G-uplink met een 10G-garantie, IPv4 en IPv6, en 20 TB uitgaand verkeer per maand. Multi-GPU- en prepaidkortingen staan op de prijzenpagina.

De H100 SXM is de keuze: de goedkoopste kaart die wij verhuren die 80 GB HBM3, FP8-tensorcores en 900 GB/s NVLink op één artikelnummer zet. De A100 SXM 80 GB is het prijsbewuste antwoord voor $990, geen FP8, dezelfde NVLink-topologie, 59% van de prijs.

04 Interconnect

Waarom is NVLink belangrijk boven één kaart?

Omdat een sharded run bij elke stap gradiënten tussen kaarten verplaatst, en de link de ondergrens is voor hoe snel dat gebeurt.

Op één GPU is de interconnect irrelevant. Zodra je shardet, met ZeRO-2, ZeRO-3 of tensorparallelisme, wisselen de kaarten bij elke stap gradiënten of parametershards uit, en dat verkeer is een vast veelvoud van de modelgrootte. PCIe Gen4 x16 heeft een lijnsnelheid van ongeveer 32 GB/s in één richting, en Gen5 ongeveer 63. NVLink op een H100 SXM is 900 GB/s. Dat is het verschil tussen een communicatiestap die achter de rekenkracht schuilgaat en een stap die de stap wordt.

De regel: LoRA of QLoRA op één kaart draait op alles met voldoende VRAM, data-parallel trainen verdraagt PCIe, en alles dat een model shardet wil NVLink. Boven vier kaarten wil het NVSwitch, die de 8-way HGX-nodes op de pagina multi-GPU-clusterverhuur aan boord hebben.

De RTX 4090 en RTX 5090 hebben geen NVLink. NVIDIA heeft het na Ampere uit de consumentenlijn geschrapt. Het zijn sterke single-card trainings-GPU's en een echte beperking boven één kaart, en we zeggen dat liever hier dan nadat je er acht hebt gekocht.

De A6000, A40, RTX 3090 en RTX A5000 accepteren een NVLink-brug, maar alleen in paren en alleen op 112 GB/s. Nuttig om twee 48 GB-kaarten samen te voegen tot 96 GB. Geen fabric.

Kaart	Link tussen kaarten	Bandbreedte	Sharded training
B2002-, 4- of 8-weg	NVLink 5 met NVSwitch	1.8 TB/s	Ja, tot 8 kaarten
H100 SXM, H200 SXM	NVLink met NVSwitch	900 GB/s	Ja, tot 8 kaarten
A100 SXM	NVLink met NVSwitch	600 GB/s	Ja, tot 8 kaarten
MI300X	Infinity Fabric	896 GB/s	Ja, alleen 8-weg
H100 PCIe	Optionele NVLink-brug	600 GB/s	Paren
A6000, A40, 3090, A5000	NVLink-brug	112 GB/s	Paren
L40S, RTX 6000 Ada, L4	PCIe Gen4 peer-to-peer	~32 GB/s	Alleen data-parallel
RTX 4090, RTX 5090	PCIe peer-to-peer, geen NVLink	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Enkele kaart

Geaggregeerde per-GPU-linkbandbreedte zoals gepubliceerd door de leverancier. De PCIe-getallen zijn lijnsnelheden voor een x16-link in één richting, Gen4 op de 4090 en Gen5 op de 5090, geen gemeten doorvoer, die lager uitvalt.

05 Looptijd

Waarom is een maandtermijn de juiste vorm voor een trainingsrun?

Een fine-tune is de workload waar het factureringsmodel en de klus met elkaar overeenkomen.

Checkpoint-cadans is van jou

Op preemptible capaciteit checkpoint je defensief, omdat het interval een afdekking tegen preemptie is. Op een termijn is het een herstelbeslissing: schrijf elke duizend stappen als de verliescurve dat verdient, of elke tienduizend.

2 TB lokale NVMe op een H100 SXM

Een fine-tune is zelden één run

Een learning-rate sweep, een data-ablatie en een herkansing nadat de evaluatie tegenvalt zijn drie runs extra, die over twee weken binnenkomen in plaats van in één boeking. Elk kost niets extra op een vaste termijn.

Zelfde kaart, zelfde omgeving, geen herprovisionering

Hij kan niet worden gepreempteerd

Een preemptie op uur 60 kost het gat sinds de laatste checkpoint, de wachttijd in de wachtrij en het herladen van de dataset. Een termijn kan niet worden gepreempteerd, omdat er niemand anders in de wachtrij staat voor de kaart.

Single-tenant bare metal, root-toegang

De dataset blijft resident

Tussen runs blijft de werkdataset op lokale NVMe staan, 2 TB op een H100 SXM en 1 TB op een A100, dus sweep twee begint bij de eerste stap in plaats van bij een download.

Geen koude start na de eerste

De omslagrekensom ten opzichte van een meter staat in maandelijks versus uurlijks GPU-huur, en die is de moeite waard om te lezen voordat je een termijn neemt. Wat specifiek is voor training, is dat de sweeps en het herladen ook als GPU-uren tellen, dus het utilisatiegetal waarmee je de omslag moet testen is de twee weken, niet de enkele run.

06 Checkpoints

Waar gaan checkpoints naartoe, en wat overleeft het einde van een termijn?

Een 70B-checkpoint met optimizerstaat is meer dan een terabyte. Bepaal waar hij landt vóór stap 4.000.

Lokale NVMe: Inbegrepen: 2 TB op H100 SXM en H200, 1 TB op A100 SXM, 500 GB op L40S en A6000. Per instance versleuteld met LUKS2, zeven dagen na het einde van de termijn gewist.
Extra lokale NVMe: $9 per TB per maand, tot 30 TB op een node. Zelfde host, zelfde versleuteling.
Netwerkvolume: $14 per TB per maand, drievoudig gerepliceerd in de regio, koppelbaar aan meerdere instances, persistent na vrijgave.
Snapshots: $6 per TB per maand. Herstelbaar naar elke instance in de regio, en dat is hoe een run van een A100 naar een H100 verhuist zonder de dataset opnieuw te uploaden.
Het eruit halen: 20 TB uitgaand verkeer inbegrepen per instance per maand, daarna $4 per TB. Een adapterset raakt die limiet nooit.

Als de run langer duurt dan de termijn

Een verlengingsorder wordt 24 uur van tevoren aangemaakt tegen dezelfde prijs. Laat je die onbetaald, dan stopt de instance aan het einde van de termijn, terwijl het slot 72 uur wordt vastgehouden terwijl jij betaalt in BTC, ETH, USDT, USDC, XMR, SOL of LTC. De schijf blijft onaangeroerd. Daarna wordt het slot vrijgegeven en de NVMe-sleutel vernietigd.

Schrijf elk checkpoint twee keer weg: lokale NVMe voor snelheid, een netwerkvolume voor overleving. Het volume is de enige kopie die de termijn overleeft.

BTCETHUSDTUSDCXMRSOLLTC

Hardware staat in DFW-1, IAD-1 en PDX-1. Een account is een gebruikersnaam en een wachtwoord: zie GPU-hosting zonder KYC en hoe te betalen met crypto.

07 Eerlijkheid

Wanneer moet je geen fine-tuning-GPU bij ons huren?

Drie gevallen, die vaak genoeg voorkomen dat we ze liever opschrijven.

Als de klus één experiment is dat zes uur draait, gebruik dan een uuraanbieder. Onze kortste termijn is zeven dagen. Een maand H100 SXM voor één middag QLoRA kost $1.690, en je gebruikt ongeveer $18 van de $1.690 die je hebt betaald.

Het tweede is een te dure kaart kopen. Genoeg mensen huren een H100 om een 7B met QLoRA te fine-tunen, en dat heeft 10 GB nodig. Die klus draait op een RTX A5000 van $190, langzamer, maar niet negen keer langzamer. Kies de maat uit de tabel in sectie 02, niet op basis van het model dat je zou wíllen trainen.

Het derde is een run die 32 of 64 kaarten nodig heeft voor twee dagen en daarna nooit meer. Wij verkopen nodes tot acht kaarten; daarboven past een gemeterde clusteraanbieder beter.

Huur per uur als

Je totaal onder ruwweg 480 tot 680 GPU-uur per maand ligt, het punt waarop $1.690 voor een maand H100 SXM een illustratieve meterprijs van $2,49 tot $3,49 ontmoet, of je een uur elk op een A100 SXM en een H100 SXM wilt om je stap te timen.

Huur een termijn als

De run in weken wordt gemeten, het opnieuw uploaden van de dataset pijn doet, je al eens uit spotcapaciteit bent gepreempteerd, of je in crypto wilt betalen zonder identiteitscontrole.

08 Vragen

Een GPU huren voor fine-tuning, gewoon gevraagd.

Hoeveel VRAM heb ik nodig om een 7B-model te fine-tunen?

Ongeveer 10 GB onder QLoRA, 21 GB onder LoRA op een BF16-basis, en 129 GB voor een volledige fine-tune met Adam zodra activaties zijn meegerekend, of 112 GB voor gewichten, gradiënten en optimizerstaat alleen. De eerste twee passen op een 24 GB-kaart, dus een RTX A5000 voor $190 per maand. Voor de derde zijn twee 80 GB-kaarten met NVLink voor $1.881 per maand de goedkoopste CUDA-route, en één 192 GB MI300X voor $1.590 bevat dezelfde 129 GB voor minder als een ROCm-stack je past. Getallen uit de GPU VRAM-gids.

Kan ik een 70B-model op één GPU fine-tunen?

Onder QLoRA, ja. Een 4-bit 70B-basis is ongeveer 35 GB aan gewichten en 51 GB met adapters, optimizerstaat en overhead, wat past op een A100 SXM 80 GB voor $990 per maand. LoRA op een BF16 70B-basis heeft 156 GB nodig, en dat is nog steeds één kaart als het een 192 GB MI300X voor $1.590 is. Een volledige 70B fine-tune heeft ongeveer 1.288 GB nodig en vergt een node.

Wat is het verschil tussen LoRA en QLoRA in GPU-geheugen?

LoRA bevriest de basisgewichten in BF16, 2 bytes per parameter, en traint kleine adaptermatrices, dus de optimizerstaat is honderden megabytes in plaats van tientallen gigabytes. QLoRA kwantiseert die bevroren basis naar 4 bits, 0,5 bytes per parameter. Op een 7B-model is dat 21 GB tegen 10 GB.

Heb ik NVLink nodig om op meerdere GPU's te fine-tunen?

Niet voor één kaart, en niet voor data-parallelle runs op kleine modellen. Het is van belang wanneer gradiënten of parametershards bij elke stap tussen kaarten oversteken. H100 SXM en H200 hebben 900 GB/s, A100 SXM 600 GB/s, B200 1,8 TB/s. De RTX 4090 en RTX 5090 hebben geen NVLink, dus wij raden ze niet aan voor sharded training.

Hoeveel kost het om een GPU voor training per maand te huren?

Een A100 SXM 80 GB is $990 per maand, dat is $1,38 per GPU-uur over een termijn van 720 uur. Een H100 SXM is $1.690, of $2,35. Een acht-kaarts H100 SXM-node met NVSwitch is $12.170, of $2,11. Een 24 GB-kaart voor QLoRA begint bij $190, en elke kaart is wekelijks beschikbaar.

Wat gebeurt er met mijn checkpoints als de termijn eindigt?

Lokale NVMe wordt zeven dagen na het einde van de termijn gewist en de encryptiesleutel vernietigd, dus alles wat je wilt bewaren hoort op een netwerkvolume voor $14 per TB per maand, drievoudig gerepliceerd in de regio en persistent nadat de instance is vrijgegeven. Je kunt het ook naar buiten halen via de 20 TB uitgaand verkeer die elke maand is inbegrepen.

Kan ik een trainings-GPU huren zonder identiteitsverificatie?

Ja. Een account is een gebruikersnaam en een wachtwoord. Geen e-mailadres, geen telefoonnummer, geen identiteitsbewijs, geen kaart in het bestand. Je betaalt de termijn met één transactie in BTC, ETH, USDT, USDC, XMR, SOL of LTC. Er draait geen agent in jouw instance en niemand hier leest je dataset.

Is maandelijkse GPU-huur beter dan uurlijkse voor een trainingsrun?

Voor een run die in weken wordt gemeten, ja. Een fine-tune houdt de kaart bijna de hele tijd bezig, en dat is waar een vaste termijn wint: $2,35 per GPU-uur op een H100 SXM tegenover $2,49 tot $3,49 per uur, een illustratieve bandbreedte bij Amerikaanse on-demandaanbieders en geen offerte van een genoemde leverancier, zonder preemptie en zonder wachtrij. Gebruik voor één middag een uuraanbieder.

Maatvoering op de GPU VRAM-gids, topologieën op multi-GPU-clusterverhuur, het resultaat serveren op GPU voor LLM-inferentie, images in de documentatie.

Kies de maat van de kaart, neem de termijn, start de run.

QLoRA op 24 GB vanaf $190 per maand, een NVLink H100 SXM vanaf $1.690, een 8-way node vanaf $12.170. Eén order, één betaling, geen ID, geen kaart.

Account aanmaken →