GPU Rent HubGPU für Fine-Tuning

Eine GPU fürs Fine-Tuning mieten, dimensioniert nach Arithmetik, die Sie prüfen können.

GPU Rent Hub vermietet dedizierte NVIDIA- und AMD-GPUs für Fine-Tuning wöchentlich oder monatlich, ab $190 im Monat für eine 24-GB-Karte, die QLoRA auf einem 7B-Modell ausführt, bis hin zu $12,170 im Monat für einen NVLink-verbundenen 8× H100 SXM Node, bezahlt in Bitcoin, Ethereum, USDT, USDC, Monero, Solana oder Litecoin – ohne Identitätsprüfung.

Aktualisiert 2026-09-01

112 GB7B vollständiges Fine-Tuning, Adam, vor Aktivierungen

10 GBDasselbe Modell unter QLoRA

900 GB/sNVLink bei H100 SXM und H200

72 hSchonfrist bei unbezahlter Verlängerung

01 Definition

Wie viel GPU-Speicher benötigt Fine-Tuning tatsächlich?

Das ist der Teil, bei dem sich viele irren, und er ist der einzige, der entscheidet, welche Karte Sie mieten.

Fine-Tuning-Speicher in einem Absatz. Ein vollständiger Fine-Tune mit dem Adam-Optimierer kostet ungefähr 16 Byte pro Parameter: 2 für die BF16-Gewichte, 2 für die Gradienten, 4 für die FP32-Masterkopie und jeweils 4 für Adams zwei Momentzustände. Ein 7B-Modell benötigt daher grob 112 GB, bevor auch nur eine einzige Aktivierung gespeichert wird, was weder auf eine 24-GB-Karte noch auf eine 80-GB-Karte passt. LoRA friert die Basisgewichte ein und trainiert kleine Adapter-Matrizen, sodass sich die Rechnung auf die eingefrorene Basis mit 2 Byte pro Parameter plus ein paar hundert Megabyte Adapter- und Optimiererzustand reduziert: ungefähr 21 GB für ein 7B-Modell. QLoRA quantisiert diese eingefrorene Basis auf 4 Bit, 0.5 Byte pro Parameter, und trainiert dieselben Adapter: ungefähr 10 GB für ein 7B-Modell und ungefähr 51 GB für ein 70B-Modell.

Diese drei Werte – und jeder einzelne in der Tabelle unten – stammen aus dem GPU-VRAM-Leitfaden, mit dessen Annahmen: Gradient-Checkpointing aktiviert, Sequenzlänge 2,048, Batch 1, Rank-16-Adapter bei etwa 0.5% der Parameter und eine bereits enthaltene Laufzeit-Overhead-Reserve. Erhöhen Sie die Sequenzlänge oder den Batch, und die Aktivierungen wachsen zusätzlich.

Woher die 16 kommt

Nichts in einer Trainingsschleife speichert das Modell nur einmal. Gewichte, ein Gradient derselben Form, eine FP32-Masterkopie sowie Adams Mittelwert und Varianz pro Parameter. Kein Framework verhandelt das weg.

Was LoRA entfernt

Den Gradienten und beide Optimiererzustände, für alles außer den Adaptern. Die eingefrorene Basis muss trotzdem im Speicher bleiben, weshalb LoRA auf einem BF16-7B-Modell immer noch 14 GB benötigt, bevor irgendetwas anderes passiert. QLoRA greift die Speicherresidenz an, nicht den Optimierer.

02 Sizing

Welche GPU benötige ich für das Fine-Tuning eines 7B-, 13B- oder 70B-Modells?

Modell gegen Methode gegen eine Karte, die das trägt, mit dem VRAM aus dem VRAM-Leitfaden. Pro GPU-Stunde ergibt sich aus dem Monatspreis geteilt durch 720.

Modell und Methode	Benötigter VRAM	Passende Karte	Karten-VRAM	Wöchentlich	Monatlich	Pro GPU-Stunde
7B, QLoRA4-Bit-Basis, Rang 16	10 GB	RTX A5000	24 GB	$55	$190/mo	$0.26
13B, QLoRA4-Bit-Basis	14 GB	RTX 3090	24 GB	$65	$230/mo	$0.32
7B, LoRABF16-Basis im Speicher gehalten	21 GB	RTX 4090	24 GB	$110	$390/mo	$0.54
34B, QLoRA4-Bit-Basis	28 GB	A40	48 GB	$68	$240/mo	$0.33
13B, LoRABF16-Basis	33 GB	L40S	48 GB	$148	$520/mo	$0.72
70B, QLoRA35 GB 4-Bit-Gewichte	51 GB	A100 SXM	80 GB	$280	$990/mo	$1.38
34B, LoRABF16-Basis, eine Karte	79 GB	MI300X	192 GB	$450	$1,590/mo	$2.21
7B, volles Fine-TuningAdam, 16 Byte pro Parameter	129 GB	2× A100 SXMNVLink 600 GB/s, der günstigste CUDA-Pfad	160 GB	$532	$1,881/mo	$1.31
70B, LoRABF16-Basis, eine Karte	156 GB	1× MI300Xkein Sharding nötig	192 GB	$450	$1,590/mo	$2.21
70B, volles Fine-TuningZeRO-3 über den Node	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/mo	$1.99

Benötigter VRAM ist der Wert, den der GPU-VRAM-Leitfaden für dieses Modell und diese Methode ableitet, bei Sequenzlänge 2,048 und Batch 1, mit aktiviertem Gradient-Checkpointing und bereits enthaltener Laufzeit-Overhead-Reserve. Der Preis für zwei Karten enthält den 5%-Rabatt für mehrere GPUs; der Wert für acht Karten ist der Node-Preis. Pro GPU-Stunde wird die Monatssumme durch 720 Stunden und durch die Kartenzahl geteilt. Die beiden MI300X-Zeilen gelten nur für DFW-1 Dallas und laufen mit ROCm statt CUDA. Dies sind die Karten, auf denen wir den Job ausführen würden; die Tabelle des VRAM-Leitfadens nennt die günstigste Karte, die den Speicher lediglich bereithält, daher ist eine Zeile hier manchmal die teurere Karte. Zwei Zeilen weichen ab, und beide haben einen Grund. Die 7B-LoRA-Zeile wählt eine RTX 4090 statt der RTX A5000 aus dem Leitfaden bei denselben 24 GB, weil 1,008 GB/s Bandbreite gegenüber 768 jeden Schritt verkürzt. Die Zeile für das volle 7B-Fine-Tuning wählt zwei A100 SXM als günstigsten CUDA- und NVLink-Pfad, während eine einzelne 192 GB MI300X dieselben 129 GB für $1,590 im Monat unter ROCm hält. Technische Daten im GPU-Katalog.

Lesen Sie Zeile acht im Vergleich zu Zeile sechs. Ein vollständiges Fine-Tuning eines 7B-Modells kostet ungefähr doppelt so viel wie QLoRA auf einem 70B-Modell. Für die meisten Menschen ist das nicht der Job, den sie erledigen müssen.

03 Die Empfehlung

Welche GPU sollten Sie für das Training mieten, wenn Sie nur eine wählen dürften?

Sortiert danach, was wir für einen mehrwöchigen Lauf einsetzen würden, nicht nach Preis. Der Bestand verteilt sich auf DFW-1 Dallas, IAD-1 Ashburn und PDX-1 Hillsboro.

GPU	VRAM	Interconnect	Wöchentlich	Monatlich	Pro GPU-Stunde	Jetzt frei
H100 SXM EmpfehlungHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/mo	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, kein FP8	80 GB	NVLink 600 GB/s	$280	$990/mo	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/mo	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/mo	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 Peer-to-Peer	$148	$520/mo	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink-Bridge 112 GB/s, Paare	$82	$290/mo	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink-Bridge 112 GB/s, Paare	$65	$230/mo	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink-Bridge 112 GB/s, Paare	$55	$190/mo	$0.26	51

Jetzt frei sind unreservierte Karten über die drei Standorte zum letzten Katalog-Update. Jeder Preis enthält Strom, Kühlung, einen 100G-Uplink mit 10G-Garantie, IPv4 und IPv6 sowie 20 TB ausgehenden Traffic pro Monat. Rabatte für mehrere Karten und Vorauszahlung finden Sie auf der Preisseite.

Die H100 SXM ist die Empfehlung: die günstigste Karte, die wir vermieten und die 80 GB HBM3, FP8-Tensor-Kerne und 900 GB/s NVLink unter einer Teilenummer vereint. Die A100 SXM 80 GB ist die Preis-Leistungs-Antwort für $990, ohne FP8, gleiche NVLink-Topologie, 59% des Preises.

04 Interconnect

Warum zählt NVLink, sobald es um mehr als eine Karte geht?

Weil ein geshardeter Lauf bei jedem Schritt Gradienten zwischen Karten bewegt und die Verbindung die Untergrenze dafür ist, wie schnell das passiert.

Auf einer einzelnen GPU ist der Interconnect irrelevant. Sobald Sie mit ZeRO-2, ZeRO-3 oder Tensor-Parallelismus sharden, tauschen die Karten bei jedem Schritt Gradienten oder Parameter-Shards aus, und dieser Verkehr ist ein festes Vielfaches der Modellgröße. PCIe Gen4 x16 hat eine Line Rate von etwa 32 GB/s in eine Richtung, Gen5 etwa 63. NVLink auf einer H100 SXM beträgt 900 GB/s. Das ist der Unterschied zwischen einem Kommunikationsschritt, der sich hinter der Berechnung versteckt, und einem, der selbst zum Schritt wird.

Die Regel: Einzelkarten-LoRA oder -QLoRA läuft auf allem mit genug VRAM, datenparalleles Training toleriert PCIe, und alles, was ein Modell sharded, will NVLink. Ab vier Karten will es NVSwitch, den die 8-Wege-HGX-Nodes auf der Seite Multi-GPU-Clustervermietung mitbringen.

Die RTX 4090 und RTX 5090 haben kein NVLink. NVIDIA hat es nach Ampere aus der Consumer-Reihe gestrichen. Sie sind starke Einzelkarten-Trainings-GPUs und eine echte Einschränkung, sobald es um mehr als eine Karte geht – und wir sagen das lieber hier als nachdem Sie acht gekauft haben.

Die A6000, A40, RTX 3090 und RTX A5000 nehmen eine NVLink-Bridge, aber nur paarweise und nur mit 112 GB/s. Nützlich, um zwei 48-GB-Karten zu 96 GB zu bündeln. Kein Fabric.

Karte	Verbindung zwischen Karten	Bandbreite	Sharded Training
B2002, 4 oder 8-fach	NVLink 5 mit NVSwitch	1.8 TB/s	Ja, bis zu 8 Karten
H100 SXM, H200 SXM	NVLink mit NVSwitch	900 GB/s	Ja, bis zu 8 Karten
A100 SXM	NVLink mit NVSwitch	600 GB/s	Ja, bis zu 8 Karten
MI300X	Infinity Fabric	896 GB/s	Ja, nur 8-fach
H100 PCIe	Optionale NVLink-Bridge	600 GB/s	Paare
A6000, A40, 3090, A5000	NVLink-Bridge	112 GB/s	Paare
L40S, RTX 6000 Ada, L4	PCIe Gen4 Peer-to-Peer	~32 GB/s	Nur datenparallel
RTX 4090, RTX 5090	PCIe Peer-to-Peer, kein NVLink	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Einzelkarte

Aggregierte Link-Bandbreite pro GPU gemäß Herstellerangabe. Die PCIe-Werte sind Line Rates für einen x16-Link in eine Richtung, Gen4 bei der 4090 und Gen5 bei der 5090, kein gemessener Durchsatz; der liegt niedriger.

05 Laufzeit

Warum ist eine monatliche Laufzeit die richtige Form für einen Trainingslauf?

Ein Fine-Tuning ist die Workload, bei der Abrechnungsmodell und Job zusammenpassen.

Die Checkpoint-Frequenz gehört Ihnen

Auf preemptiver Kapazität sichern Sie defensiv, weil das Intervall eine Absicherung gegen Verdrängung ist. Bei einer Laufzeit ist es eine Recovery-Entscheidung: Schreiben Sie alle tausend Schritte, wenn die Loss-Kurve es verdient, oder alle zehntausend.

2 TB lokale NVMe auf einer H100 SXM

Ein Fine-Tuning ist selten ein einziger Lauf

Ein Learning-Rate-Sweep, eine Datenablation und ein erneuter Lauf, nachdem die Evaluation enttäuscht hat, sind drei weitere Läufe, die sich über zwei Wochen verteilen statt in einer einzigen Buchung. Jeder kostet bei einer Pauschallaufzeit nichts extra.

Gleiche Karte, gleiche Umgebung, kein erneutes Provisionieren

Sie kann nicht verdrängt werden

Eine Verdrängung bei Stunde 60 kostet die Lücke seit dem letzten Checkpoint, die Wartezeit in der Warteschlange und das erneute Laden des Datensatzes. Eine Laufzeit kann nicht präemptiert werden, weil niemand anderes für die Karte in der Warteschlange steht.

Single-Tenant-Bare-Metal, Root-Zugriff

Der Datensatz bleibt im Speicher

Zwischen Läufen liegt das Working Set auf lokaler NVMe, 2 TB auf einer H100 SXM und 1 TB auf einer A100, sodass der zweite Sweep beim ersten Schritt beginnt statt bei einem Download.

Kein Kaltstart nach dem ersten Lauf

Die Vergleichsrechnung gegenüber einem Stundentarif gehört in den Beitrag Monatliche versus stündliche GPU-Miete, und es lohnt sich, ihn vor Abschluss einer Laufzeit zu lesen. Das Trainingsspezifische daran ist, dass auch die Sweeps und die erneuten Ladevorgänge als GPU-Stunden zählen; die Auslastungszahl, mit der Sie den Vergleich testen sollten, sind daher die zwei Wochen, nicht der einzelne Lauf.

06 Checkpoints

Wohin gehen Checkpoints, und was überlebt das Ende einer Laufzeit?

Ein 70B-Checkpoint mit Optimiererzustand ist über ein Terabyte groß. Entscheiden Sie vor Schritt 4,000, wo er landet.

Lokale NVMe: Inklusive: 2 TB auf H100 SXM und H200, 1 TB auf A100 SXM, 500 GB auf L40S und A6000. LUKS2-verschlüsselt pro Instanz, sieben Tage nach Laufzeitende gelöscht.
Zusätzliche lokale NVMe: $9 pro TB und Monat, bis zu 30 TB auf einem Node. Derselbe Host, dieselbe Verschlüsselung.
Netzwerk-Volume: $14 pro TB und Monat, dreifach repliziert in der Region, an mehrere Instanzen anschließbar, nach Freigabe persistent.
Snapshots: $6 pro TB und Monat. In der Region auf jede Instanz wiederherstellbar – so zieht ein Lauf von einer A100 auf eine H100 um, ohne den Datensatz erneut hochzuladen.
Herunterladen: 20 TB ausgehender Traffic pro Instanz und Monat inklusive, danach $4 pro TB. Ein Adapter-Satz erreicht dieses Limit nie.

Wenn der Lauf die Laufzeit überdauert

Eine Verlängerungsbestellung wird 24 Stunden vorher zum selben Preis erstellt. Lassen Sie sie unbezahlt, stoppt die Instanz zum Laufzeitende, während der Slot 72 Stunden gehalten wird, damit Sie in BTC, ETH, USDT, USDC, XMR, SOL oder LTC zahlen können. Die Festplatte bleibt unangetastet. Danach wird der Slot freigegeben und der NVMe-Schlüssel vernichtet.

Schreiben Sie jeden Checkpoint doppelt: lokale NVMe für Tempo, ein Netzwerk-Volume fürs Überleben. Das Volume ist die einzige Kopie, die die Laufzeit überdauert.

BTCETHUSDTUSDCXMRSOLLTC

Hardware sitzt in DFW-1, IAD-1 und PDX-1. Ein Konto besteht aus Benutzername und Passwort: siehe GPU-Hosting ohne KYC und So zahlen Sie mit Krypto.

07 Ehrlichkeit

Wann sollten Sie bei uns keine Fine-Tuning-GPU mieten?

Drei Fälle, häufig genug, dass wir sie lieber aufschreiben.

Wenn der Job ein einziges Experiment ist, das sechs Stunden läuft, nutzen Sie einen Anbieter mit Stundenabrechnung. Unsere kürzeste Laufzeit beträgt sieben Tage. Ein Monat H100 SXM für einen Nachmittag QLoRA kostet $1,690, und Sie verbrauchen etwa $18 von den bezahlten $1,690.

Der zweite ist der überdimensionierte Kartenkauf. Viele mieten eine H100, um ein 7B-Modell mit QLoRA feinabzustimmen, wofür 10 GB nötig sind. Dieser Job läuft auf einer RTX A5000 für $190, langsamer, aber nicht neunmal langsamer. Dimensionieren Sie anhand der Tabelle in Abschnitt 02, nicht anhand des Modells, von dem Sie wünschten, Sie würden es trainieren.

Der dritte ist ein Lauf, der für zwei Tage 32 oder 64 Karten braucht und danach nie wieder. Wir verkaufen Nodes mit bis zu acht Karten; darüber hinaus passt ein Anbieter mit metered Clustern besser.

Stundenweise mieten, wenn

Ihr Verbrauch unter rund 480 bis 680 GPU-Stunden pro Monat liegt – dort trifft $1,690 für einen H100-SXM-Monat auf einen illustrativen Stundensatz von $2.49 bis $3.49 – oder Sie jeweils eine Stunde auf einer A100 SXM und einer H100 SXM testen möchten, um Ihre Schrittzeit zu messen.

Eine Laufzeit mieten, wenn

Der Lauf in Wochen gemessen wird, das erneute Hochladen des Datensatzes wehtut, Sie bereits einmal aus Spot-Kapazität verdrängt wurden oder in Krypto ohne Identitätsprüfung zahlen möchten.

08 Fragen

Eine GPU für Fine-Tuning mieten – schlicht gefragt.

Wie viel VRAM brauche ich, um ein 7B-Modell zu fine-tunen?

Unter QLoRA etwa 10 GB, unter LoRA auf einer BF16-Basis 21 GB und für ein vollständiges Fine-Tuning mit Adam, sobald Aktivierungen mitgezählt werden, 129 GB; für Gewichte, Gradienten und Optimiererzustand allein 112 GB. Die ersten beiden passen auf eine 24-GB-Karte, also eine RTX A5000 für $190 im Monat. Für den dritten Fall sind zwei 80-GB-Karten mit NVLink für $1,881 im Monat der günstigste CUDA-Pfad, und eine einzelne 192 GB MI300X für $1,590 hält dieselben 129 GB für weniger, wenn ein ROCm-Stack für Sie passt. Zahlen aus dem GPU-VRAM-Leitfaden.

Kann ich ein 70B-Modell auf einer einzelnen GPU fine-tunen?

Unter QLoRA, ja. Eine 4-Bit-70B-Basis hat etwa 35 GB Gewichte und 51 GB mit Adaptern, Optimiererzustand und Overhead, was auf eine A100 SXM 80 GB für $990 im Monat passt. LoRA auf einer BF16-70B-Basis benötigt 156 GB, was immer noch eine einzelne Karte ist, wenn es eine 192 GB MI300X für $1,590 ist. Ein vollständiges 70B-Fine-Tuning benötigt etwa 1,288 GB und erfordert einen Node.

Was ist der Unterschied zwischen LoRA und QLoRA beim GPU-Speicher?

LoRA friert die Basisgewichte in BF16 ein, 2 Byte pro Parameter, und trainiert kleine Adapter-Matrizen, sodass der Optimiererzustand Hunderte Megabyte statt Dutzende Gigabyte groß ist. QLoRA quantisiert diese eingefrorene Basis auf 4 Bit, 0.5 Byte pro Parameter. Bei einem 7B-Modell sind das 21 GB gegenüber 10 GB.

Brauche ich NVLink, um auf mehreren GPUs zu fine-tunen?

Nicht für eine Karte und nicht für datenparallele Läufe auf kleinen Modellen. Es zählt, wenn Gradienten oder Parameter-Shards bei jedem Schritt zwischen Karten wandern. H100 SXM und H200 bieten 900 GB/s, A100 SXM 600 GB/s, B200 1.8 TB/s. Die RTX 4090 und RTX 5090 haben kein NVLink, daher empfehlen wir sie nicht für geshardetes Training.

Wie viel kostet es, eine GPU für Training pro Monat zu mieten?

Eine A100 SXM 80 GB kostet $990 im Monat, das sind $1.38 pro GPU-Stunde über eine 720-Stunden-Laufzeit. Eine H100 SXM kostet $1,690 oder $2.35. Ein Acht-Karten-H100-SXM-Node mit NVSwitch kostet $12,170 oder $2.11. Eine 24-GB-Karte für QLoRA beginnt bei $190, und jede Karte ist wöchentlich verfügbar.

Was passiert mit meinen Checkpoints, wenn die Laufzeit endet?

Lokale NVMe wird sieben Tage nach Laufzeitende gelöscht und ihr Verschlüsselungsschlüssel vernichtet; alles, was Sie behalten möchten, gehört daher auf ein Netzwerk-Volume für $14 pro TB und Monat, dreifach repliziert in der Region und nach Freigabe der Instanz persistent. Sie können es auch über die 20 TB ausgehenden Traffic pro Monat abrufen.

Kann ich eine Trainings-GPU ohne Identitätsprüfung mieten?

Ja. Ein Konto besteht aus Benutzername und Passwort. Keine E-Mail-Adresse, keine Telefonnummer, kein Ausweisdokument, keine hinterlegte Karte. Sie zahlen die Laufzeit mit einer Überweisung in BTC, ETH, USDT, USDC, XMR, SOL oder LTC. Kein Agent läuft in Ihrer Instanz und niemand hier liest Ihren Datensatz.

Ist monatliche GPU-Miete für einen Trainingslauf besser als stündliche?

Für einen Lauf, der in Wochen gemessen wird, ja. Ein Fine-Tuning hält die Karte fast die ganze Zeit beschäftigt, und genau dort gewinnt eine Pauschallaufzeit: $2.35 pro GPU-Stunde auf einer H100 SXM gegenüber $2.49 bis $3.49 pro Stunde, ein illustrativer Bereich über US-On-Demand-Anbieter statt eines Angebots eines namentlich genannten Anbieters, ohne Verdrängung und ohne Warteschlange. Für einen einzelnen Nachmittag nutzen Sie einen Anbieter mit Stundenabrechnung.

Dimensionierung im GPU-VRAM-Leitfaden, Topologien bei Multi-GPU-Clustervermietung, das Serving des Ergebnisses unter GPU für LLM-Inferenz, Images in der Dokumentation.

Karte dimensionieren, Laufzeit buchen, Lauf starten.

QLoRA auf 24 GB ab $190 im Monat, eine NVLink H100 SXM ab $1,690, ein 8-Wege-Node ab $12,170. Eine Bestellung, eine Zahlung, kein Ausweis, keine Karte.

Konto erstellen →