GPU Rent HubVRAM-Leitfaden

Wie viel VRAM brauche ich? Erst die Rechnung, dann die Karte.

Ein Modell mit 70 Mrd. Parametern braucht zum Serving in BF16 etwa 145 GB VRAM, in FP8 75 GB und in INT4 40 GB, und GPU Rent Hub vermietet für jeden dieser Fälle eine dedizierte Karte: 240 $ pro Monat für den INT4-Fall auf einer 48-GB-A40, 1.490 $ für FP8 auf einer 80-GB-H100-PCIe, 1.590 $ für BF16 auf einer 192-GB-MI300X, zahlbar in Bitcoin, Ethereum, USDT, USDC, Monero, Solana oder Litecoin ohne Identitätsprüfung. Jede Zahl unten ist Arithmetik, die Sie nachrechnen können. Nichts davon ist ein Benchmark, weil wir keinen zitieren, den wir nicht belegen können.

Updated 2026-09-01

2 BBytes pro Parameter bei BF16

$5.00Günstigster VRAM, den wir vermieten, pro GB und Monat

192 GBMeiste VRAM auf einer Karte, MI300X

15Karten zur Auswahl

01 Die Formel

Wie berechnen Sie, wie viel VRAM ein Modell braucht?

Drei Posten. Gewichte, KV-Cache, Laufzeit-Overhead. Zwei davon lassen sich exakt berechnen.

Der Dimensionierungsblock

Benötigter VRAM = (Parameter × Bytes pro Parameter) + KV-Cache + etwa 2 GB Laufzeit-Overhead. Bytes pro Parameter sind 4 bei FP32, 2 bei BF16 oder FP16, 1 bei FP8 und 0,5 bei INT4. Der KV-Cache ist 2 × Layer × KV-Köpfe × Kopfdimension × Bytes pro Element × Kontextlänge × Batchgröße, wobei die führende 2 für Schlüssel und Wert steht. Laufzeit-Overhead sind der CUDA-Kontext, das Framework und Allokator-Fragmentierung; 2 GB sind ein sicherer Puffer für einen einzelnen Prozess.

Einmal durchgerechnet: Ein 70B-Modell in FP8 mit 8.192 Token und Batch 1 sind 70 GB Gewichte, 2,7 GB KV-Cache und 2 GB Overhead, also 75 GB; das passt auf eine 80-GB-Karte mit 5 GB Reserve.

Zwei Konventionen, geklärt, bevor Sie über das letzte Gigabyte streiten.

Parameter in Milliarden mal Bytes pro Parameter ergibt direkt Gigabyte, nach der Dezimalkonvention, bei der ein Gigabyte 10⁹ Bytes sind. Kartenkapazitäten werden genauso angegeben. Tooling, das stattdessen Gibibyte meldet, verkleinert jede Zahl hier um etwa 7 %, genau deshalb sollte man Reserve lassen, statt bis auf das letzte Gigabyte zu planen.

Rechnen Sie mit residenten Parametern, nicht mit aktiven. Ein Mixture-of-Experts-Modell hält jeden Experten im VRAM und nutzt pro Token zwei: den Speicher des Ganzen, die Geschwindigkeit des Teils.

Präzision	Bytes/Param	7B	70B
FP32für Inferenz selten lohnend	4	28 GB	280 GB
BF16 / FP16der Referenzpunkt	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4nur Gewichte, jede Architektur	0.5	3.5 GB	35 GB

FP8 benötigt Hardware-Unterstützung. Die A100, A40, RTX A6000, RTX 3090 und RTX A5000 haben sie nicht. INT4-Quantisierung nur auf Gewichte läuft auf allen.

02 Inferenz

Wie viel VRAM brauche ich, um ein 7B-, 13B-, 34B-, 70B- oder 405B-Modell zu betreiben?

Gewichte plus einen KV-Cache bei 8.192 Token und Batch 1, plus 2 GB. Ändern Sie den Kontext, bewegt sich die KV-Spalte, nicht die Gewichte.

Modell	KV bei 8k, Batch 1	BF16 gesamt	FP8 gesamt	INT4 gesamt
7B32 Layer, GQA, 8 KV-Köpfe	1.1 GB	17 GB	10 GB	7 GB
13B40 Layer, MHA, kein GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 Layer, GQA, 8 KV-Köpfe	2.0 GB	72 GB	38 GB	21 GB
70B80 Layer, GQA, 8 KV-Köpfe	2.7 GB	145 GB	75 GB	40 GB
405B126 Layer, GQA, 8 KV-Köpfe	4.2 GB	816 GB	411 GB	209 GB

KV-Cache in jeder Spalte mit FP16 gehalten. Kopfdimension durchgehend 128. Prüfen Sie Layerzahl und KV-Kopfzahl in der config.json Ihres Modells, bevor Sie einer Zeile vertrauen; das sind typische Formen, keine universellen.

Die 13B-Zeile ist die interessante: Sie trägt einen größeren KV-Cache als die 70B darunter. Ihre Form nutzt Multi-Head-Attention mit 40 Key- und Value-Köpfen, während spätere Modelle Grouped-Query-Attention und 8 nutzen. Diese Änderung hat den Cache um das Fünf- bis Achtfache verkleinert und ist der Grund, warum Serving mit langem Kontext erschwinglich wurde. Wenn Sie etwas von vor 2024 dimensionieren, prüfen Sie das Attention-Schema vor der Parameterzahl.

Die Batchgröße multipliziert den KV-Cache und sonst nichts. Derselbe 70B mit Batch 32 fügt zu denselben 70 GB Gewichten 85 GB Cache hinzu, weshalb ein Endpunkt weit mehr Speicher braucht als eine einzelne Anfrage. Die Dimensionierung für Services steht auf der Seite GPU für LLM-Inferenz.

03 Kontext

Wie viel VRAM braucht der KV-Cache bei langem Kontext?

Linear mit Token und linear mit Batch. Bei 128k kann der Cache mehr kosten als die Gewichte.

Modellform	KV pro Token	8k	32k	128k
7B, 32 Layer, GQAKV-Breite 1.024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 Layer, MHAKV-Breite 5.120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 Layer, GQAKV-Breite 1.024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 Layer, GQAKV-Breite 1.024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 Layer, GQAKV-Breite 1.024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

FP16-Cache, Batch 1. Halbieren Sie jede Zahl für einen FP8-Cache. Mit der Batchgröße multiplizieren. KV-Breite ist KV-Köpfe mal Kopfdimension.

Wo das zubeißt.

Ein 70B in FP8 passt bei 8k auf eine 80-GB-Karte, mit 5 GB Reserve. Stellen Sie auf 32k um, ist der Cache allein 10,7 GB, und es passt nicht mehr. Deshalb gibt es die H200 SXM mit 141 GB und die MI300X mit 192 GB als Produkte. Sie halten mehr Kontext als eine H100 SXM, und das ist etwas anderes, als schneller zu sein.

Den KV-Cache auf FP8 zu quantisieren ist ein eigener Hebel, getrennt von der Quantisierung der Gewichte, und meist der günstigere. Er halbiert den Cache mit weit geringeren Qualitätskosten, als die Gewichte eine weitere Stufe abzusenken; vLLM und TensorRT-LLM unterstützen beides.

04 Training

Wie viel VRAM brauche ich, um ein Modell feinzutunen?

Volles Fine-Tuning kostet grob 16 Bytes pro Parameter. LoRA kostet 2. QLoRA kostet 0,5. Der Abstand zwischen diesen drei Zahlen ist die ganze Entscheidung.

Volles Fine-Tuning mit Adam hält fünf Dinge pro Parameter: BF16-Gewichte (2 Bytes), BF16-Gradienten (2), eine FP32-Masterkopie (4) und die ersten und zweiten Adam-Momente (je 4). Das sind 16 Bytes pro Parameter, vor den Aktivierungen. LoRA friert die Basis ein, also zahlen Sie 2 Bytes pro Parameter für das eingefrorene Modell und Optimiererzustand nur für den Adapter, typischerweise ein halbes Prozent der Parameter. QLoRA quantisiert diese eingefrorene Basis auf 4 Bit, kostet also 0,5 Bytes pro Parameter, und der Adapter bleibt unverändert.

Modell	Volles FT, Gewichte + Adam	Volles FT, mit Aktivierungen	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Annahmen genannt, damit Sie sie ändern können: Gradient Checkpointing an, Sequenzlänge 2.048, Batch 1, Rang-16-Adapter auf den Attention-Projektionen mit etwa 0,5 % der Parameter, 15 % Zuschlag auf die Spalte für volles Fine-Tuning für Aktivierungen und Fragmentierung. Optimiererzustand des Adapters mit 16 Bytes pro Adapter-Parameter gerechnet.

Die Spalte für volles Fine-Tuning ist der naive Wert, alles liegt auf den GPUs. ZeRO Stage 3 mit auf den Host-Speicher ausgelagertem Optimiererzustand senkt den GPU-seitigen Bedarf deutlich, und unsere 8-Wege-Knoten haben genau dafür 2 TB Host-RAM. Offloading tauscht PCIe-Bandbreite gegen VRAM, macht einen Lauf also möglich statt schnell. Die Methodenwahl steht auf der Seite GPU für Fine-Tuning.

Lesen Sie die letzten beiden Spalten gegen die erste. Ein volles 70B-Fine-Tuning will einen Acht-Karten-Knoten für 11.450 $. Dasselbe 70B unter QLoRA will 51 GB, das ist eine A100 SXM 80 GB für 990 $ pro Monat. Das ist ein zwölffacher Unterschied für eine Methode, die schlechter ist, aber selten zwölfmal schlechter. Den meisten, die diese Frage stellen, wurde die Zahl für volles Fine-Tuning genannt, und sie brauchen sie nicht.

05 Nachschlagetabelle

Welche GPU brauche ich für ein 70B-Modell oder jede andere Größe?

Modellgröße seitlich, Methode oben. Jede Zelle ist der benötigte VRAM und das Günstigste in unserer Flotte, das ihn fasst.

Modell	Inferenz BF16	Inferenz FP8	Inferenz INT4	QLoRA	LoRA	Volles Fine-Tuning
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, knapp	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, knapp	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, knapp	28 GBA40 $240	79 GBA100 SXM $990, knapp	626 GB8× A100 $7,130, knapp
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBfünf Knoten, auf Anfrage

Die günstigste einzelne Karte, die passt, bei 8.192 Token und Batch 1; ein Mehrkarten-Set nur, wenn keine einzelne Karte es fasst. Diese Tabelle beantwortet eine Frage, die günstigste Karte, die das Modell hält, und die Workload-Leitfäden beantworten eine andere: die günstigste Karte, auf der es sich zu betreiben lohnt, manchmal eine andere und teurere Karte, mit der Begründung dort. Knapp bedeutet unter 5 GB Reserve, oder unter 2 GB pro Karte bei Mehrkarten-Zeilen. Mehrkarten-Preise enthalten den Mengenrabatt von 5 % ab zwei Karten, 8 % ab vier und 10 % ab acht. Zeilen für volles Fine-Tuning setzen NVLink oder NVSwitch voraus, weil ein All-reduce in jedem Schritt über PCIe Peer-to-Peer die Miete nicht wert ist. Für die meisten Zeilen gibt es günstigere Mehrkarten-Ersatzlösungen; Abschnitt 07 erklärt, wann man eine nimmt. Die 13B-FP8-Zelle ist die knappste: 22 GB lassen auf einer L4 2 GB Reserve, deren 300 GB/s der langsamste Speicher sind, den wir vermieten; die RTX 6000 Ada für 460 $ ist die Alternative, wenn Decode-Geschwindigkeit statt Passgenauigkeit die Einschränkung ist. Die MI300X trägt hier sieben Zellen und kommt mit drei Bedingungen: nur DFW-1 Dallas, beim letzten Katalogupdate 8 Karten frei, und ROCm statt CUDA, also laufen vLLM und PyTorch, ein handgeschriebener CUDA-Kernel nicht. Spezifikationen und Bestand je Region im GPU-Katalog, Rabatte auf der Preisseite.

Die Zelle, die man ansehen sollte, ist 70B bei INT4: 40 GB, gehalten von einer A40 48 GB für 240 $ im Monat. Kein Trick, nur das, was 4-Bit-Quantisierung und 48 GB GDDR6 kaufen. Abschnitt 07 legt dar, was Sie dafür aufgegeben haben. Alles oberhalb eines 8-Wege-Knotens ist eine Clusterfrage, keine Kartenfrage, und gehört auf die Seite Multi-GPU-Clustervermietung.

06 Speicherkosten

Welche GPU bietet den meisten VRAM pro Dollar?

Monatspreis geteilt durch Gigabyte VRAM und Speicherbandbreite geteilt durch Monatspreis. Niemand veröffentlicht beides. Beide entscheiden mehr Käufe als eine TFLOPS-Zahl.

GPU	VRAM	Bandbreite	Monatlich	$ pro GB/Monat	GB/s pro $/Monat	Pro GPU-Stunde
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/Mon.	$8.28	3.33	$2.21
B200HBM3e, Blackwell, 2-GPU-Mindestmenge	180 GB	8 TB/s	$3,890/Mon.	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/Mon.	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/Mon.	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/Mon.	$18.63	1.34	$2.07
A100 SXMHBM2e, kein FP8	80 GB	2.04 TB/s	$990/Mon.	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/Mon.	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/Mon.	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, kein FP8	48 GB	768 GB/s	$290/Mon.	$6.04	2.65	$0.40
A40GDDR6 ECC, kein FP8	48 GB	696 GB/s	$240/Mon.	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/Mon.	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/Mon.	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/Mon.	$10.42	1.20	$0.35
RTX 3090GDDR6X, kein FP8	24 GB	936 GB/s	$230/Mon.	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, kein FP8	24 GB	768 GB/s	$190/Mon.	$7.92	4.04	$0.26

Sortiert nach VRAM. Dollar pro Gigabyte ist der Monatspreis geteilt durch Kapazität. GB/s pro Dollar ist Speicherbandbreite geteilt durch den Monatspreis, höher ist also besser. Pro GPU-Stunde ist der Monatspreis geteilt durch die 720 Stunden einer Laufzeit, erklärt auf Monatliche versus stündliche GPU-Miete. Der B200-Preis ist pro Karte, aber er wird auf einer 8-Wege-HGX-Basisplatine geliefert, und die kleinste mietbare Einheit sind zwei Karten, also ist die kleinste B200-Bestellung zwei Karten: 7.780 $ pro Monat zum Listenpreis, 7.391 $ mit dem 5-%-Rabatt ab zwei Karten.

Zwei verschiedene Karten gewinnen die beiden Spalten, deshalb veröffentlichen wir beide. Die A40 hält ein Gigabyte für 5,00 $ im Monat, weniger als die Hälfte dessen, was eine L40S für dieselben 48 GB verlangt, weil sie eine Karte von 2020 mit 696 GB/s dahinter ist. Die RTX 3090 liefert 4,07 GB/s pro Dollar, mehr als das Doppelte der H100 SXM, weil sie eine alte Consumer-Karte mit schnellem Bus und niedriger Miete ist. Keine der beiden ist hier die beste Karte. Beide beantworten eine bestimmte Frage korrekt.

Die MI300X ist der Ausreißer. Mit 8,28 $ pro Gigabyte ist sie günstigerer Speicher als eine A100, eine H100 oder eine H200, mit 5,3 TB/s dahinter, und genau deshalb füllt sie oben die Zellen für große Modelle. Der Preis ist ROCm statt CUDA: vLLM und PyTorch laufen, ein handgeschriebener CUDA-Kernel nicht.

07 Gegenargument

Ist mehr VRAM immer die richtige Antwort?

Nein. Drei Fälle, in denen der Kauf von Kapazität der falsche Kauf ist, jeweils mit Rechnung.

Bandbreite ist der Engpass, nicht die Kapazität

Ein Token zu dekodieren liest jeden residenten Gewichtswert einmal aus dem VRAM. Teilen Sie die Bandbreite durch die residente Modellgröße, erhalten Sie eine harte Obergrenze für Tokens pro Sekunde bei einem einzelnen Stream. Ein 7B in BF16 sind 14 GB, also kann eine A40 mit 696 GB/s nicht über 50 Tokens pro Sekunde hinaus, und eine RTX 5090 mit 1,79 TB/s nicht über 128. Beide fassen das Modell. Eine ist dabei 2,6-mal schneller.

Eine Obergrenze, kein Benchmark. Sie landen darunter.

Quantisiert auf einer kleinen Karte schlägt volle Genauigkeit auf einer großen

Ein 34B in BF16 sind 72 GB insgesamt und braucht eine A100 für 990 $: 2,04 TB/s über seine 68 GB Gewichte ergibt eine Obergrenze von 30 Tokens pro Sekunde. Dasselbe 34B in INT4 sind 21 GB insgesamt und passt auf eine RTX 4090 für 390 $: 1,01 TB/s über seine 17 GB Gewichte ergibt eine Obergrenze von 59. Schneller und 61 % günstiger. Was Sie aufgeben, ist Qualität bei den quantisierten Gewichten, und die bewerten Sie, statt sie anzunehmen.

Günstiger und schneller, schlechtere Ausgabe. Testen Sie es.

Zwei günstige Karten, manchmal

Zwei A40 ergeben 96 GB für 456 $ im Monat, gegenüber 80 GB einer A100 für 990 $. Mehr Speicher, weniger als die Hälfte des Preises. Das funktioniert für Batch-Inferenz mit einem Replikat pro Karte, für QLoRA und für Layer-Split-Serving bei niedriger Nebenläufigkeit. Es scheitert unter Tensor-Parallelität und bei jedem Trainingsschritt mit All-reduce, weil die Verbindung zwischen den Karten der Teil ist, den Sie nicht gekauft haben.

96 GB für 456 $. Der Haken ist die Verbindung.

Der NVLink-Punkt, präzise formuliert.

Eine H100 SXM spricht mit ihren Nachbarn mit 900 GB/s über NVLink. Ein Paar aus A40 oder RTX A6000 nimmt eine NVLink-Brücke mit 112 GB/s. Eine L40S hat kein NVLink und bewegt Daten über PCIe Gen4 Peer-to-Peer mit einer Leitungsrate von etwa 32 GB/s. Eine RTX 5090 hat auch kein NVLink, aber ihre Verbindung ist Gen5, also etwa 63 GB/s. Diese Lücke wird bei einem Tensor-parallelen Lauf einmal pro Layer und Token bezahlt.

Nach Layern statt nach Tensoren zu teilen vermeidet den größten Teil dieses Verkehrs und verbessert nichts. Pro Token lesen Sie weiterhin jedes Byte des Modells, nur sequenziell auf zwei Karten statt allein auf einer. Tensor-Parallelität ist das, was aus zwei Karten die doppelte Bandbreite macht, und genau dieser Modus braucht die schnelle Verbindung. Das ist der ganze Kompromiss.

Durchgerechneter Vergleich

2× RTX 5090: 64 GB, 3.58 TB/s aggregiert, 1.026 $/Mon., PCIe Gen5 Peer-to-Peer
1× H100 SXM: 80 GB, 3.35 TB/s, 1.690 $/Mon., ein Speicherraum
Urteil: Das Paar gewinnt auf dem Papier und verliert bei jedem Modell, das nicht in 32 GB pro Karte passt

Wenn Ihr Modell auf eine Karte passt, legen Sie es auf eine Karte. Jede Teilung, die Sie hinzufügen, ist ein Synchronisationspunkt, ein Fehlermodus und ein Abend Debugging von Device Maps.

08 Wann Sie nicht bei uns mieten sollten

Die Fälle, in denen diese Seite Sie woanders hinschicken sollte.

Unsere kürzeste Laufzeit beträgt sieben Tage. Wenn Sie eine Karte für einen Nachmittag brauchen, um zu prüfen, ob ein 13B in 24 GB passt, nutzen Sie einen Stunden-Anbieter: Ein paar Stunden dort kosten weniger als die Mindestwoche von 55 $ auf einer RTX A5000 hier. Wir verkaufen keine Stunden und haben nicht vor, es zu tun.

Wenn Sie zwischen zwei Karten nach Geschwindigkeit statt Passform wählen, hören Sie auf, Tabellen zu lesen, und führen Sie Ihren Stack auf beiden aus. Alles hier ist Kapazitätsarithmetik und eine Bandbreiten-Obergrenze. Keines von beidem sagt voraus, was Ihre Kernel, Batch-Form und Ihr Scheduler tun werden, und wir werden mit keiner Durchsatzzahl, die wir nicht belegen können, etwas anderes behaupten.

Wenn Sie 6.480 GB für ein volles 405B-Fine-Tuning brauchen, brauchen Sie einen Cluster, ein Fabric und einen Plan, keine Mietseite. Fragen Sie den Vertrieb nach Multi-Node-Kapazität in DFW-1 Dallas, IAD-1 Ashburn oder PDX-1 Hillsboro und erwarten Sie ein Gespräch über Interconnects vor einem Preis.

TL;DR Hier starten

Lernen, jedes Modell bis 13B: RTX A5000 24 GB, 190 $/Mon.
Serving von 24B bis 34B in Produktion: L40S 48 GB, 520 $/Mon.
Schnellste Einzelkarte unter 600 $: RTX 5090 32 GB, 540 $/Mon.
Günstigster 70B bei INT4: A40 48 GB, 240 $/Mon.
70B bei BF16 auf einer Karte: MI300X 192 GB, 1.590 $/Mon.
Langer Kontext bei 70B: H200 SXM 141 GB, 2.290 $/Mon.

BTCETHUSDTUSDCXMRSOLLTC

Einmal einzahlen, in etwa neunzig Sekunden bereitstellen, keine E-Mail-Adresse und kein Ausweisdokument. Siehe No-KYC-GPU-Hosting und So funktioniert Krypto-Zahlung.

09 Fragen

VRAM-Fragen, so gestellt, wie Leute sie stellen.

Wie viel VRAM brauche ich, um ein 70B-Modell auszuführen?

Etwa 145 GB bei BF16, 75 GB bei FP8 und 40 GB bei INT4, jeweils bei 8.192 Token und Batch 1. Das sind Gewichte plus 2,7 GB KV-Cache plus 2 GB Overhead. Der FP8-Wert passt auf eine 80-GB-Karte. Der INT4-Wert passt auf eine 48-GB-A40 für 240 $ im Monat.

Wie viel VRAM brauche ich für ein 7B-Modell?

17 GB bei BF16, 10 GB bei FP8, 7 GB bei INT4, bei 8k Kontext und Batch 1. Alle drei passen auf eine 24-GB-Karte, eine RTX A5000 für 190 $ im Monat deckt also jede davon ab. Die bessere Frage ist die Bandbreite: Dieses 7B hat eine Decode-Obergrenze von 55 Tokens pro Sekunde auf einer A5000 und 128 auf einer RTX 5090.

Wie berechne ich die KV-Cache-Größe?

2 × Layer × KV-Köpfe × Kopfdimension × Bytes pro Element × Kontextlänge × Batchgröße. Für ein 70B mit 80 Layern, 8 KV-Köpfen und Kopfdimension 128 sind das 0,33 MB pro Token bei FP16, also 2,7 GB bei 8k und 42,9 GB bei 128k. Ein FP8-Cache halbiert jede Zahl.

Reichen 24 GB VRAM, um ein Modell feinzutunen?

Für QLoRA ja, bis etwa 34B bei kurzen Sequenzlängen: Ein 13B braucht rund 14 GB, ein 7B braucht 10 GB. Für LoRA in BF16 decken 24 GB ein 7B mit etwa 21 GB ab und nichts Größeres. Für volles Fine-Tuning mit Adam: nein. Selbst ein 7B braucht etwa 129 GB, weil der Optimiererzustand 16 Bytes pro Parameter kostet.

Welche GPU brauche ich für ein 405B-Modell?

In INT4 braucht es etwa 209 GB; acht A40 halten das für 1.728 $ im Monat, wobei das bei 696 GB/s je Karte eher Kapazität als Geschwindigkeit ist. In FP8 braucht es 411 GB und in BF16 816 GB; beides passt auf einen 8×-MI300X-Knoten für 11.450 $. Volles Fine-Tuning braucht rund 7.452 GB und gehört auf einen Cluster.

Funktionieren zwei 24-GB-Karten wie eine 48-GB-Karte?

Bei Kapazität: so gut wie. Bei Geschwindigkeit: nein. Ein auf zwei Karten verteiltes Modell liest weiterhin jedes Byte pro Token, Layer-Splitting erhöht die Obergrenze also nicht. Tensor-Parallelität tut das, aber sie tauscht in jedem Layer Aktivierungen über die Verbindung zwischen den Karten aus: 112 GB/s über eine NVLink-Brücke, etwa 63 GB/s über PCIe Gen5 und 32 GB/s über Gen4.

Welche GPU hat den günstigsten VRAM pro Gigabyte?

Die A40: 48 GB für 240 $ im Monat sind 5,00 $ pro Gigabyte und Monat, das niedrigste Verhältnis in unserer Flotte. Die RTX A6000 folgt mit 6,04 $, die RTX A5000 mit 7,92 $, die MI300X mit 8,28 $. Eine H100 SXM kostet 21,13 $ pro Gigabyte, weil Sie Bandbreite und FP8-Durchsatz kaufen, nicht Kapazität.

Beeinträchtigt die Quantisierung auf INT4 die Ausgabequalität?

Ja, messbar, und wie stark, hängt vom Modell und der Methode ab. Verfahren, die nur die Gewichte quantisieren, wie AWQ und GPTQ, verlieren deutlich weniger als naives Runden. Der ehrliche Prozess ist: quantisieren, den eigenen Evaluierungssatz laufen lassen und entscheiden, ob der Verlust die gesparte Karte wert ist. Wir vermieten beide Karten und haben keine Meinung.

Workload-spezifische Dimensionierung auf GPU für LLM-Inferenz und GPU für Fine-Tuning. Vollständige Spezifikationen, Bestand und Preise im GPU-Katalog.

Sie kennen die Zahl. Jetzt wählen Sie die Karte.

Fünfzehn Modelle in DFW-1, IAD-1 und PDX-1, ab 190 $ pro Monat, wöchentlich oder monatlich, zahlbar in sieben Coins ohne Identitätsprüfung.

Konto erstellen →