GPU Rent HubGPU für LLM-Inferenz

Eine GPU für LLM-Inferenz auswählen.

GPU Rent Hub vermietet dedizierte GPU-Server für LLM-Inferenz ab $250 pro Monat für eine NVIDIA L4 bis $2,290 pro Monat für eine H200 SXM, zahlbar in Bitcoin, Ethereum, USDT, USDC, Monero, Solana oder Litecoin, ohne Identitätsprüfung.

Zwei Zahlen bestimmen die Karte: der VRAM, den die Gewichte und der KV-Cache benötigen, und die Speicherbandbreite, die Tokens pro Sekunde vorgibt.

Updated 2026-09-01

75 GBEin 70B-Modell in FP8, 8k Kontext, Batch 1

3.35 TB/sH100-SXM-Speicherbandbreite

$2.35H100 SXM pro GPU-Stunde bei Monatsmiete

20 TBEnthaltene ausgehende Daten pro Instanz

01 Dimensionierung

Wie viel VRAM benötigt ein LLM für die Inferenz?

Zwei Zahlen entscheiden hier über die Karte. Die Herleitung gehört in den VRAM-Leitfaden; der Term, der sich bewegt, ist der KV-Cache, und er bewegt sich mit Ihrem Datenverkehr, nicht mit dem Modell.

Die beiden Zahlen, von denen diese Seite ausgeht

Ein 70B-Modell in FP8 belegt 75 GB bei 8,192 Tokens und Batch 1, und 2.7 GB davon sind KV-Cache. Alles Weitere – die Formel Gewichte plus Cache plus Overhead, die Bytes pro Parameter bei jeder Präzision und eine Zeile für jede Modellgröße – wird im GPU-VRAM-Leitfaden Term für Term hergeleitet und hier nicht wiederholt. Diese beiden Zahlen leisten unten die Arbeit: 75 GB sind der Grund, warum eine 80-GB-Karte ein 70B-Modell mit 5 GB Reserve bedient, und der 2.7-GB-Cache ist der Term, der in die 120B-Zeile der Tabelle übernommen wird.

Der Cache-Term übernimmt bei langem Kontext die Führung, da er mit Kontextlänge mal Batchgröße skaliert, nicht mit der Parameterzahl. Bei 128k und 32 gleichzeitigen Anfragen kann er die Gewichte übersteigen. Deshalb kostet die H200 SXM mit 141 GB mehr als eine H100 SXM auf demselben Silizium.

Modellgröße	BF16, 2 B/Param.	FP8, 1 B/Param.	4-Bit, 0.5 B/Param.	Günstigste NVIDIA-Karte, die passt, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 Layer, MHA, großer Cache	35 GB	22 GB	15 GB	L4, 24 GB, knapp
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bgleiche Formel, keine Leitfaden-Zeile	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Gewichte plus ein KV-Cache bei 8,192 Tokens und Batch 1 plus 2 GB Overhead, entnommen aus dem GPU-VRAM-Leitfaden zusammen mit der günstigsten Karte für den jeweiligen FP8-Wert. Die letzte Spalte ist nur NVIDIA, weil die Alternative ein anderer Software-Stack ist: In der 120B-Zeile fasst die MI300X mit 192 GB dieselben 125 GB für $1,590 pro Monat gegenüber $2,290 für die H200 SXM, zum Preis von ROCm statt CUDA und Dallas statt drei Standorten. Die 120B-Zeile ist dieselbe Formel, einen Schritt weitergeführt, mit dem 2.7-GB-Cache aus der 70B-Zeile, weil keine Leitfaden-Zeile diese Größe abdeckt. Die 405B-Zeile ist die Ausnahme der Spalte, weil keine einzelne Karte beider Marken sie fasst und der günstigste Knoten, der sie fasst, die 8× MI300X ist. Ein 70B-Modell in FP8 lässt auf einer 80-GB-Karte bei 8k 5 GB Reserve und passt bei 32k nicht mehr, wo allein der Cache 10.7 GB beträgt.

02 Bandbreite

Warum ist Speicherbandbreite für LLM-Inferenz wichtiger als TFLOPS?

Beim Dekodieren eines Tokens wird jedes Gewicht einmal gelesen. Die Karte wartet auf den Speicher, nicht auf die Rechenleistung.

Bei Batchgröße eins streamt das Dekodieren für jedes Token den gesamten Gewichtssatz aus dem VRAM und führt etwa zwei Gleitkommaoperationen pro Parameter aus, was bei BF16 eine Operation pro geladenem Byte ist. Um die Tensor-Kerne einer H100 SXM auszulasten, braucht man ungefähr 300, wenn man ihre 1,979 spärlichen FP16-TFLOPS als etwa 990 dichte gegen 3.35 TB/s Bandbreite ansetzt. Die Karte ist mit großem Abstand speichergebunden; die Obergrenze für Tokens pro Sekunde ist daher Bandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes.

Ein 8B-Modell in BF16 ist 16 GB. Auf einer RTX 4090 mit 1.01 TB/s liegt die Obergrenze bei 63 Tokens pro Sekunde, auf einer H100 SXM mit 3.35 TB/s bei 209. Das sind Obergrenzen aus dem Datenblatt; echtes Dekodieren liegt darunter, um einen Anteil, den wir nicht nennen, weil wir keine Quelle dafür angeben können. Die Rangfolge bleibt. Prefill ist der umgekehrte Fall, rechengebunden, und dort verdienen FP8-Tensor-Kerne ihren Unterhalt.

Obergrenze, Tokens pro Sekunde = Speicherbandbreite ÷ (Parameter × Bytes pro Parameter). Durch Batching steigt der Durchsatz pro Karte, ohne die Geschwindigkeit einzelner Anfragen zu erhöhen, weil die Gewichte einmal für den gesamten Batch gelesen werden.

Zwei Fakten aus der Tabelle, die für uns schlecht aussehen. Eine A100 SXM mit 2.04 TB/s hat mehr Bandbreite als eine H100 PCIe, und eine RTX 3090 mit 936 GB/s mehr als eine L40S. Keine von beiden ist die bessere Inferenzkarte. Abschnitt 03 sagt, warum.

GPU	VRAM	Bandbreite	Obergrenze, 8B in BF16	Monatlich	Pro GPU-Stunde
B200Blackwell, HBM3e, Mindestabnahme 2 GPUs	180 GB	8 TB/s	500 t/s	$3,890/Monat	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/Monat	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/Monat	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/Monat	$2.35
A100 SXMAmpere, kein FP8	80 GB	2.04 TB/s	128 t/s	$990/Monat	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/Monat	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/Monat	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/Monat	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/Monat	$0.64
RTX 3090Ampere, kein FP8	24 GB	936 GB/s	59 t/s	$230/Monat	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/Monat	$0.72
A40Ampere, kein FP8	48 GB	696 GB/s	44 t/s	$240/Monat	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/Monat	$0.35

Die Spalte Obergrenze ist Bandbreite geteilt durch 16 GB BF16-Gewichte: eine Obergrenze aus dem Datenblatt, kein Messergebnis. Pro GPU-Stunde ist Monatspreis geteilt durch 720. Der B200-Preis gilt pro Karte, und die Karte wird auf einem 8-fach-HGX-Baseboard verkauft, daher ist die kleinste B200-Bestellung zwei Karten, $7,780 pro Monat vor dem Zwei-Karten-Rabatt. Alle fünfzehn Karten im GPU-Katalog.

03 Präzision

Spielt FP8 eine Rolle, und warum ist die A100 eine schlechtere Inferenzkarte, als ihr Preis vermuten lässt?

FP8 halbiert die Gewichte. Das halbiert die pro Token gelesenen Bytes und verdoppelt das Modell, das hineinpasst.

Hopper, Ada Lovelace und Blackwell haben FP8-Tensor-Kerne: die B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 und L4. Ampere nicht. A100, A40, RTX A6000, RTX A5000 und RTX 3090 unterstützen kein FP8, und das ist Silizium, keine Treiberlücke.

Ein 70B-Modell in FP8 ist also 75 GB und läuft auf einer H100 SXM für $1,690 pro Monat, $2.35 pro GPU-Stunde. Auf Ampere läuft es in BF16 mit 145 GB, also zwei A100-SXM-Karten: $1,980 Listenpreis, $1,881 pro Monat mit dem 5-%-Zwei-Karten-Rabatt, das sind $2.61 pro Stunde für den Endpunkt gegenüber $2.35 für die einzelne H100 SXM, mit Tensorparallel-Verkehr bei jedem Token. Die billigere Karte baut den teureren Endpunkt.

Ampere ist immer noch mietenswert

Für Fine-Tuning, für 4-Bit-Serving und wo 80 GB unter $1,000 pro Monat der entscheidende Punkt sind. Als Standard für einen Produktions-Token-Endpunkt ist sie schlecht, und der Preis von $990 verdeckt das.

Die MI300X ist die Ausnahme, die man kennen sollte. 192 GB HBM3 mit 5.3 TB/s für $1,590 pro Monat fasst ein 70B-Modell in BF16 auf einer Karte, 145 GB mit 47 GB Reserve, ohne Quantisierung und ohne Sharding. Sie bootet unser Template mit ROCm 6.4 und einem PyTorch-ROCm-Build.

04 Empfehlungen

Welche GPU ist für LLM-Inferenz bei den einzelnen Modellgrößen am besten?

Sortiert nach Modellgröße. Eine Karte je Band, gewählt nach der obigen Rechnung.

Damit betrieben	Empfehlung	VRAM	Wöchentlich	Monatlich	Pro GPU-Stunde
7B–8B, dauerhaft aktiv, niedrige QPS72 W, Single-Slot, FP8	L4	24 GB	$70	$250/Monat	$0.35
7B–14B, Latenz ist entscheidend1.01 TB/s, 265 auf Lager	RTX 4090	24 GB	$110	$390/Monat	$0.54
14B–24B in FP8schnellster Speicher unter $600	RTX 5090	32 GB	$155	$540/Monat	$0.75
24B–34B in FP8ECC, 8-Wege-Knoten, RT-Kerne	L40S	48 GB	$148	$520/Monat	$0.72
32B in BF16, keine QuantisierungHopper mit 350 W	H100 PCIe	80 GB	$420	$1,490/Monat	$2.07
70B in FP8, eine Karteder Produktionsstandard	H100 SXM	80 GB	$475	$1,690/Monat	$2.35
70B in BF16, eine Kartedas meiste HBM pro Karte	MI300X	192 GB	$450	$1,590/Monat	$2.21
100B–120B oder 70B mit 128kKV-Cache-Reserve	H200 SXM	141 GB	$640	$2,290/Monat	$3.18
405B in FP8, ein Knoten8-fach, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/Monat	$4.86

Pro GPU-Stunde ist der Monatspreis geteilt durch 720, und für den Knoten durch 8 Karten und 720 Stunden. Multi-GPU-Rabatte betragen 5 % bei zwei Karten, 8 % bei vier, 10 % bei acht, daher kostet ein 8× H100 SXM-Knoten $12,170 pro Monat, $2.11 pro GPU-Stunde. Auf Lager: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Das sind die Karten, auf denen wir den Job ausführen würden; die Nachschlagetabelle im VRAM-Leitfaden nennt die günstigste Karte, die das Modell lediglich fasst, daher ist eine Zeile hier manchmal die teurere Karte, und der Grund steht in der Zeile. Die 405B-Zeile ist der klarste Fall: Der Leitfaden nennt als günstigsten Knoten, der ein 405B in FP8 fasst, die 8× MI300X für $11,450, und diese Tabelle nimmt die 8× B200 wegen ihres 1.8-TB/s-Fabrics.

Die Preise sind in DFW-1 Dallas, IAD-1 Ashburn und PDX-1 Hillsboro identisch; wählen Sie die Region also nach Latenz. Die MI300X gibt es nur in Dallas. Von den acht B200 sind sechs in DFW-1 und zwei in PDX-1, keine in IAD-1.

05 Die Instanz

Was erhalte ich auf einem LLM-Inferenzserver von GPU Rent Hub?

Bare-Metal, Root, der Serving-Stack vorinstalliert, nichts lauscht, bis Sie es aktivieren.

vLLM-0.9-Template

Ubuntu 24.04 mit vLLM 0.9 und einer installierten OpenAI-kompatiblen Server-Unit. Die Unit wird deaktiviert ausgeliefert. Sie aktivieren sie und entscheiden, was den Port erreichen darf.

Nichts ist standardmäßig offen.

Ollama-Template

Für ein Modell, das in zwei Minuten antwortet, statt eines getunten Servers. Ollama ist an localhost gebunden, und Sie exponieren es selbst, in der Regel über WireGuard.

Gleiche Regel: localhost, bis Sie es verschieben.

20 TB ausgehender Traffic inklusive

Bei etwa 100 Byte JSON- und SSE-Framing pro gestreamtem Token sind das rund 200 Milliarden Tokens pro Monat. Ein Text-Endpunkt wird das nicht erreichen.

Danach $4/TB. Eingehend unbegrenzt.

100G-Port, 10G garantiert

Geteilter 100G-Uplink mit einer Untergrenze von 10 Gbps, eine IPv4 und ein IPv6-/64. Ein dedizierter 100G-Port kostet $220 pro Monat, wenn Sie Audio oder Bilder streamen.

Privates VLAN zwischen Instanzen, $25/Monat.

Always-on-Inferenz ist der klarste Fall für eine Laufzeit: ausgelastet zu unvorhersehbaren Zeiten, intolerant gegenüber Kaltstarts und mit Gewichten, die eine messende Plattform bei jedem Scale-up erneut ziehen würde. Die Karte gehört Ihnen für 720 Stunden, ob Traffic kommt oder nicht, und kann nicht verdrängt werden. Die Vergleichsrechnung auf Monats- oder Stundentarife für GPU-Miete, Bereitstellungsdetails in der Dokumentation. Eine Bestellung, eine Zahlung in BTC, ETH, USDT, USDC, XMR, SOL oder LTC: So funktioniert die Krypto-Zahlung und Was No-KYC-GPU-Hosting bedeutet.

BTCETHUSDTUSDCXMRSOLLTC

06 Wann nicht

Wann sollten Sie keine dedizierte GPU für LLM-Inferenz mieten?

Drei Fälle, in denen eine dedizierte Karte das falsche Werkzeug ist, und das sagen wir lieber.

Unter etwa zehn Millionen Tokens pro Monat sollten Sie eine gehostete Token-API verwenden. Ein 7B-Modell auf einer L4 kostet $250 pro Monat, das sind $25 pro Million Tokens bei diesem Volumen, und übliche Preise pro Token für ein vergleichbares offenes Modell liegen darunter.

Zweitens: stoßweiser Traffic. Ein Endpunkt, der am Dienstag hundert Anfragen beantwortet und bis zur nächsten Woche nichts, hält die Karte für Minuten beschäftigt und mietet sie für 720 Stunden. Nutzen Sie einen Stundenanbieter. Unsere kürzeste Laufzeit beträgt sieben Tage, und es gibt keinen Zähler.

Drittens: eine kleinere Karte, die den Job erledigt. Quantisieren Sie ein 34B-Modell auf 4 Bit, und es passt in 21 GB, die eine RTX 3090 für $230 pro Monat mit 936 GB/s und 3 GB Reserve bedient – schnellerer Speicher als die günstigere RTX A5000, die die Nachschlagetabelle des Leitfadens für dieselbe Zelle nennt. Mieten Sie keine H100 SXM, nur weil das Modell eine große Zahl im Namen trägt.

Mieten Sie bei uns, wenn

Der Endpunkt dauerhaft aktiv ist, die Abrechnung pro Token zu Ihrem größten Posten geworden ist, die Gewichte und Prompts auf Hardware bleiben müssen, die niemand sonst anfasst, oder Sie mit Krypto ohne Identitätsprüfung zahlen möchten.

Mieten Sie nicht bei uns, wenn

Sie eine Karte für einen Nachmittag brauchen, der Traffic unvorhersehbar und niedrig ist oder Sie noch nicht geprüft haben, ob das Modell in 4 Bit auf eine Karte zu einem Viertel des Preises passt.

Training ist ein anderes Dimensionierungsproblem, dominiert von Optimierer-Zuständen: siehe GPU für Fine-Tuning.

07 Fragen

GPU für LLM-Inferenz, klar gefragt.

Was ist die beste GPU für LLM-Inferenz?

Das hängt von der Modellgröße ab. Für 7B bis 14B ist eine RTX 4090 für $390 pro Monat die preiswerte Wahl. Für 24B bis 34B in FP8 eine L40S mit 48 GB für $520. Für 70B in FP8 eine H100 SXM für $1,690, das sind $2.35 pro GPU-Stunde. Ab 100B eine H200 SXM für $2,290.

Was braucht ein 70B-Endpunkt über die Gewichte hinaus?

Cache, und er skaliert mit der Gleichzeitigkeit statt mit dem Modell. Die Gewichte und ein Einzelstream-Wert stehen im GPU-VRAM-Leitfaden: 75 GB in FP8 bei 8,192 Tokens und Batch 1. Jede weitere gleichzeitige Anfrage bei diesem Kontext fügt 2.7 GB hinzu, also sind acht gleichzeitige Anfragen etwa 22 GB obendrauf und zweiunddreißig etwa 85 GB. Das ist der Unterschied zwischen einer 80-GB-Karte, die einen Stream mit 5 GB Reserve bedient, und einer H200 mit 141 GB oder einer MI300X mit 192 GB, die einen Endpunkt mit echter Parallelität bedient. Eine Quantisierung des Caches auf FP8 halbiert jede dieser Zahlen.

Kann ich eine GPU für vLLM mieten?

Ja. Jede Instanz bootet das vLLM-0.9-Template auf Ubuntu 24.04, das eine OpenAI-kompatible Server-Unit enthält und deaktiviert ausgeliefert wird, bis Sie sie aktivieren. Sie haben Root auf Bare-Metal und können es durch Ihren eigenen Build ersetzen. Die MI300X verwendet das Template mit ROCm 6.4 und einem PyTorch-ROCm-Build.

Warum ist die A100 keine gute LLM-Inferenzkarte?

Ampere hat keine FP8-Tensor-Kerne, daher läuft ein 70B-Modell in BF16 mit 145 GB. Das erfordert zwei A100-SXM-Karten, $1,980 Listenpreis und $1,881 pro Monat nach Abzug des 5-%-Zwei-Karten-Rabatts, gegenüber einer H100 SXM für $1,690, die dasselbe Modell in FP8 mit 3.35 TB/s bedient. Die A100 ist weiterhin eine gute Karte für Fine-Tuning und 4-Bit-Serving.

Wie viele Tokens pro Sekunde erzeugt eine GPU?

Die Obergrenze ist Speicherbandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes. Ein 8B-Modell in BF16 ist 16 GB, daher erreicht eine RTX 4090 mit 1.01 TB/s nahe 63 Tokens pro Sekunde und eine H100 SXM mit 3.35 TB/s nahe 209. Echte Stacks liegen unter der Obergrenze; wie weit darunter, hängt von Ihren Kernels, der Batch-Form und dem Scheduler ab. Deshalb veröffentlichen wir die Grenze und keinen Bruchteil davon.

Ist eine Monatsmiete für einen Always-on-LLM-Endpunkt richtig?

In der Regel ja. Eine Pauschale kostet gleich viel, ob Traffic kommt oder nicht; ein Endpunkt, der zu unvorhersehbaren Zeiten antwortet, zahlt also keinen Leerlaufaufschlag, hat keinen Kaltstart und steht nie in der Warteschlange. Der Break-even folgt aus den Preisen: $1,690 für einen H100-SXM-Monat gegenüber einem beispielhaften Zählerpreis von $2.49 bis $3.49 liegt zwischen etwa 480 und 680 genutzten Stunden eines 720-Stunden-Monats; darunter ist ein Stundenanbieter günstiger. Die vollständige Rechnung steht auf unserer Seite zu Monats- oder Stundentarifen.

Enthalten Sie genug Bandbreite für eine Token-API?

Ja. Jede Instanz enthält 20 TB ausgehenden Traffic pro Monat, was bei etwa 100 Byte JSON- und SSE-Framing pro gestreamtem Token etwa 200 Milliarden Tokens sind. Eingehend ist unbegrenzt, das Ziehen von Gewichten kostet also nichts. Jenseits von 20 TB kostet es $4 pro TB, und ein dedizierter 100G-Port kostet $220 pro Monat.

Muss ich einen Ausweis vorlegen, um einen LLM-Inferenzserver zu mieten?

Nein. Ein Konto besteht aus Benutzername und Passwort ohne E-Mail-Pflicht, und Sie zahlen für jede Laufzeit mit einer einzigen Überweisung in Bitcoin, Ethereum, USDT, USDC, Monero, Solana oder Litecoin. GPU Rent Hub Compute LLC arbeitet seit 15. März 2021 so, mit 6,300 GPUs in DFW-1 Dallas, IAD-1 Ashburn und PDX-1 Hillsboro.

Tiefere Dimensionierungsfälle im GPU-VRAM-Leitfaden, alle Karten im GPU-Katalog, Laufzeitrabatte auf der Preisseite.

Legen Sie den Endpunkt auf Hardware, die niemand sonst anfasst.

Stellen Sie vLLM auf einer dedizierten Karte in DFW-1, IAD-1 oder PDX-1 in etwa neunzig Sekunden bereit. Eine Bestellung, eine Zahlung, keine E-Mail, kein Ausweis.

Konto erstellen →