GPU Rent HubGPU pour l’inférence LLM

Choisir un GPU pour l’inférence LLM.

GPU Rent Hub loue des serveurs GPU dédiés pour l’inférence LLM à partir de $250 par mois pour une NVIDIA L4 et jusqu’à $2,290 par mois pour une H200 SXM, payables en Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin, sans vérification d’identité.

Deux chiffres déterminent la carte : la VRAM requise par les poids et le cache KV, et la bande passante mémoire qui fixe les tokens par seconde.

Updated 2026-09-01

75 GBUn modèle 70B en FP8, contexte 8k, batch 1

3.35 TB/sBande passante mémoire de la H100 SXM

$2.35H100 SXM par GPU-heure sur un mois

20 TBTrafic sortant inclus par instance

01 Dimensionnement

De combien de VRAM un LLM a-t-il besoin pour l’inférence ?

Deux chiffres décident ici de la carte. La dérivation se trouve dans le guide VRAM ; le terme qui varie est le cache KV, et il varie avec votre trafic plutôt qu’avec le modèle.

Les deux chiffres sur lesquels cette page s’appuie

Un modèle 70B en FP8 représente 75 GB à 8 192 tokens et en batch 1, dont 2,7 GB de cache KV. Tout le reste — la formule poids plus cache plus surcharge, les octets par paramètre pour chaque précision et une ligne pour chaque taille de modèle — est dérivé terme à terme dans le guide VRAM GPU et n’est pas répété ici. Ces deux chiffres font le travail ci-dessous : 75 GB expliquent pourquoi une carte de 80 GB sert un 70B avec 5 GB de marge, et le cache de 2,7 GB est le terme reporté dans la ligne 120B du tableau.

Le terme de cache devient prépondérant en contexte long, où il évolue avec la longueur de contexte multipliée par la taille du batch, et non avec le nombre de paramètres. À 128k et 32 requêtes simultanées, il peut dépasser les poids. C’est pourquoi la H200 SXM avec 141 GB coûte plus cher qu’une H100 SXM exploitant le même silicium.

Taille du modèle	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Carte NVIDIA la moins chère qui convient, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 couches, MHA, cache important	35 GB	22 GB	15 GB	L4, 24 GB, serré
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bmême formule, pas de ligne dans le guide	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Poids plus un cache KV à 8 192 tokens et en batch 1, plus 2 GB de surcharge, repris du guide VRAM GPU avec la carte la moins chère qui contient chaque valeur FP8. La dernière colonne concerne uniquement NVIDIA, car l’alternative implique une pile logicielle différente : sur la ligne 120B, la MI300X de 192 GB contient les mêmes 125 GB pour $1,590 par mois contre $2,290 pour la H200 SXM, au prix de ROCm plutôt que CUDA et de Dallas plutôt que trois sites. La ligne 120B est la même formule poussée d’un cran, en reprenant le cache de 2,7 GB de la ligne 70B, car aucune ligne du guide ne couvre cette taille. La ligne 405B est l’exception de la colonne, car aucune carte seule d’une marque ou de l’autre ne la contient et le nœud le moins cher qui le fait est le 8× MI300X. Un 70B en FP8 laisse 5 GB de marge sur une carte de 80 GB à 8k et ne tient plus à 32k, où le cache seul fait 10,7 GB.

02 Bande passante

Pourquoi la bande passante mémoire compte-t-elle plus que les TFLOPS pour l’inférence LLM ?

Décoder un token lit chaque poids une fois. La carte attend la mémoire, pas le calcul.

À un batch de un, le décodage lit l’intégralité des poids depuis la VRAM pour chaque token et exécute environ deux opérations en virgule flottante par paramètre, ce qui en BF16 représente une opération par octet chargé. Occuper les cœurs tensoriels d’une H100 SXM demande environ 300, en considérant ses 1 979 TFLOPS FP16 creux comme environ 990 denses face à 3,35 TB/s de bande passante. La carte est très nettement limitée par la mémoire, donc le plafond de tokens par seconde est la bande passante divisée par les octets de poids lus par token.

Un modèle 8B en BF16 pèse 16 GB. Sur une RTX 4090 à 1,01 TB/s, le plafond est de 63 tokens par seconde ; sur une H100 SXM à 3,35 TB/s, il est de 209. Ce sont des plafonds de fiche technique et le décodage réel se situe en dessous, d’une fraction que nous ne citerons pas faute de source. Le classement reste valable. Le prefill est le cas opposé, limité par le calcul, et c’est là que les cœurs tensoriels FP8 montrent leur utilité.

Plafond, tokens par seconde = bande passante mémoire ÷ (paramètres × octets par paramètre). Le batching augmente le débit par carte sans augmenter la vitesse d’une requête isolée, car les poids sont lus une seule fois pour tout le batch.

Deux faits du tableau qui ne nous avantagent pas. Une A100 SXM à 2,04 TB/s a plus de bande passante qu’une H100 PCIe, et une RTX 3090 à 936 GB/s a plus de bande passante qu’une L40S. Ni l’une ni l’autre n’est la meilleure carte d’inférence. La section 03 explique pourquoi.

GPU	VRAM	Bande passante	Plafond, 8B en BF16	Mensuel	Par GPU-heure
B200Blackwell, HBM3e, minimum 2 GPU	180 GB	8 TB/s	500 t/s	$3,890/mois	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mois	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mois	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mois	$2.35
A100 SXMAmpere, pas de FP8	80 GB	2.04 TB/s	128 t/s	$990/mois	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mois	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mois	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mois	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mois	$0.64
RTX 3090Ampere, pas de FP8	24 GB	936 GB/s	59 t/s	$230/mois	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mois	$0.72
A40Ampere, pas de FP8	48 GB	696 GB/s	44 t/s	$240/mois	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mois	$0.35

La colonne du plafond est la bande passante divisée par 16 GB de poids BF16 : une borne supérieure issue de la fiche technique, pas une mesure. Le tarif par GPU-heure est le tarif mensuel divisé par 720. Le prix de la B200 est par carte et la carte est vendue sur une carte mère HGX 8 voies, donc la plus petite commande de B200 est de deux cartes, soit $7,780 par mois avant la remise pour deux cartes. Les quinze cartes figurent au catalogue GPU.

03 Précision

Le FP8 a-t-il de l’importance, et pourquoi l’A100 est-elle une carte d’inférence moins bonne que son prix ne le laisse penser ?

Le FP8 divise les poids par deux. Cela divise par deux les octets lus par token et double la taille du modèle qui tient.

Hopper, Ada Lovelace et Blackwell disposent de cœurs tensoriels FP8 : B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 et L4. Ampere n’en dispose pas. L’A100, l’A40, la RTX A6000, la RTX A5000 et la RTX 3090 n’acceptent pas le FP8, et c’est une limite matérielle, pas une lacune de pilote.

Ainsi, un modèle 70B en FP8 pèse 75 GB et tourne sur une seule H100 SXM à $1,690 par mois, soit $2.35 par GPU-heure. Sur Ampere, il tourne en BF16 à 145 GB, ce qui nécessite deux cartes A100 SXM : $1,980 au tarif catalogue, $1,881 par mois avec la remise de 5 % pour deux cartes, soit $2.61 de l’heure pour le point de terminaison contre $2.35 pour la H100 SXM seule, avec un trafic tensor-parallèle sur chaque token. La carte la moins chère construit le point de terminaison le plus cher.

Ampere vaut toujours la peine d’être loué

Pour le fine-tuning, pour le serving en 4 bits, et là où 80 GB sous $1,000 par mois sont l’objectif. C’est un mauvais choix par défaut pour un endpoint de tokens en production, et le prix de $990 le masque.

La MI300X est l’exception à connaître. 192 GB de HBM3 à 5,3 TB/s pour $1,590 par mois font tenir un modèle 70B en BF16 sur une seule carte, 145 GB avec 47 GB de marge, sans quantification ni sharding. Elle démarre notre template ROCm 6.4 avec un build PyTorch ROCm.

04 Choix

Quel est le meilleur GPU pour l’inférence LLM selon la taille du modèle ?

Trié par taille de modèle. Une carte par tranche, choisie selon les calculs ci-dessus.

Ce que vous servez	Choix	VRAM	Hebdomadaire	Mensuel	Par GPU-heure
7B–8B, toujours actif, faible QPS72 W, simple slot, FP8	L4	24 GB	$70	$250/mois	$0.35
7B–14B, la latence compte1.01 TB/s, 265 en stock	RTX 4090	24 GB	$110	$390/mois	$0.54
14B–24B en FP8mémoire la plus rapide sous $600	RTX 5090	32 GB	$155	$540/mois	$0.75
24B–34B en FP8ECC, nœuds 8 voies, cœurs RT	L40S	48 GB	$148	$520/mois	$0.72
32B en BF16, sans quantificationHopper à 350 W	H100 PCIe	80 GB	$420	$1,490/mois	$2.07
70B en FP8, une cartele choix par défaut en production	H100 SXM	80 GB	$475	$1,690/mois	$2.35
70B en BF16, une cartele plus de HBM par carte	MI300X	192 GB	$450	$1,590/mois	$2.21
100B–120B, ou 70B à 128kmarge de cache KV	H200 SXM	141 GB	$640	$2,290/mois	$3.18
405B en FP8, un nœud8 voies, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mois	$4.86

Le tarif par GPU-heure est le tarif mensuel divisé par 720, et pour le nœud divisé par 8 cartes et 720 heures. Les remises multi-GPU sont de 5 % à deux cartes, 8 % à quatre, 10 % à huit, donc un nœud 8× H100 SXM revient à $12,170 par mois, soit $2.11 par GPU-heure. En stock : 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Ce sont les cartes sur lesquelles nous ferions tourner la charge ; le tableau du guide VRAM nomme la carte la moins chère qui contient simplement le modèle, donc une ligne ici est parfois la carte la plus chère et la raison est dans la ligne. La ligne 405B est le cas le plus clair : le guide donne le nœud le moins cher qui contient un 405B en FP8, le 8× MI300X à $11,450, et ce tableau choisit le 8× B200 pour sa structure à 1.8 TB/s.

Les prix sont identiques à DFW-1 Dallas, IAD-1 Ashburn et PDX-1 Hillsboro, donc choisissez la région selon la latence. La MI300X est disponible uniquement à Dallas. Sur les huit B200, six sont à DFW-1 et deux à PDX-1, aucune à IAD-1.

05 L’instance

Qu’obtiens-je sur un serveur d’inférence LLM GPU Rent Hub ?

Bare metal, root, la pile de serving préinstallée, rien n’écoute tant que vous ne l’activez pas.

Template vLLM 0.9

Ubuntu 24.04 avec vLLM 0.9 et une unité serveur compatible OpenAI installée. L’unité est livrée désactivée. Vous l’activez et décidez ce qui peut atteindre le port.

Rien n’est exposé par défaut.

Template Ollama

Pour un modèle qui répond en deux minutes plutôt qu’un serveur ajusté. Ollama est lié à localhost et vous l’exposez vous-même, généralement via WireGuard.

Même règle : localhost jusqu’à ce que vous le déplaciez.

20 TB de trafic sortant inclus

Avec environ 100 octets de JSON et de tramage SSE par token diffusé, cela représente environ 200 milliards de tokens par mois. Un endpoint de texte ne l’atteindra pas.

Ensuite $4/TB. Entrant non compté.

Port 100G, 10G garanti

Uplink 100G partagé avec un plancher de 10 Gbps, une IPv4 et un /64 IPv6. Un port 100G dédié coûte $220 par mois si vous diffusez de l’audio ou des images.

VLAN privé entre instances, $25/mois.

L’inférence permanente est le cas le plus clair pour un engagement : sollicitée à des heures imprévisibles, intolérante aux démarrages à froid, conservant des poids qu’une plateforme facturée à l’usage retirerait à chaque montée en charge. La carte est à vous pendant 720 heures, que le trafic arrive ou non, et ne peut pas être préemptée. L’arithmétique du point de bascule figure sur location de GPU mensuelle ou horaire, les détails de déploiement dans la documentation. Une commande, un paiement en BTC, ETH, USDT, USDC, XMR, SOL ou LTC : comment fonctionne le paiement en crypto, et ce que signifie l’hébergement de GPU sans KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Quand ne pas le faire

Quand ne faut-il pas louer un GPU dédié pour l’inférence LLM ?

Trois cas où une carte dédiée est le mauvais outil, et nous préférons le dire.

En dessous d’environ dix millions de tokens par mois, utilisez une API de tokens hébergée. Un modèle 7B sur une L4 coûte $250 par mois, soit $25 par million de tokens à ce volume, et les tarifs par token standard pour un modèle ouvert comparable se situent en dessous.

Deuxièmement, le trafic en rafales. Un endpoint qui répond à cent requêtes le mardi et à rien jusqu’à la semaine suivante occupe la carte pendant quelques minutes et la loue pour 720 heures. Utilisez un fournisseur horaire. Notre durée la plus courte est de sept jours et il n’y a pas de compteur.

Troisièmement, une carte plus petite qui fait le travail. Quantifiez un modèle 34B en 4 bits et il tient dans 21 GB, qu’une RTX 3090 à $230 par mois sert à 936 GB/s avec 3 GB de marge, une mémoire plus rapide que la RTX A5000 moins chère que le tableau du guide nomme pour la même cellule. Ne louez pas une H100 SXM parce que le modèle a un grand nombre dans son nom.

Louez chez nous si

L’endpoint est toujours actif, la facturation par token est devenue votre plus gros poste, les poids et les prompts doivent rester sur du matériel que personne d’autre ne touche, ou vous voulez payer en crypto sans contrôle d’identité.

Ne louez pas chez nous si

Vous avez besoin d’une carte pour un après-midi, le trafic est imprévisible et faible, ou vous n’avez pas encore vérifié si le modèle tient en 4 bits sur une carte quatre fois moins chère.

L’entraînement est un problème de dimensionnement différent, dominé par les états d’optimiseur : voir GPU pour le fine-tuning.

07 Questions

GPU pour l’inférence LLM, en clair.

Quel est le meilleur GPU pour l’inférence LLM ?

Cela dépend de la taille du modèle. Pour du 7B à 14B, une RTX 4090 à $390 par mois est le choix de valeur. Pour du 24B à 34B en FP8, une L40S avec 48 GB à $520. Pour du 70B en FP8, une H100 SXM à $1,690, soit $2.35 par GPU-heure. Pour du 100B et plus, une H200 SXM à $2,290.

De quoi un endpoint 70B a-t-il besoin au-delà des poids ?

De cache, et il évolue avec la concurrence plutôt qu’avec le modèle. Le chiffre des poids et d’un flux unique figure dans le guide VRAM GPU : 75 GB en FP8 à 8 192 tokens et en batch 1. Chaque requête simultanée supplémentaire à ce contexte ajoute 2,7 GB, donc huit en vol représentent environ 22 GB de plus et trente-deux environ 85 GB. C’est la différence entre une carte de 80 GB servant un flux avec 5 GB de marge et une H200 à 141 GB ou une MI300X à 192 GB servant un endpoint avec une vraie concurrence. Quantifier le cache en FP8 divise par deux chacune de ces valeurs.

Puis-je louer un GPU pour vLLM ?

Oui. Toute instance démarre le template vLLM 0.9 sur Ubuntu 24.04, qui comprend une unité serveur compatible OpenAI livrée désactivée jusqu’à ce que vous l’activiez. Vous disposez du root sur le bare metal, donc vous pouvez la remplacer par votre propre build. La MI300X utilise le template ROCm 6.4 avec un build PyTorch ROCm.

Pourquoi l’A100 n’est-elle pas une bonne carte d’inférence LLM ?

Ampere ne possède pas de cœurs tensoriels FP8, donc un modèle 70B tourne en BF16 à 145 GB. Cela nécessite deux cartes A100 SXM, $1,980 au tarif catalogue et $1,881 par mois une fois la remise de 5 % pour deux cartes appliquée, contre une H100 SXM à $1,690 servant le même modèle en FP8 à 3,35 TB/s. L’A100 reste une bonne carte de fine-tuning et de serving en 4 bits.

Combien de tokens par seconde un GPU produira-t-il ?

La borne supérieure est la bande passante mémoire divisée par les octets de poids lus par token. Un modèle 8B en BF16 pèse 16 GB, donc une RTX 4090 à 1,01 TB/s plafonne près de 63 tokens par seconde et une H100 SXM à 3,35 TB/s près de 209. Les piles réelles se situent sous le plafond, et la distance dépend de vos kernels, de la forme du batch et de l’ordonnanceur ; c’est pourquoi nous publions la borne et non une fraction de celle-ci.

Une location mensuelle convient-elle à un endpoint LLM toujours actif ?

Généralement. Un terme forfaitaire coûte la même chose que le trafic arrive ou non, donc un endpoint qui répond à des heures imprévisibles ne paie pas de prime d’inactivité, n’a pas de démarrage à froid et ne fait jamais la queue pour de la capacité. Le point de bascule découle des prix : $1,690 pour un mois de H100 SXM contre un compteur illustratif de $2.49 à $3.49 atteint l’équilibre entre environ 480 et 680 heures utilisées sur un mois de 720 heures, donc en dessous, un fournisseur horaire est moins cher. Le calcul complet figure sur notre page mensuel contre horaire.

Incluez-vous assez de bande passante pour une API de tokens ?

Oui. Chaque instance inclut 20 TB de trafic sortant par mois, ce qui, à environ 100 octets de JSON et de tramage SSE par token diffusé, représente environ 200 milliards de tokens. Le trafic entrant est non mesuré, donc récupérer les poids ne coûte rien. Au-delà de 20 TB, le tarif est de $4 par TB, et un port 100G dédié coûte $220 par mois.

Dois-je fournir une pièce d’identité pour louer un serveur d’inférence LLM ?

Non. Un compte se compose d’un nom d’utilisateur et d’un mot de passe, sans adresse e-mail requise, et vous payez chaque terme par un seul transfert en Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin. GPU Rent Hub Compute LLC fonctionne ainsi depuis le 15 mars 2021, avec 6,300 GPU répartis entre DFW-1 Dallas, IAD-1 Ashburn et PDX-1 Hillsboro.

Des cas de dimensionnement plus poussés dans le guide VRAM GPU, toutes les cartes dans le catalogue GPU, les remises de durée sur la page des tarifs.

Placez l’endpoint sur du matériel que personne d’autre ne touche.

Déployez vLLM sur une carte dédiée à DFW-1, IAD-1 ou PDX-1 en environ quatre-vingt-dix secondes. Une commande, un paiement, pas d’e-mail, pas de pièce d’identité.

Créer un compte →