De quelle quantité de VRAM ai-je besoin ? D’abord le calcul, ensuite la carte.
Un modèle de 70 milliards de paramètres nécessite environ 145 Go de VRAM pour être servi en BF16, 75 Go en FP8 et 40 Go en INT4, et GPU Rent Hub loue une carte dédiée pour chacun de ces cas : 240 $ par mois pour le cas INT4 sur une A40 de 48 Go, 1 490 $ pour le FP8 sur une H100 PCIe de 80 Go, 1 590 $ pour le BF16 sur une MI300X de 192 Go, payables en Bitcoin, Ethereum, USDT, USDC, Monero, Solana ou Litecoin, sans vérification d’identité. Chaque chiffre ci-dessous est un calcul que vous pouvez refaire. Aucun n’est un benchmark, car nous ne citerons pas un chiffre que nous ne pouvons pas sourcer.
Comment calculer la quantité de VRAM dont un modèle a besoin ?
Trois termes. Les poids, le cache KV et la surcharge d’exécution. Deux d’entre eux peuvent être calculés exactement.
Le bloc de dimensionnement
VRAM requise = (paramètres × octets par paramètre) + cache KV + environ 2 Go de surcharge d’exécution. Le nombre d’octets par paramètre est de 4 en FP32, 2 en BF16 ou FP16, 1 en FP8 et 0,5 en INT4. Le cache KV vaut 2 × couches × têtes KV × dimension de tête × octets par élément × longueur de contexte × taille de lot, où le 2 initial couvre la clé et la valeur. La surcharge d’exécution comprend le contexte CUDA, le framework et la fragmentation de l’allocateur ; 2 Go est une marge prudente pour un seul processus.
Exemple calculé : un modèle 70B en FP8 à 8 192 jetons et lot 1 représente 70 Go de poids, 2,7 Go de cache KV et 2 Go de surcharge, soit 75 Go, ce qui tient sur une carte de 80 Go avec 5 Go de marge.
Deux conventions, à fixer avant de discuter du dernier gigaoctet.
Des paramètres en milliards multipliés par des octets par paramètre donnent directement des gigaoctets, selon la convention décimale où un gigaoctet vaut 109 octets. Les capacités des cartes sont indiquées de la même façon. Les outils qui affichent des gibioctets réduisent chaque chiffre d’environ 7 %, ce qui justifie de garder une marge plutôt que de planifier au gigaoctet près.
Dimensionnez sur les paramètres résidents, pas sur les paramètres actifs. Un modèle mixture-of-experts conserve tous les experts en VRAM et en exécute deux par jeton : la mémoire du tout, la vitesse de la partie.
| Précision | Octets/param | 7B | 70B |
|---|---|---|---|
| FP32rarement utile pour l’inférence | 4 | 28 GB | 280 GB |
| BF16 / FP16le point de référence | 2 | 14 GB | 140 GB |
| FP8Ada, Hopper, Blackwell, CDNA 3 | 1 | 7 GB | 70 GB |
| INT4 / NF4poids uniquement, toute architecture | 0.5 | 3.5 GB | 35 GB |
De quelle VRAM ai-je besoin pour exécuter un modèle 7B, 13B, 34B, 70B ou 405B ?
Les poids plus un cache KV à 8 192 jetons et un lot de 1, plus 2 Go. Changez le contexte et la colonne KV bouge, pas les poids.
| Modèle | KV à 8k, lot 1 | Total BF16 | Total FP8 | Total INT4 |
|---|---|---|---|---|
| 7B32 couches, GQA, 8 têtes KV | 1.1 GB | 17 GB | 10 GB | 7 GB |
| 13B40 couches, MHA, pas de GQA | 6.7 GB | 35 GB | 22 GB | 15 GB |
| 34B60 couches, GQA, 8 têtes KV | 2.0 GB | 72 GB | 38 GB | 21 GB |
| 70B80 couches, GQA, 8 têtes KV | 2.7 GB | 145 GB | 75 GB | 40 GB |
| 405B126 couches, GQA, 8 têtes KV | 4.2 GB | 816 GB | 411 GB | 209 GB |
La ligne 13B est intéressante : elle porte un cache KV plus grand que le 70B en dessous. Sa forme utilise une attention multi-tête avec 40 têtes de clé et de valeur, alors que les modèles plus récents utilisent une attention par requêtes groupées et 8. Ce changement a réduit le cache d’un facteur cinq à huit et c’est pour cela que le service à long contexte est devenu abordable. Pour tout modèle antérieur à 2024, vérifiez le schéma d’attention avant le nombre de paramètres.
La taille de lot multiplie le cache KV et rien d’autre. Ce 70B en lot 32 ajoute 85 Go de cache aux mêmes 70 Go de poids, ce qui explique pourquoi un point de terminaison a besoin de beaucoup plus de mémoire qu’une seule requête à la fois. Le dimensionnement pour le service se trouve sur la page GPU pour l’inférence LLM.
Quelle quantité de VRAM le cache KV utilise-t-il en contexte long ?
Linéairement avec les jetons et linéairement avec le lot. À 128k, le cache peut occuper plus de mémoire que les poids.
| Forme du modèle | KV par jeton | 8k | 32k | 128k |
|---|---|---|---|---|
| 7B, 32 couches, GQAlargeur KV 1,024 | 0.13 MB | 1.1 GB | 4.3 GB | 17.2 GB |
| 13B, 40 couches, MHAlargeur KV 5,120 | 0.82 MB | 6.7 GB | 26.8 GB | 107.4 GB |
| 34B, 60 couches, GQAlargeur KV 1,024 | 0.25 MB | 2.0 GB | 8.1 GB | 32.2 GB |
| 70B, 80 couches, GQAlargeur KV 1,024 | 0.33 MB | 2.7 GB | 10.7 GB | 42.9 GB |
| 405B, 126 couches, GQAlargeur KV 1,024 | 0.52 MB | 4.2 GB | 16.9 GB | 67.6 GB |
Là où cela se paie.
Un 70B en FP8 tient sur une carte de 80 Go à 8k avec 5 Go de marge. Passez à 32k et le cache seul fait 10,7 Go, donc il ne tient plus. C’est pour cela que la H200 SXM à 141 Go et la MI300X à 192 Go existent comme produits. Elles tiennent plus de contexte qu’une H100 SXM, ce qui est différent d’être plus rapides.
De quelle VRAM ai-je besoin pour fine-tuner un modèle ?
Le fine-tuning complet coûte environ 16 octets par paramètre. LoRA en coûte 2. QLoRA en coûte 0.5. L’écart entre ces trois nombres est toute la décision.
Le fine-tuning complet avec Adam conserve cinq éléments par paramètre : les poids BF16 (2 octets), les gradients BF16 (2), une copie maître FP32 (4), ainsi que les premier et second moments d’Adam (4 chacun). Cela fait 16 octets par paramètre avant les activations. LoRA fige la base, de sorte que vous payez 2 octets par paramètre pour le modèle figé et l’état de l’optimiseur uniquement sur l’adaptateur, généralement un demi pour cent des paramètres. QLoRA quantifie cette base figée sur 4 bits, donc cela coûte 0.5 octet par paramètre et l’adaptateur reste inchangé.
| Modèle | FT complet, poids + Adam | FT complet, avec activations | LoRA | QLoRA |
|---|---|---|---|---|
| 7B | 112 GB | 129 GB | 21 GB | 10 GB |
| 13B | 208 GB | 239 GB | 33 GB | 14 GB |
| 34B | 544 GB | 626 GB | 79 GB | 28 GB |
| 70B | 1,120 GB | 1,288 GB | 156 GB | 51 GB |
| 405B | 6,480 GB | 7,452 GB | 856 GB | 249 GB |
La colonne de fine-tuning complet est le chiffre naïf, tout étant résident sur les GPU. ZeRO stage 3 avec l’état de l’optimiseur déchargé vers la mémoire de l’hôte réduit considérablement le besoin côté GPU, et nos nœuds à 8 GPU embarquent 2 To de RAM hôte exactement pour cela. Le déchargement échange de la bande passante PCIe contre de la VRAM : il rend une exécution possible plutôt que rapide. Le choix de la méthode se trouve sur la page GPU pour le fine-tuning.
Lisez les deux dernières colonnes par rapport à la première. Un fine-tuning complet d’un 70B exige un nœud à huit cartes à $11,450. Le même 70B en QLoRA demande 51 Go, soit une A100 SXM 80 Go à $990 par mois. C’est une différence d’un facteur douze pour une méthode moins bonne, mais rarement douze fois moins bonne. La plupart des gens qui posent cette question se sont vu annoncer le chiffre du fine-tuning complet et n’en ont pas besoin.
De quel GPU ai-je besoin pour un modèle 70B, ou pour toute autre taille ?
Taille du modèle en lignes, méthode en colonnes. Chaque cellule indique la VRAM nécessaire et l’élément le moins cher de notre flotte qui la contient.
| Modèle | Inférence BF16 | Inférence FP8 | Inférence INT4 | QLoRA | LoRA | Fine-tuning complet |
|---|---|---|---|---|---|---|
| 7B | 17 GBRTX A5000 $190 | 10 GBL4 $250 | 7 GBRTX A5000 $190 | 10 GBRTX A5000 $190 | 21 GBRTX A5000 $190, juste | 129 GBMI300X $1,590 |
| 13B | 35 GBA40 $240 | 22 GBL4 $250, juste | 15 GBRTX A5000 $190 | 14 GBRTX A5000 $190 | 33 GBA40 $240 | 239 GB4× A100 $3,643 |
| 34B | 72 GBA100 SXM $990 | 38 GBRTX 6000 Ada $460 | 21 GBRTX A5000 $190, juste | 28 GBA40 $240 | 79 GBA100 SXM $990, juste | 626 GB8× A100 $7,130, juste |
| 70B | 145 GBMI300X $1,590 | 75 GBH100 PCIe $1,490 | 40 GBA40 $240 | 51 GBA100 SXM $990 | 156 GBMI300X $1,590 | 1,288 GB8× MI300X $11,450 |
| 405B | 816 GB8× MI300X $11,450 | 411 GB8× MI300X $11,450 | 209 GB8× A40 $1,728 | 249 GB8× A40 $1,728 | 856 GB8× MI300X $11,450 | 7,452 GBcinq nœuds, sur devis |
La cellule à regarder est 70B en INT4 : 40 Go, tenus par une A40 48 Go à 240 $ par mois. Ce n’est pas un tour de passe-passe, c’est simplement ce qu’achètent une quantification sur 4 bits et 48 Go de GDDR6. La section 07 expose ce que vous abandonnez en échange. Tout ce qui dépasse un nœud 8 GPU est une question de cluster, pas de carte, et relève de la page location de clusters multi-GPU.
Quel GPU offre le plus de VRAM par dollar ?
Prix mensuel divisé par les gigaoctets de VRAM, et bande passante mémoire divisée par le prix mensuel. Personne ne publie l’un ni l’autre. Les deux déterminent plus d’achats qu’un chiffre de TFLOPS.
| GPU | VRAM | Bande passante | Mensuel | $ par Go/mois | Go/s par $/mois | Par GPU-heure |
|---|---|---|---|---|---|---|
| MI300XHBM3, CDNA 3 | 192 GB | 5.3 TB/s | $1,590/mois | $8.28 | 3.33 | $2.21 |
| B200HBM3e, Blackwell, 2 GPU minimum | 180 GB | 8 TB/s | $3,890/mois | $21.61 | 2.06 | $5.40 |
| H200 SXMHBM3e, Hopper | 141 GB | 4.8 TB/s | $2,290/mois | $16.24 | 2.10 | $3.18 |
| H100 SXMHBM3, NVLink 900 GB/s | 80 GB | 3.35 TB/s | $1,690/mois | $21.13 | 1.98 | $2.35 |
| H100 PCIeHBM2e | 80 GB | 2 TB/s | $1,490/mois | $18.63 | 1.34 | $2.07 |
| A100 SXMHBM2e, pas de FP8 | 80 GB | 2.04 TB/s | $990/mois | $12.38 | 2.06 | $1.38 |
| L40SGDDR6 ECC, FP8 | 48 GB | 864 GB/s | $520/mois | $10.83 | 1.66 | $0.72 |
| RTX 6000 AdaGDDR6 ECC, FP8 | 48 GB | 960 GB/s | $460/mois | $9.58 | 2.09 | $0.64 |
| RTX A6000GDDR6 ECC, pas de FP8 | 48 GB | 768 GB/s | $290/mois | $6.04 | 2.65 | $0.40 |
| A40GDDR6 ECC, pas de FP8 | 48 GB | 696 GB/s | $240/mois | $5.00 | 2.90 | $0.33 |
| RTX 5090GDDR7, FP8 | 32 GB | 1.79 TB/s | $540/mois | $16.88 | 3.31 | $0.75 |
| RTX 4090GDDR6X, FP8 | 24 GB | 1.01 TB/s | $390/mois | $16.25 | 2.59 | $0.54 |
| L4GDDR6, FP8, 72 W | 24 GB | 300 GB/s | $250/mois | $10.42 | 1.20 | $0.35 |
| RTX 3090GDDR6X, pas de FP8 | 24 GB | 936 GB/s | $230/mois | $9.58 | 4.07 | $0.32 |
| RTX A5000GDDR6 ECC, pas de FP8 | 24 GB | 768 GB/s | $190/mois | $7.92 | 4.04 | $0.26 |
Deux cartes différentes gagnent les deux colonnes, et c’est pourquoi nous publions les deux. L’A40 tient un gigaoctet pour $5.00 par mois, moins de la moitié de ce qu’une L40S facture pour les mêmes 48 Go, car c’est une carte de 2020 avec 696 Go/s derrière elle. La RTX 3090 offre 4.07 Go/s par dollar, plus du double de la H100 SXM, car c’est une ancienne carte grand public avec un bus rapide et un loyer bas. Ni l’une ni l’autre n’est la meilleure carte ici. Toutes deux répondent correctement à une question précise.
La MI300X est l’exception. À $8.28 par gigaoctet, c’est une mémoire moins chère qu’une A100, une H100 ou une H200, avec 5.3 To/s derrière elle, ce qui explique pourquoi elle remplit les cellules des grands modèles ci-dessus. Le coût est ROCm plutôt que CUDA : vLLM et PyTorch fonctionnent, un noyau CUDA écrit à la main ne fonctionne pas.
Plus de VRAM est-il toujours la bonne réponse ?
Non. Trois cas où acheter de la capacité est le mauvais achat, avec le calcul pour chacun.
La bande passante est le goulot d’étranglement, pas la capacité
Décoder un jeton lit une fois chaque poids résident depuis la VRAM. Divisez la bande passante par la taille résidente du modèle pour obtenir un plafond strict en jetons par seconde sur un seul flux. Un 7B en BF16 fait 14 Go ; une A40 à 696 Go/s ne peut donc pas dépasser 50 jetons par seconde et une RTX 5090 à 1.79 To/s ne peut pas dépasser 128. Les deux contiennent le modèle. L’une est 2.6 fois plus rapide pour cette tâche.
Quantifié sur une petite carte, cela bat la pleine précision sur une grosse
Un 34B en BF16 représente 72 Go tout compris et exige une A100 à $990 : 2.04 To/s sur ses 68 Go de poids donnent un plafond de 30 jetons par seconde. Le même 34B en INT4 représente 21 Go tout compris et tient sur une RTX 4090 à $390 : 1.01 To/s sur ses 17 Go de poids donnent un plafond de 59. Plus rapide, et 61 % moins cher. Ce que vous abandonnez, c’est la qualité sur les poids quantifiés, que vous évaluez au lieu de la supposer.
Deux cartes bon marché, parfois
Deux A40 donnent 96 Go pour $456 par mois, contre 80 Go pour $990 pour une seule A100. Plus de mémoire, moins de la moitié du prix. Cela fonctionne pour l’inférence par lots avec une réplique par carte, pour QLoRA et pour le service par découpage en couches à faible concurrence. Cela échoue en parallélisme de tenseurs et à chaque pas d’entraînement avec un all-reduce, car le lien entre les cartes est précisément la pièce que vous n’avez pas achetée.
Le point NVLink, énoncé précisément.
Une H100 SXM parle à ses voisines à 900 Go/s en NVLink. Une paire d’A40 ou de RTX A6000 passe par un pont NVLink à 112 Go/s. Une L40S n’a pas de NVLink et déplace les données en PCIe Gen4 peer-to-peer à un débit ligne d’environ 32 Go/s. Une RTX 5090 n’a pas non plus de NVLink, mais sa liaison est en Gen5, soit environ 63 Go/s. Cet écart est payé une fois par couche et par jeton dans une exécution en parallélisme de tenseurs.
Le découpage par couches plutôt que par tenseurs évite l’essentiel de ce trafic et n’augmente rien. Par jeton, vous lisez toujours chaque octet du modèle, sur deux cartes en séquence plutôt que sur une seule. Le parallélisme de tenseurs est ce qui transforme deux cartes en un doublement de bande passante, et c’est exactement le mode qui exige la liaison rapide. C’est tout l’arbitrage.
Comparaison chiffrée
- 2× RTX 5090
- 64 Go, 3.58 To/s agrégés, $1,026/mois, PCIe Gen5 peer-to-peer
- 1× H100 SXM
- 80 Go, 3.35 To/s, $1,690/mois, un seul espace mémoire
- Verdict
- La paire gagne sur le papier et perd sur tout modèle qui ne tient pas dans 32 Go par carte
Les cas où cette page devrait vous orienter ailleurs.
Notre durée la plus courte est de sept jours. Si vous avez besoin d’une carte pour un après-midi afin de vérifier si un 13B tient dans 24 Go, adressez-vous à un fournisseur horaire : quelques heures y coûtent moins que la semaine minimale de $55 sur une RTX A5000 ici. Nous ne vendons pas d’heures et n’avons pas l’intention de le faire.
Si vous hésitez entre deux cartes sur la vitesse plutôt que sur la capacité, arrêtez de lire des tableaux et exécutez votre pile sur les deux. Tout ce qui figure ici est un calcul de capacité et un plafond de bande passante. Ni l’un ni l’autre ne prédit ce que feront vos noyaux, la forme de vos lots et votre ordonnanceur, et nous ne prétendrons pas le contraire avec un chiffre de débit que nous ne pouvons pas sourcer.
Si vous avez besoin de 6,480 Go pour un fine-tuning complet d’un 405B, il vous faut un cluster, une structure réseau et un plan, pas une page de location. Demandez au service commercial les capacités multi-nœuds à DFW-1 Dallas, IAD-1 Ashburn ou PDX-1 Hillsboro et attendez-vous à parler d’interconnexion avant d’entendre un prix.
- Apprentissage, tout modèle jusqu’à 13B
- RTX A5000 24 Go, $190/mois
- Service de 24B à 34B en production
- L40S 48 Go, $520/mois
- Carte seule la plus rapide sous $600
- RTX 5090 32 Go, $540/mois
- 70B le moins cher en INT4
- A40 48 Go, $240/mois
- 70B en BF16 sur une seule carte
- MI300X 192 Go, $1,590/mois
- Contexte long sur 70B
- H200 SXM 141 Go, $2,290/mois
Déposez une fois, déployez en environ quatre-vingt-dix secondes, sans adresse e-mail et sans pièce d’identité. Voir hébergement GPU sans KYC et comment fonctionne le paiement en crypto-monnaie.
Questions sur la VRAM, posées comme les gens les posent.
De quelle VRAM ai-je besoin pour exécuter un modèle 70B ?
De quelle VRAM ai-je besoin pour un modèle 7B ?
Comment calculer la taille du cache KV ?
24 Go de VRAM suffisent-ils pour fine-tuner un modèle ?
De quel GPU ai-je besoin pour un modèle 405B ?
Deux cartes de 24 Go fonctionnent-elles comme une carte de 48 Go ?
Quel GPU a la VRAM la moins chère par gigaoctet ?
La quantification en INT4 nuit-elle à la qualité de sortie ?
Dimensionnement par charge de travail sur GPU pour l’inférence LLM et GPU pour le fine-tuning. Caractéristiques complètes, stock et tarifs sur le catalogue des GPU.
Vous connaissez le chiffre. Choisissez maintenant la carte.
Quinze modèles à DFW-1, IAD-1 et PDX-1, à partir de 190 $ par mois, à la semaine ou au mois, payables en sept crypto-monnaies sans contrôle d’identité.