どのくらいのVRAMが必要か？ まず計算、それからカード。
70BパラメータのモデルをBF16で配信するには約145GB、FP8では75GB、INT4では40GBのVRAMが必要です。GPU Rent Hubはそれぞれに専用カードを貸し出しています。INT4なら48GB A40で月額240ドル、FP8なら80GB H100 PCIeで1,490ドル、BF16なら192GB MI300Xで1,590ドル。支払いはBitcoin、Ethereum、USDT、USDC、Monero、Solana、Litecoinに対応し、本人確認は不要です。以下に示す数値はすべて再計算できる算数です。ベンチマークは一つもありません。出所を示せない数値は掲載しないからです。
モデルに必要なVRAMはどう計算するのか？
項は3つ。重み、KVキャッシュ、ランタイムオーバーヘッド。そのうち2つは正確に計算できます。
サイジングの基本式
必要なVRAM = (パラメータ数 × パラメータあたりバイト数) + KVキャッシュ + 約2GBのランタイムオーバーヘッド。 パラメータあたりバイト数は、FP32で4、BF16またはFP16で2、FP8で1、INT4で0.5です。KVキャッシュは 2 × レイヤー数 × KVヘッド数 × ヘッド次元 × 要素あたりバイト数 × コンテキスト長 × バッチサイズ で、先頭の2はキーとバリューを表します。ランタイムオーバーヘッドはCUDAコンテキスト、フレームワーク、アロケータの断片化で、単一プロセスでは2GBを安全な余裕として見ておきます。
一度計算してみます。70BモデルをFP8、8,192トークン、バッチ1で動かす場合、重み70GB、KVキャッシュ2.7GB、オーバーヘッド2GBで合計75GB。80GBカード1枚に5GBの余裕をもって収まります。
最後の1ギガバイトで議論する前に決めておく2つの慣習。
パラメータ数（10億単位）×パラメータあたりバイト数は、1ギガバイトを109バイトとする十進法の慣習で、そのままギガバイトになります。カード容量も同じ表記です。代わりにギビバイトで報告するツールでは、ここの数値が約7%小さくなるため、最後の1ギガバイトまで使い切る計画ではなく余裕を残すべき理由になります。
サイズはアクティブなパラメータではなく、常駐するパラメータで見ます。Mixture-of-expertsモデルは全エキスパートをVRAMに保持し、トークンごとに2つを実行します。メモリは全体、速度は部分のものになります。
7B、13B、34B、70B、405Bモデルを動かすにはどのくらいのVRAMが必要か？
重みに、8,192トークン・バッチ1のKVキャッシュと2GBを加えたものです。コンテキストを変えるとKV列が動き、重みは動きません。
| モデル | 8k・バッチ1のKV | BF16合計 | FP8合計 | INT4合計 |
|---|---|---|---|---|
| 7B32レイヤー、GQA、KVヘッド8 | 1.1 GB | 17 GB | 10 GB | 7 GB |
| 13B40レイヤー、MHA、GQAなし | 6.7 GB | 35 GB | 22 GB | 15 GB |
| 34B60レイヤー、GQA、KVヘッド8 | 2.0 GB | 72 GB | 38 GB | 21 GB |
| 70B80レイヤー、GQA、KVヘッド8 | 2.7 GB | 145 GB | 75 GB | 40 GB |
| 405B126レイヤー、GQA、KVヘッド8 | 4.2 GB | 816 GB | 411 GB | 209 GB |
13Bの行が興味深い点です。下にある70Bより大きなKVキャッシュを抱えています。この形状では40個のキー・バリューヘッドを持つマルチヘッドアテンションを使いますが、後発モデルはグループ化クエリアテンションで8個です。この変更でキャッシュは5〜8分の1に減り、ロングコンテキスト配信が現実的な価格になった理由です。2024年より前のモデルをサイジングする場合は、パラメータ数より先にアテンション方式を確認してください。
バッチサイズはKVキャッシュだけに掛かります。70Bをバッチ32にすると、同じ70GBの重みに85GBのキャッシュが加わるため、エンドポイントには1リクエストずつの処理よりはるかに多くのメモリが必要です。サービスとしてのサイジングはLLM推論向けGPUページにあります。
長いコンテキストではKVキャッシュにどのくらいのVRAMを使うのか？
トークンに対して線形、バッチに対しても線形。128kではキャッシュが重みより大きくなることがあります。
| モデル形状 | トークンあたりKV | 8k | 32k | 128k |
|---|---|---|---|---|
| 7B、32レイヤー、GQAKV幅 1,024 | 0.13 MB | 1.1 GB | 4.3 GB | 17.2 GB |
| 13B、40レイヤー、MHAKV幅 5,120 | 0.82 MB | 6.7 GB | 26.8 GB | 107.4 GB |
| 34B、60レイヤー、GQAKV幅 1,024 | 0.25 MB | 2.0 GB | 8.1 GB | 32.2 GB |
| 70B、80レイヤー、GQAKV幅 1,024 | 0.33 MB | 2.7 GB | 10.7 GB | 42.9 GB |
| 405B、126レイヤー、GQAKV幅 1,024 | 0.52 MB | 4.2 GB | 16.9 GB | 67.6 GB |
これが効いてくる場面。
70BをFP8で動かすと、8kなら80GBカードに5GBの余裕で収まります。32kまで伸ばすとキャッシュだけで10.7GBになり、収まらなくなります。だからこそ141GBのH200 SXMや192GBのMI300Xが製品として存在します。これらはH100 SXMより多くのコンテキストを保持できます。それは「速い」とは別の話です。
モデルをファインチューニングするにはどのくらいのVRAMが必要か？
フルファインチューニングにはパラメータあたり約16バイトかかります。LoRAは2、QLoRAは0.5。この3つの数字の差が決断のすべてです。
Adamを使うフルファインチューニングでは、パラメータごとに5つのものを保持します。BF16の重み（2バイト）、BF16の勾配（2バイト）、FP32のマスターコピー（4バイト）、Adamの1次モーメントと2次モーメント（各4バイト）。合計で、アクティベーションを除いてパラメータあたり16バイトです。LoRAはベースを凍結するため、凍結モデルにパラメータあたり2バイト、アダプタ（通常はパラメータの約0.5%）にのみオプティマイザ状態を払います。QLoRAは凍結したベースを4ビットに量子化するため、パラメータあたり0.5バイトで済み、アダプタは変わりません。
| モデル | フルFT、重み+Adam | フルFT、アクティベーション込み | LoRA | QLoRA |
|---|---|---|---|---|
| 7B | 112 GB | 129 GB | 21 GB | 10 GB |
| 13B | 208 GB | 239 GB | 33 GB | 14 GB |
| 34B | 544 GB | 626 GB | 79 GB | 28 GB |
| 70B | 1,120 GB | 1,288 GB | 156 GB | 51 GB |
| 405B | 6,480 GB | 7,452 GB | 856 GB | 249 GB |
フルファインチューニング列は、すべてをGPU上に常駐させる素朴な数字です。オプティマイザ状態をホストメモリにオフロードするZeRO stage 3を使えばGPU側の必要量を大幅に減らせます。当社の8-wayノードにはまさにそのために2TBのホストRAMを搭載しています。オフロードはPCIe帯域をVRAMと引き換えにするため、実行を「可能」にはしますが「高速」にはしません。手法の選び方はファインチューニング向けGPUページにあります。
最初の列と最後の2列を比べてください。70Bのフルファインチューニングには8枚構成ノードが要り、月額11,450ドル。同じ70BをQLoRAで行う場合に必要なのは51GB、つまりA100 SXM 80GB（月額990ドル）1枚です。手法としては劣るものの、12倍も劣ることは稀であり、そのために12倍の差になります。この質問をする人の多くはフルファインチューニングの数字を提示されていますが、実際には不要です。
70Bモデル、あるいは他のサイズにはどのGPUが必要か？
縦にモデルサイズ、横に手法を示します。各セルは必要なVRAMと、それを収められる当社機材の中で最も安いものです。
| モデル | 推論 BF16 | 推論 FP8 | 推論 INT4 | QLoRA | LoRA | フルファインチューニング |
|---|---|---|---|---|---|---|
| 7B | 17 GBRTX A5000 $190 | 10 GBL4 $250 | 7 GBRTX A5000 $190 | 10 GBRTX A5000 $190 | 21 GBRTX A5000 $190、余裕少 | 129 GBMI300X $1,590 |
| 13B | 35 GBA40 $240 | 22 GBL4 $250、余裕少 | 15 GBRTX A5000 $190 | 14 GBRTX A5000 $190 | 33 GBA40 $240 | 239 GB4× A100 $3,643 |
| 34B | 72 GBA100 SXM $990 | 38 GBRTX 6000 Ada $460 | 21 GBRTX A5000 $190、余裕少 | 28 GBA40 $240 | 79 GBA100 SXM $990、余裕少 | 626 GB8× A100 $7,130、余裕少 |
| 70B | 145 GBMI300X $1,590 | 75 GBH100 PCIe $1,490 | 40 GBA40 $240 | 51 GBA100 SXM $990 | 156 GBMI300X $1,590 | 1,288 GB8× MI300X $11,450 |
| 405B | 816 GB8× MI300X $11,450 | 411 GB8× MI300X $11,450 | 209 GB8× A40 $1,728 | 249 GB8× A40 $1,728 | 856 GB8× MI300X $11,450 | 7,452 GB5ノード、要見積もり |
注目すべきセルは70BのINT4です。40GBをA40 48GB（月額240ドル）が収めます。仕掛けではなく、4ビット量子化と48GBのGDDR6が買えるものがこれです。その代わりに何を諦めたかはセクション07にあります。8-wayノード1台を超える規模はカードの問題ではなくクラスタの問題であり、マルチGPUクラスターレンタルページの管轄です。
1ドルあたり最も多くのVRAMを得られるGPUはどれか？
月額料金をVRAMのギガバイト数で割った値と、メモリ帯域を月額料金で割った値。どちらも公開しているところはありません。どちらもTFLOPS値より多くの購買判断を左右します。
| GPU | VRAM | 帯域 | 月額 | 月額1GBあたりドル | 月額1ドルあたりGB/s | GPU時間あたり |
|---|---|---|---|---|---|---|
| MI300XHBM3、CDNA 3 | 192 GB | 5.3 TB/s | $1,590/月 | $8.28 | 3.33 | $2.21 |
| B200HBM3e、Blackwell、2GPU以上 | 180 GB | 8 TB/s | $3,890/月 | $21.61 | 2.06 | $5.40 |
| H200 SXMHBM3e、Hopper | 141 GB | 4.8 TB/s | $2,290/月 | $16.24 | 2.10 | $3.18 |
| H100 SXMHBM3、NVLink 900 GB/s | 80 GB | 3.35 TB/s | $1,690/月 | $21.13 | 1.98 | $2.35 |
| H100 PCIeHBM2e | 80 GB | 2 TB/s | $1,490/月 | $18.63 | 1.34 | $2.07 |
| A100 SXMHBM2e、FP8なし | 80 GB | 2.04 TB/s | $990/月 | $12.38 | 2.06 | $1.38 |
| L40SGDDR6 ECC、FP8 | 48 GB | 864 GB/s | $520/月 | $10.83 | 1.66 | $0.72 |
| RTX 6000 AdaGDDR6 ECC、FP8 | 48 GB | 960 GB/s | $460/月 | $9.58 | 2.09 | $0.64 |
| RTX A6000GDDR6 ECC、FP8なし | 48 GB | 768 GB/s | $290/月 | $6.04 | 2.65 | $0.40 |
| A40GDDR6 ECC、FP8なし | 48 GB | 696 GB/s | $240/月 | $5.00 | 2.90 | $0.33 |
| RTX 5090GDDR7、FP8 | 32 GB | 1.79 TB/s | $540/月 | $16.88 | 3.31 | $0.75 |
| RTX 4090GDDR6X、FP8 | 24 GB | 1.01 TB/s | $390/月 | $16.25 | 2.59 | $0.54 |
| L4GDDR6、FP8、72 W | 24 GB | 300 GB/s | $250/月 | $10.42 | 1.20 | $0.35 |
| RTX 3090GDDR6X、FP8なし | 24 GB | 936 GB/s | $230/月 | $9.58 | 4.07 | $0.32 |
| RTX A5000GDDR6 ECC、FP8なし | 24 GB | 768 GB/s | $190/月 | $7.92 | 4.04 | $0.26 |
2つの列で異なるカードが勝つため、両方を公開しています。A40は1GBを月額5.00ドルで保持します。同じ48GBに対するL40Sの半分以下です。背後にあるのが696GB/sの2020年製カードだからです。RTX 3090は1ドルあたり4.07GB/sで、H100 SXMの2倍以上です。古いコンシューマー向けカードで、バスが速く、レンタル料が安いからです。どちらもここで最高のカードではありません。どちらも特定の問いに正しく答えます。
MI300Xは外れ値です。1GBあたり8.28ドルで、A100、H100、H200より安いメモリであり、背後に5.3TB/sがあります。だからこそ上の大規模モデルのセルを埋めています。コストはCUDAではなくROCmであることです。vLLMとPyTorchは動き、手書きのCUDAカーネルは動きません。
VRAMは常に多ければ正解か？
いいえ。容量を買うことが誤った買い物になる3つのケースを、それぞれ計算付きで示します。
ボトルネックは容量ではなく帯域
1トークンのデコードでは、常駐するすべての重みをVRAMから一度読み出します。帯域をモデルの常駐サイズで割ると、単一ストリームのトークン/秒の硬い上限になります。7BをBF16で動かすと14GBなので、A40（696GB/s）は50トークン/秒を超えられず、RTX 5090（1.79TB/s）は128を超えられません。どちらもモデルは収まります。一方はその処理が2.6倍速いのです。
小さいカードでの量子化が、大きいカードでのフル精度に勝つ
34BをBF16で動かすと合計72GBで、A100（990ドル）が必要です。68GBの重みに対して2.04TB/sだと上限は30トークン/秒。同じ34BをINT4にすると合計21GBで、RTX 4090（390ドル）に収まります。17GBの重みに対して1.01TB/sだと上限は59。より速く、61%安い。諦めたのは量子化された重みの品質であり、それは仮定ではなく実際に評価すべきものです。
安いカード2枚、時には有効
A40を2枚使えば96GBで月額456ドル。A100 1枚の80GBで990ドルと比べ、メモリは多く、価格は半分以下です。カードごとにレプリカを置くバッチ推論、QLoRA、低並列でのレイヤー分割配信では機能します。テンソル並列やall-reduceを伴う学習ステップでは失敗します。カード間のリンクこそ、あなたが買わなかった部分だからです。
NVLinkの論点を正確に述べる。
H100 SXMはNVLinkで隣接カードと900GB/sで通信します。A40またはRTX A6000のペアはNVLinkブリッジで112GB/sです。L40SはNVLinkがなく、PCIe Gen4ピアツーピアで約32GB/sのラインレートでデータを移動します。RTX 5090もNVLinkはありませんが、リンクがGen5なので約63GB/sです。その差はテンソル並列の実行ではトークンごと、レイヤーごとに一度支払われます。
テンソルではなくレイヤーで分割すれば、その通信の大部分を避けられ、何も増えません。トークンごとにモデルの全バイトを読むことに変わりはなく、1枚だけでなく2枚で順番に読むだけです。テンソル並列は2枚のカードを2倍の帯域に変えるものであり、まさに高速リンクを必要とするモードです。トレードオフはそれだけです。
計算例
- 2× RTX 5090
- 64GB、合計3.58TB/s、月額1,026ドル、PCIe Gen5ピアツーピア
- 1× H100 SXM
- 80GB、3.35TB/s、月額1,690ドル、単一メモリ空間
- 判定
- このペアは紙の上では勝ち、1枚あたり32GBに収まらないモデルでは負ける
このページがあなたを他へ送るべきケース。
当社の最短契約は7日間です。13Bが24GBに収まるかを確認するために午後だけカードが必要なら、時間単位のプロバイダーを使ってください。数時間の料金は、当社のRTX A5000の最低週額55ドルより安く済みます。当社は時間売りをしておらず、その予定もありません。
収まるかどうかではなく速度で2枚のカードを選ぶなら、表を読むのをやめて、両方で自分のスタックを動かしてください。ここにあるのは容量の算数と帯域の上限です。どちらも、あなたのカーネル、バッチ形状、スケジューラが何をするかを予測しません。出所を示せないスループット値で、そうでないふりをするつもりもありません。
405Bのフルファインチューニングに6,480GBが必要なら、レンタルページではなくクラスタ、ファブリック、計画が必要です。DFW-1 Dallas、IAD-1 Ashburn、PDX-1 Hillsboroのマルチノード枠については営業に問い合わせてください。料金より先にインターコネクトの話になると思ってください。
- 学習、13Bまでの任意モデル
- RTX A5000 24GB、月額190ドル
- 24B〜34Bを本番で配信
- L40S 48GB、月額520ドル
- 600ドル未満で最速の単一カード
- RTX 5090 32GB、月額540ドル
- INT4で最も安い70B
- A40 48GB、月額240ドル
- 70BをBF16で1枚に
- MI300X 192GB、月額1,590ドル
- 70Bのロングコンテキスト
- H200 SXM 141GB、月額2,290ドル
一度入金すれば、約90秒でデプロイできます。メールアドレスも身分証明書も不要です。KYCなしGPUホスティングと暗号通貨支払いの仕組みをご覧ください。
人々が実際に尋ねる形で答える、VRAMの質問。
70Bモデルを動かすにはどのくらいのVRAMが必要ですか？
7BモデルにはどのくらいのVRAMが必要ですか？
KVキャッシュのサイズはどう計算しますか？
24GBのVRAMでモデルをファインチューニングできますか？
405BモデルにはどのGPUが必要ですか？
24GBのカード2枚は48GBのカード1枚のように機能しますか？
1GBあたりのVRAMが最も安いGPUはどれですか？
INT4への量子化で出力品質は落ちますか？
ワークロード別のサイジングはLLM推論向けGPUとファインチューニング向けGPUにあります。全仕様、在庫、価格はGPUカタログで。
数字は分かった。あとはカードを選ぶだけ。
DFW-1、IAD-1、PDX-1に15モデル。月額190ドルから。週単位または月単位。7種類の暗号通貨で支払え、本人確認なし。