LLM推論用GPUの選び方。
GPU Rent HubはLLM推論向け専用GPUサーバーを、NVIDIA L4の月額250ドルからH200 SXMの月額2,290ドルまでレンタルしており、ビットコイン、イーサリアム、USDT、USDC、Monero、Solana、Litecoinで支払え、本人確認は不要です。
カードを決める数字は2つ。重みとKVキャッシュに必要なVRAMと、1秒あたりのトークン数を決めるメモリ帯域幅です。
LLMの推論にはどれほどのVRAMが必要か？
ここでカードを決めるのは2つの数値です。導出はVRAMガイドに委ねます。変動する項はKVキャッシュであり、モデルではなくトラフィックに応じて変動します。
このページが前提とする2つの数値
70BモデルをFP8・8,192トークン・バッチ1で推論すると75 GBになり、そのうち2.7 GBがKVキャッシュです。それ以外のすべて、重み＋キャッシュ＋オーバーヘッドの式、各精度でのパラメータあたりバイト数、全モデルサイズの行は、GPU VRAMガイドで項ごとに導出しており、ここでは繰り返しません。この2つの数値が以下を支えます。75 GBは80 GBカードが70Bを5 GBの余裕で提供できる理由であり、2.7 GBのキャッシュは表の120B行に繰り越される項です。
キャッシュ項は長いコンテキストで主役になります。パラメータ数ではなく、コンテキスト長×バッチサイズに比例します。128k・同時32リクエストでは重みを上回ることがあります。同じシリコンを動かすH100 SXMよりも141 GBのH200 SXMが高額になるのはそのためです。
| モデルサイズ | BF16, 2 B/param | FP8, 1 B/param | 4-bit, 0.5 B/param | FP8で収まる最も安いNVIDIAカード |
|---|---|---|---|---|
| 7B–8BLlama 8B、Mistral 7B、Qwen 7B | 17 GB | 10 GB | 7 GB | L4、24 GB |
| 13B–14B40層、MHA、大きなキャッシュ | 35 GB | 22 GB | 15 GB | L4、24 GB、ぎりぎり |
| 32B–34B | 72 GB | 38 GB | 21 GB | RTX 6000 Ada、48 GB |
| 70B | 145 GB | 75 GB | 40 GB | H100 PCIe、80 GB |
| 120B同じ式、ガイドに行はなし | 245 GB | 125 GB | 65 GB | H200 SXM、141 GB |
| 405B | 816 GB | 411 GB | 209 GB | 8× MI300X、1,536 GB |
LLM推論ではなぜTFLOPSよりメモリ帯域幅が重要なのか？
1トークンのデコードではすべての重みを1回読みます。カードは演算ではなくメモリを待ちます。
バッチ1では、デコードはトークンごとに重みセット全体をVRAMから流し、パラメータあたり約2回の浮動小数点演算を行います。BF16ではロードされる1バイトあたり1回の演算です。H100 SXMのTensorコアを忙しく保つには、1,979 sparse FP16 TFLOPSをdenseで約990とし、3.35 TB/sの帯域幅と比較すると、おおよそ300が必要です。カードは大きな差でメモリ律速になるため、1秒あたりトークン数の上限は、帯域幅を1トークンあたりに読む重みのバイト数で割った値になります。
8BモデルをBF16にすると16 GBです。RTX 4090の1.01 TB/sでは上限は毎秒63トークン、H100 SXMの3.35 TB/sでは209です。これらはスペックシート上の上限であり、実際のデコードはこれを下回ります。どの程度下回るかは裏付けを提示できないため示しません。順位は変わりません。プリフィルは逆のケースで演算律速であり、FP8 Tensorコアが本領を発揮する場面です。
| GPU | VRAM | 帯域幅 | 上限、8B in BF16 | 月額 | GPU時間あたり |
|---|---|---|---|---|---|
| B200Blackwell、HBM3e、最低2 GPU | 180 GB | 8 TB/s | 500 t/s | $3,890/mo | $5.40 |
| MI300XCDNA 3、HBM3 | 192 GB | 5.3 TB/s | 331 t/s | $1,590/mo | $2.21 |
| H200 SXMHopper、HBM3e | 141 GB | 4.8 TB/s | 300 t/s | $2,290/mo | $3.18 |
| H100 SXMHopper、HBM3 | 80 GB | 3.35 TB/s | 209 t/s | $1,690/mo | $2.35 |
| A100 SXMAmpere、FP8なし | 80 GB | 2.04 TB/s | 128 t/s | $990/mo | $1.38 |
| H100 PCIeHopper、HBM2e | 80 GB | 2 TB/s | 125 t/s | $1,490/mo | $2.07 |
| RTX 5090Blackwell、GDDR7 | 32 GB | 1.79 TB/s | 112 t/s | $540/mo | $0.75 |
| RTX 4090Ada、GDDR6X | 24 GB | 1.01 TB/s | 63 t/s | $390/mo | $0.54 |
| RTX 6000 AdaAda、GDDR6 ECC | 48 GB | 960 GB/s | 60 t/s | $460/mo | $0.64 |
| RTX 3090Ampere、FP8なし | 24 GB | 936 GB/s | 59 t/s | $230/mo | $0.32 |
| L40SAda、GDDR6 ECC | 48 GB | 864 GB/s | 54 t/s | $520/mo | $0.72 |
| A40Ampere、FP8なし | 48 GB | 696 GB/s | 44 t/s | $240/mo | $0.33 |
| L4Ada、72 W | 24 GB | 300 GB/s | 19 t/s | $250/mo | $0.35 |
FP8は重要か、そしてA100が価格から示唆されるよりも推論カードとして劣るのはなぜか？
FP8は重みを半分にします。1トークンあたりに読むバイト数が半分になり、収容できるモデルは倍になります。
Hopper、Ada Lovelace、BlackwellにはFP8 Tensorコアがあります。B200、H200、H100 SXM、H100 PCIe、L40S、RTX 6000 Ada、RTX 5090、RTX 4090、L4です。Ampereにはありません。A100、A40、RTX A6000、RTX A5000、RTX 3090はFP8非対応で、これはドライバの不足ではなくシリコンの問題です。
したがって70BモデルをFP8にすると75 GBで、H100 SXM 1枚（月額1,690ドル、GPU時間あたり2.35ドル）で動きます。AmpereではBF16で145 GBになるため、A100 SXMが2枚必要です。定価で1,980ドル、2枚割引5%で月額1,881ドル、エンドポイントの時間あたりは2.61ドルです。単一H100 SXMの2.35ドルに対し、全トークンでテンソル並列の通信が発生します。安いカードが、より高いエンドポイントを生むのです。
Ampereは今でも借りる価値がある
ファインチューニング、4-bitでの提供、そして月額1,000ドル未満で80 GBが必要なケースです。本番トークンエンドポイントの標準としては不向きで、990ドルという価格がそれを隠しています。
各モデルサイズでLLM推論に最適なGPUはどれか？
モデルサイズ順。帯ごとに1枚、上記の計算で選定。
| これの提供 | 選定 | VRAM | 週額 | 月額 | GPU時間あたり |
|---|---|---|---|---|---|
| 7B–8B、常時稼働、低QPS72 W、シングルスロット、FP8 | L4 | 24 GB | $70 | $250/mo | $0.35 |
| 7B–14B、レイテンシ重視1.01 TB/s、在庫265枚 | RTX 4090 | 24 GB | $110 | $390/mo | $0.54 |
| 14B–24B・FP8600ドル未満で最速のメモリ | RTX 5090 | 32 GB | $155 | $540/mo | $0.75 |
| 24B–34B・FP8ECC、8-wayノード、RTコア | L40S | 48 GB | $148 | $520/mo | $0.72 |
| 32B・BF16、量子化なし350 WのHopper | H100 PCIe | 80 GB | $420 | $1,490/mo | $2.07 |
| 70B・FP8、1枚本番の標準 | H100 SXM | 80 GB | $475 | $1,690/mo | $2.35 |
| 70B・BF16、1枚カードあたり最大のHBM | MI300X | 192 GB | $450 | $1,590/mo | $2.21 |
| 100B–120B、または128kの70BKVキャッシュの余裕 | H200 SXM | 141 GB | $640 | $2,290/mo | $3.18 |
| 405B・FP8、1ノード8-way、NVSwitch 1.8 TB/s | 8× B200 | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
価格はDFW-1ダラス、IAD-1アッシュバーン、PDX-1ヒルズボロで同一です。レイテンシでリージョンを選んでください。MI300Xはダラスのみです。8枚のB200のうち6枚はDFW-1、2枚はPDX-1にあり、IAD-1にはありません。
GPU Rent HubのLLM推論サーバーでは何が得られるのか？
ベアメタル、root権限、提供スタックはプリインストール済み。有効にするまで何もリッスンしません。
vLLM 0.9テンプレート
Ubuntu 24.04にvLLM 0.9とOpenAI互換サーバーユニットをインストール済み。ユニットは無効状態で提供されます。有効化し、ポートに到達できるものを自分で決めます。
Ollamaテンプレート
チューニング済みサーバーではなく、2分で回答を始めるモデル向け。Ollamaはlocalhostにバインドされ、通常はWireGuard経由で自身で公開します。
20 TBのアウトバウンド込み
ストリーミングトークンごとにJSONとSSEフレーミングで約100バイトとすると、月におよそ2000億トークンです。テキストエンドポイントでは到達しません。
100Gポート、10G保証
共有100Gアップリンクと10 Gbpsの下限、IPv4 1つとIPv6 /64。音声や画像をストリーミングする場合は専用100Gポートが月額220ドルです。
常時稼働の推論は期間契約が最も明確に合うケースです。予測不能な時間に忙しく、コールドスタートに弱く、従量制プラットフォームならスケールアップのたびに重みを引き直すことになります。トラフィックが来ても来なくても、カードは720時間あなたのもので、プリエンプトされません。採算分岐の計算は月額と時間単位のGPUレンタル、デプロイ詳細はドキュメントにあります。1回の注文、BTC・ETH・USDT・USDC・XMR・SOL・LTCのいずれかで1回の支払い：暗号通貨決済の仕組み、KYC不要GPUホスティングの意味。
LLM推論用の専用GPUを借りるべきでないのはどんなときか？
専用カードが間違った道具になる3つのケース。それを率直に申し上げます。
次に、バースト的なトラフィックです。火曜に100リクエストに応え、翌週まで何もないエンドポイントでは、カードが稼働するのは数分なのに720時間借りることになります。時間単位のプロバイダを使いましょう。当社の最短契約は7日で、従量制はありません。
第三に、より小さいカードで十分な場合です。34Bモデルを4-bitに量子化すると21 GBに収まり、月額230ドルのRTX 3090が936 GB/sで3 GBの余裕を持って提供します。同じセルでガイドのルックアップが示す、より安いRTX A5000より高速なメモリです。モデル名に大きな数字があるからといってH100 SXMを借りてはいけません。
当社を借りるべき場合
エンドポイントが常時稼働している、トークン課金が最大の費用項目になっている、重みとプロンプトを他人が触れないハードウェアに置く必要がある、本人確認なしで暗号通貨で支払いたい。
当社を借りるべきでない場合
午後だけカードが必要、トラフィックが予測不能で少ない、モデルが4分の1の価格のカードに4-bitで収まるかまだ測定していない。
トレーニングはサイズ選定の問題が異なり、オプティマイザ状態が支配的です。ファインチューニング向けGPUをご覧ください。
LLM推論のためのGPU、率直な質問。
LLM推論に最適なGPUはどれですか？
70Bエンドポイントには重み以外に何が必要ですか？
vLLM用にGPUを借りられますか？
A100がLLM推論カードとして適さないのはなぜですか？
GPUは1秒あたり何トークンを生成しますか？
常時稼働のLLMエンドポイントに月額レンタルは適していますか？
トークンAPIに十分な帯域幅は含まれていますか？
LLM推論サーバーを借りるのにID提出は必要ですか？
より深いサイズ選定はGPU VRAMガイド、全カードはGPUカタログ、期間割引は料金ページにあります。
エンドポイントを他人が触れないハードウェアに置きましょう。
DFW-1、IAD-1、PDX-1の専用カードで約90秒でvLLMをデプロイ。1回の注文、1回の支払い、メール不要、ID不要。