1台の物理マシンで8x H100クラスターレンタル。
GPU Rent Hubは、専有の8× H100 SXMノード、8枚すべてのカードをNVSwitchファブリックに接続したシングルテナントHGXサーバーを、月額$12,170または週額$3,420で提供します。支払いはBitcoin、Ethereum、USDT、USDC、Monero、Solana、Litecoinで、本人確認は不要です。
9種類のノード構成、月額$2,810の8× RTX 4090ボックスから月額$28,010の8× B200 HGXベースボードまで。
マルチGPUノードとは何か、クラスターとどう違うのか？
クラスターという言葉は2つの異なる製品に使われます。カードを同じファブリックに置くのはそのうちの1つだけです。
私たちが採用する定義
マルチGPUノードとは、1人のテナントに貸し出される1台の物理サーバーで、すべてのGPUが単一のベースボード上にあり、カード間に直接ファブリックが張られています。GPU Rent Hubの8× H100 SXMノードはNVIDIA HGX H100ベースボードです。8枚のカード、640 GBのHBM3、NVSwitchにより各カードが他のすべてのカードへ900 GB/s、160 vCPU、2 TBのシステムRAM、16 TBのローカルNVMe、2つの100Gポートを備え、ベアメタル上でroot権限を持ちます。Ethernetで接続された8つのインスタンスではなく、他人と共有されるマシンの一部でもありません。
この区別が重要な理由
仮想クラスターでは、それぞれが個別にジョブを実行できる8枚のカードが得られます。実際のノードでは、8枚のカードが1つのジョブを協調して実行できます。その違いはモデルをシャーディングした瞬間に現れます。シャーディングとは、各層でカード同士が通信することを意味するからです。
ノード上のすべてがあなたのものです：CPU、RAM、NVMe、両方のアップリンク、ファブリック。私たちのものはオペレーティングシステム内で何も動作しておらず、在庫のあるノードは他のインスタンスと同様に展開されます。
8x H100クラスターレンタルの月額料金はいくらですか？
8枚構成のHGX H100ノードは月額$12,170、GPU時間あたり$2.11です。残りのラインナップは、購入目的のワークロードに対応づけています。
| ワークロード | ノード | 総VRAM | 週額 | 月額 | GPU時間あたり |
|---|---|---|---|---|---|
| 70Bモデルのテンソル並列サービング、および単一カードでは保持できないトレーニングここから始める | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/mo | $2.11 |
| Adamによる完全ファインチューニング、またはFP8での405Bモデル両方をクリアするノードの中で最速のファブリック | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/mo | $4.86 |
| KVキャッシュが支配的なロングコンテキスト推論1カードあたり141 GB、120Bではシャーディング不要 | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/mo | $2.86 |
| ROCmネイティブスタックで、1ドルあたりのHBMが最大GB月あたり$7.45 | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
| 予算重視の複数週間にわたるトレーニング実行NVLink世代が1つ前、価格は半分 | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/mo | $1.24 |
| 4-wayテンソル並列、ノードの半分同じファブリック、より小さなコミットメント | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/mo | $2.16 |
| 8つの独立した推論レプリカカードごとに1モデル、FP8対応 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/mo | $0.65 |
| 拡散モデルと動画キューを並列処理カードあたり1.79 TB/s | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/mo | $0.68 |
| レンダーファーム、カードごとに1つのバッチジョブ8枚のカードを保持する最も安価な方法 | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/mo | $0.49 |
GPU以外にノードには何が含まれますか？
ここにある数値はすべてノード単位であり、カード単位ではありません。すべてがあなた専用です。
| ノード | 総VRAM | vCPU | RAM | NVMe | ネットワーク | リージョン |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMハーフベースボード | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinctプラットフォーム | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
NVSwitchノードとPCIeノードの違いは何ですか？
上記の表のマシンは2つのグループに分かれ、その差は約30対1です。
NVSwitch and NVLink
HGXプラットフォームでは、H100およびH200ノードでは各カードが他のすべてのカードへ900 GB/s、B200ノードでは1.8 TB/s、A100ノードでは600 GB/sで到達します。MI300XプラットフォームはInfinity Fabricにより896 GB/sで同じ役割を果たします。経路にCPUは介在しません。
その帯域幅こそがテンソル並列を現実的にします。1つのモデルを8枚のカードに分割すると、各層でall-reduceが発生し、フォワードパスごとに数百回行われます。リンクが遅いと、カードは演算ではなくその通信待ちに時間を費やします。
PCIe peer-to-peer
L40S、RTX 5090、RTX 4090ノードにはNVLinkがありません。カードはPCIeで通信します。Gen4 x16リンクでは一方向あたり約32 GB/s、Gen5では約63 GB/sで、ルートコンプレックスを通過する他のすべてと共有されます。H100 SXMカードの900 GB/sと比較すると、およそ28分の1の帯域幅です。
実際には、これはカードごとに1つのモデルを意味します。データ並列トレーニング、ロードバランサーの背後にある8つの推論レプリカ、8つのレンダージョブはすべて問題ありません。PCIeノードでの8-wayテンソル並列シャードは可能ですが遅く、ウォールクロック時間のコストは節約できたノード以上にかかります。
モデルに必要なマルチGPUノードのVRAM容量はどれくらいですか？
まずパラメータあたりのバイト数を数えます。ほぼすべてのノード選定はその1つの数値から決まります。
サイジングのルール
重みはFP8ではパラメータあたり1バイト、BF16では2バイトを消費します。モデルをサービングするには、KVキャッシュと約2 GBのランタイムオーバーヘッドを追加します。BF16でAdamを使って完全にファインチューニングするには、パラメータあたり約16バイトを見積もります。重みに2、勾配に2、オプティマイザ状態とFP32マスターコピーに12です。VRAMガイドの数値によると、70BモデルはFP8でのサービングに75 GB、BF16では145 GB、LoRAでは156 GB、アクティベーション込みの完全ファインチューニングでは1,288 GBが必要です。ノード規模の数値になるのは最後のものだけです。
それが何をもたらすか
BF16の70Bモデルは145 GB必要で、1枚の80 GBカードには収まりませんが、8× H100 SXMノードならバッチとKVキャッシュに495 GBの余裕を残して収まります。同じモデルの1,288 GBでの完全ファインチューニングは、8× B200または8× MI300Xでのみクリアできます。それ以外はすべてLoRAまたはZeROオフロードが必要です。詳細はファインチューニング向けGPUページに記載されています。
70BでのLoRAはこれらのジョブの1つではありません。156 GBではVRAMガイドは単一の月額$1,590のMI300Xに載せます。ノードでは7倍の費用と、デバイスマップの設定に費やす一晩が無駄になります。
1ドルあたりのギガバイト数でランク付けすると順位は明確です。MI300XノードはGB月あたり$7.45、L40Sノードは$9.74、A100ノードは$11.14、H100ノードは$19.02です。安いものには理由があります。一方はROCmで、もう一方はNVLinkがないからです。
マルチGPU割引はどのように機能し、併用できますか？
2枚で5%、4枚で8%、8枚で10%を単一カード価格に適用します。前払い期間割引と併用できます。
| H100 SXM、1ホスト | 定価 | 割引 | お支払い額 | GPU時間あたり |
|---|---|---|---|---|
| 1枚 | $1,690 | なし | $1,690/mo | $2.35 |
| 2枚 | $3,380 | 5% | $3,211/mo | $2.23 |
| 4枚NVLink、ハーフベースボード | $6,760 | 8% | $6,220/mo | $2.16 |
| 8枚フルHGXノード、NVSwitch | $13,520 | 10% | $12,170/mo | $2.11 |
| 8枚、3か月前払い10%の後5% | $40,560 | 14.5% | $34,685total | $2.01 |
| 8枚、6か月前払い10%の後10% | $81,120 | 19% | $65,718total | $1.90 |
8枚のNVSwitch接続H100 SXMカードの下限はGPU時間あたり$1.90で、ローリング月契約の単一カードの$2.35と比較します。支払いは注文規模によって変わりません。BTC、ETH、USDT、USDC、XMR、SOL、LTCのいずれかでの1回の送金で決済され、カードも身分証明書も不要です。暗号通貨での支払い方法、KYCなしGPUホスティングの意味、そして月額契約が時間単位メーターより優れている理由をご覧ください。
複数のノードにまたがって16〜64 GPUをレンタルできますか？
はい。ノード間はInfiniBandで接続し、カタログ販売ではなくケースごとに見積もります。
見積もりとリードタイム
16〜64 GPUで、上記のノード料金に基づいて価格を算出します。リードタイムはファブリックに応じて2〜6週間です。
注文時に50%
最初の期間の半額を前払いで、7種類の通貨のいずれかで。これでハードウェアが確保されます。
引き渡し時に50%
ファブリックが起動テストに合格し、root権限を取得した時点で残額を支払います。どの段階でも本人確認はありません。
リージョン内のインスタンス間ネットワーク
同じリージョン内のインスタンスはプライベートVLANを共有できます。パブリックホップなしのレイヤー2接続で、月額$25、すべての8-wayノードに含まれます。これは、4台の8× A100ノードにデータを供給するストレージボックスに適したツールです。
これはInfiniBandの代わりにはなりません。VLANは他のすべてと同じ100G Ethernet上で動作します。データのロードやチェックポイントには問題ありませんが、各ステップでの勾配交換には不適切です。
マルチGPUノードを借りるべきでないのはどんなときですか？
ジョブが1枚のカードに収まるなら、ノードはお金の無駄です。8× RTX 4090ノードは月額$2,810で、単一カードの$390と比較します。FP8の13Bモデルは重み、キャッシュ、オーバーヘッドを含めて22 GBです。8枚のカードが元を取れるのは、8つのワークストリームか、収まらないモデルがある場合だけです。
2日間だけ8枚のカードが必要なら、時間単位のプロバイダーを利用してください。8× H100ノードは1週間で$3,420で、6時間稼働しても168時間稼働しても同じです。また、制約がスループットではなくメモリである場合、141 GBのH200や192 GBのMI300Xの単一カードでノードが不要になることがよくあります。
ノードを借りるべきとき
モデルが1枚のカードに収まらない、実行が数週間に及ぶ、1つのアドレスの背後に8つのレプリカが必要、またはジョブがシャーディングされカード間で900 GB/sが必要なとき。
単一カードを借りるべきとき
ジョブが独立している、負荷が予測できない、または8枚にコミットする前に1枚のH100 SXMでテストしたいとき。
マルチGPUとクラスターレンタルについて、率直な質問。
8x H100クラスターレンタルの月額料金はいくらですか？
GPU Rent Hubのノードは実際のマシンですか、それとも仮想クラスターですか？
マルチGPUトレーニングにおけるNVSwitchとPCIeの違いは何ですか？
8x H100ノードの合計VRAMはどれくらいですか？
マルチGPU割引は前払い期間と併用できますか？
1つのクラスターで8枚を超えるGPUをレンタルできますか？
KYCなしでHGXノードをレンタルし、暗号通貨で支払えますか？
1つのファブリックに8枚のカード、金曜日までに。
在庫のあるノードは他のインスタンスと同様に展開されます。16 GPU以上については営業にご相談ください。2〜6週間を見込んでください。