在一台物理机上租用 8x H100 集群。
GPU Rent Hub 出租专用 8× H100 SXM 节点，这是一台单租户 HGX 服务器，八张卡全部接入 NVSwitch 交换结构，每月 $12,170 或每周 $3,420，可使用比特币、以太坊、USDT、USDC、门罗币、Solana 或莱特币支付，无需身份验证。
九种节点配置，从每月 $2,810 的 8× RTX 4090 主机，到每月 $28,010 的 8× B200 HGX 基板。
什么是多 GPU 节点，它与集群有何不同？
“集群”这个词被用来指两种不同的产品。只有其中一种把显卡放在同一交换结构上。
我们遵循的定义
多 GPU 节点是租给一位租户的一台物理服务器，所有 GPU 都在同一块基板上，显卡之间有直接交换结构。GPU Rent Hub 的 8× H100 SXM 节点是一块 NVIDIA HGX H100 基板：八张卡、640 GB HBM3、NVSwitch 让每张卡到其他每张卡的带宽为 900 GB/s、160 vCPU、2 TB 系统内存、16 TB 本地 NVMe 和两个 100G 端口，并在裸金属上提供 root 权限。它不是通过以太网拼起来的八个实例，也不是与其他人共享的一台机器的一部分。
为什么这个区别很重要
虚拟集群给你八张可以各自运行任务的卡。真正的节点给你八张可以一起运行同一个任务的卡，而一旦你对模型做分片，区别就会显现出来，因为分片意味着这些卡在每一层都要相互通信。
节点上的一切都属于你：CPU、内存、NVMe、两条上行链路和交换结构。操作系统里没有运行任何我们的东西，有库存的节点会像其他实例一样部署。
8x H100 集群租用每月多少钱？
八卡 HGX H100 节点每月 $12,170，折合每 GPU 小时 $2.11。以下是其他配置，以及它们对应的用途。
| 工作负载 | 节点 | 总显存 | 每周 | 每月 | 每 GPU 小时 |
|---|---|---|---|---|---|
| 70B 模型的张量并行推理服务，以及单卡无法承载的训练从这里开始 | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/月 | $2.11 |
| 使用 Adam 进行全量微调，或 FP8 下的 405B 模型能同时满足两者的节点中最快的交换结构 | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/月 | $4.86 |
| KV 缓存占主导的长上下文推理每卡 141 GB，120B 无需分片 | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/月 | $2.86 |
| 每美元可获得最多 HBM，基于 ROCm 原生技术栈每 GB 每月 $7.45 | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/月 | $1.99 |
| 预算有限的多周训练任务落后一代 NVLink，价格减半 | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/月 | $1.24 |
| 四路张量并行，半个节点同样的交换结构，更小的投入 | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/月 | $2.16 |
| 八个独立的推理副本每卡一个模型，支持 FP8 | 8× L40SPCIe Gen4 peer-to-peer | 384 GB | $1,070 | $3,740/月 | $0.65 |
| 并行处理扩散和视频队列每卡 1.79 TB/s | 8× RTX 5090PCIe Gen5 peer-to-peer | 256 GB | $1,120 | $3,890/月 | $0.68 |
| 渲染农场，每卡一个批处理任务持有八张卡最便宜的方式 | 8× RTX 4090PCIe Gen4 peer-to-peer | 192 GB | $790 | $2,810/月 | $0.49 |
除了 GPU，节点还包含什么？
这里的每个数字都是每节点的，而不是每卡的，并且全部专属于你。
| 节点 | 总显存 | vCPU | 内存 | NVMe | 网络 | 区域 |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXM半块基板 | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinct 平台 | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
NVSwitch 节点和 PCIe 节点有什么区别？
上表中有两类机器，它们之间的差距大约是三十分之一。
NVSwitch 与 NVLink
在 HGX 平台上，H100 和 H200 节点中每张卡到其他每张卡的带宽为 900 GB/s，B200 节点为 1.8 TB/s，A100 节点为 600 GB/s。MI300X 平台通过 Infinity Fabric 以 896 GB/s 实现同样的功能。路径中没有 CPU。
这种带宽让张量并行变得切实可行。把单个模型拆分到八张卡上，意味着每一层都要做一次 all-reduce，一次前向传播中要发生数百次，如果链路很慢，显卡的时间就会花在等待这次交换上，而不是花在计算上。
PCIe 点对点
L40S、RTX 5090 和 RTX 4090 节点没有 NVLink。显卡通过 PCIe 通信：Gen4 x16 链路上单向约 32 GB/s，Gen5 约 63 GB/s，并且与所有经过根复合体的流量共享。与 H100 SXM 卡的 900 GB/s 相比，这大约是带宽的二十八分之一。
实际上，这意味着每张卡放一个模型。数据并行训练、负载均衡器后面的八个推理副本、八个渲染任务：都没问题。PCIe 节点上做 8 路张量并行分片是可以的，但很慢，墙钟时间的花费超过节点省下的钱。
你的模型需要多 GPU 节点提供多少显存？
先计算每个参数占用的字节数。几乎所有节点选择都由这个数字决定。
估算规则
权重在 FP8 下每个参数占 1 字节，在 BF16 下占 2 字节。用于推理服务时，还要加上 KV 缓存和大约 2 GB 的运行时开销。要用 Adam 在 BF16 下做全量微调，每个参数大约需要 16 字节：权重 2 字节、梯度 2 字节、优化器状态和 FP32 主副本 12 字节。根据 显存指南 的数据，70B 模型在 FP8 下推理需要 75 GB，BF16 下需要 145 GB，LoRA 需要 156 GB，计入激活后全量微调需要 1,288 GB。只有最后一个才是节点级别的数字。
这意味着什么
BF16 下的 70B 模型需要 145 GB，因此一张 80 GB 的卡放不下，但可以放在 8× H100 SXM 节点 上，还有 495 GB 余量用于 batch 和 KV 缓存。同一模型全量微调需要 1,288 GB，只有 8× B200 或 8× MI300X 节点能容纳。其他所有配置都需要 LoRA 或 ZeRO 卸载，详见 GPU 微调页面。
对 70B 做 LoRA 不属于这类任务。156 GB 的需求量，显存指南 认为单张 MI300X，每月 $1,590 就够了，所以租一个节点会让你多花七倍的钱，还要白费一个晚上折腾设备映射。
按每美元可获得的 GB 数排序，结果很直接：MI300X 节点为每 GB 每月 $7.45，L40S 节点为 $9.74，A100 节点为 $11.14，H100 节点为 $19.02。便宜的配置便宜是有原因的：一个是 ROCm，另一个没有 NVLink。
多 GPU 折扣如何计算，可以叠加吗？
两张卡 5%，四张卡 8%，八张卡 10%，按单卡价格计算。它可以与预付期折扣叠加。
| H100 SXM，同一主机 | 标价 | 折扣 | 实付 | 每 GPU 小时 |
|---|---|---|---|---|
| 1 张卡 | $1,690 | 无 | $1,690/月 | $2.35 |
| 2 张卡 | $3,380 | 5% | $3,211/月 | $2.23 |
| 4 张卡NVLink，半块基板 | $6,760 | 8% | $6,220/月 | $2.16 |
| 8 张卡完整 HGX 节点，NVSwitch | $13,520 | 10% | $12,170/月 | $2.11 |
| 8 张卡，预付 3 个月先 10% 后 5% | $40,560 | 14.5% | $34,685总计 | $2.01 |
| 8 张卡，预付 6 个月先 10% 后 10% | $81,120 | 19% | $65,718总计 | $1.90 |
八张带 NVSwitch 的 H100 SXM 卡，底价是每 GPU 小时 $1.90，而单卡按月滚动租用为 $2.35。付款金额不随订单规模变化：用 BTC、ETH、USDT、USDC、XMR、SOL 或 LTC 转账一次即可结清，无需银行卡，也无需身份证明文件。参见 加密货币支付如何运作、无 KYC GPU 托管意味着什么，以及为什么 月租比小时计费更划算。
可以跨多个节点租用 16 到 64 个 GPU 吗？
可以，节点之间使用 InfiniBand，按具体情况报价，不通过目录销售。
报价和交付周期
16 到 64 个 GPU，按上述节点价格定价。交付周期为 2 到 6 周，取决于交换结构。
下单时支付 50%
首期费用的一半预付，支持七种币中的任意一种。这将为你保留硬件。
交付时支付 50%
其余部分在交换结构通过启动调试并交付 root 权限后支付。任何步骤都不进行身份检查。
同一区域实例之间的网络
同一区域的实例可以共享一个私有 VLAN：在你的机器之间建立二层连接，无需经过公网，每月 $25，每个 8 卡节点都包含此功能。这正是为存储服务器连接四台 8× A100 节点 而准备的。
它不能替代 InfiniBand。VLAN 和其他所有流量一样走相同的 100G 以太网：适合数据加载和检查点，但不适合每一步的梯度交换。
什么时候租多 GPU 节点是错误的？
如果你的任务一张卡就能装下，租节点就是浪费钱。8× RTX 4090 节点每月 $2,810，而单卡是 $390；FP8 下的 13B 模型总共只需要 22 GB，包括权重、缓存和开销。八张卡只有在八条工作流并行，或者模型确实放不下时才划算。
如果你只需要八张卡用两天，请使用按小时计费的服务商：8× H100 节点一周的价格是 $3,420，无论你只运行 6 小时还是 168 小时。如果瓶颈是内存而不是吞吐量，单张 141 GB 的 H200 或 192 GB 的 MI300X 通常就不需要节点了。
什么时候租节点
模型无法装进单卡，运行持续数周，你需要在一个地址后挂八个副本，或者任务需要分片并且卡间需要 900 GB/s。
什么时候租单卡
任务彼此独立，负载不可预测，或者你想先在一张 H100 SXM 上测试，再决定是否租八张。