租用用于微调的 GPU，规格由你可核对的算术决定。
GPU Rent Hub 按周或按月出租专用 NVIDIA 和 AMD GPU 用于微调，从每月 $190 的 24 GB 显卡（可在 7B 模型上运行 QLoRA）到每月 $12,170 的 NVLink 连接 8× H100 SXM 节点，可用比特币、以太坊、USDT、USDC、门罗币、Solana 或莱特币支付，无需身份验证。
微调到底需要多少 GPU 显存？
这是人们最容易搞错的部分，也是唯一决定你租哪张显卡的部分。
一段话讲清微调显存。 使用 Adam 优化器进行全量微调，每个参数大约需要 16 字节：2 字节用于 BF16 权重，2 字节用于梯度，4 字节用于 FP32 主副本，Adam 的两个动量状态各 4 字节。因此，一个 7B 模型在存储任何激活之前就需要大约 112 GB，既不适用于 24 GB 显卡，也不适用于 80 GB 显卡。LoRA 冻结基础权重，只训练小的适配器矩阵，因此开销降至冻结基础权重每个参数 2 字节，加上几百兆字节的适配器和优化器状态：7B 模型约 21 GB。QLoRA 将冻结的基础权重量化到 4 位，即每个参数 0.5 字节，并训练相同的适配器：7B 模型约 10 GB，70B 模型约 51 GB。
这三个数字以及下表每一个数字都来自 GPU 显存指南，按其假设：开启梯度检查点，序列长度 2,048，批次 1，rank-16 适配器约占参数的 0.5%，且已包含运行时开销余量。提高序列长度或批次，激活值会在其上继续增长。
16 从何而来
训练循环中没有任何东西只存储模型一次。每个参数都有权重、同形状的梯度、FP32 主副本以及 Adam 的均值和方差。没有框架能协商掉这些。
LoRA 去掉了什么
除适配器之外的所有梯度以及两个优化器状态。冻结的基础权重仍需驻留，这就是为什么 BF16 7B 上的 LoRA 在任何其他东西之前仍然需要 14 GB。QLoRA 针对的是驻留，而不是优化器。
微调 7B、13B 或 70B 模型需要哪种 GPU？
将模型、方法和能够承载它的显卡对应起来，显存数据引自 显存指南。每 GPU 小时为月租除以 720。
| 模型与方法 | 所需显存 | 适配显卡 | 显卡显存 | 每周 | 每月 | 每 GPU 小时 |
|---|---|---|---|---|---|---|
| 7B，QLoRA4 位基础权重，rank 16 | 10 GB | RTX A5000 | 24 GB | $55 | $190/mo | $0.26 |
| 13B，QLoRA4 位基础权重 | 14 GB | RTX 3090 | 24 GB | $65 | $230/mo | $0.32 |
| 7B，LoRABF16 基础权重驻留 | 21 GB | RTX 4090 | 24 GB | $110 | $390/mo | $0.54 |
| 34B，QLoRA4 位基础权重 | 28 GB | A40 | 48 GB | $68 | $240/mo | $0.33 |
| 13B，LoRABF16 基础权重 | 33 GB | L40S | 48 GB | $148 | $520/mo | $0.72 |
| 70B，QLoRA35 GB 的 4 位权重 | 51 GB | A100 SXM | 80 GB | $280 | $990/mo | $1.38 |
| 34B，LoRABF16 基础权重，单卡 | 79 GB | MI300X | 192 GB | $450 | $1,590/mo | $2.21 |
| 7B，全量微调Adam，每参数 16 字节 | 129 GB | 2× A100 SXMNVLink 600 GB/s，最便宜的 CUDA 路径 | 160 GB | $532 | $1,881/mo | $1.31 |
| 70B，LoRABF16 基础权重，单卡 | 156 GB | 1× MI300X无需分片 | 192 GB | $450 | $1,590/mo | $2.21 |
| 70B，全量微调跨节点 ZeRO-3 | 1,288 GB | 8× MI300XInfinity Fabric 896 GB/s | 1,536 GB | $3,240 | $11,450/mo | $1.99 |
把第八行和第六行对比来看。7B 的全量微调成本大约是 70B QLoRA 的两倍。对大多数人来说，这不是他们需要做的工作。
如果只能选一个，你该租哪款 GPU 用于训练？
按我们会为持续数周的运行部署的优先级排序，而不是按价格。库存分布在 DFW-1 达拉斯、IAD-1 阿什本和 PDX-1 希尔斯伯勒。
| GPU | 显存 | 互联 | 每周 | 每月 | 每 GPU 小时 | 当前空闲 |
|---|---|---|---|---|---|---|
| H100 SXM 首选HBM3，3.35 TB/s，FP8 | 80 GB | NVLink 900 GB/s | $475 | $1,690/mo | $2.35 | 63 |
| A100 SXMHBM2e，2.04 TB/s，无 FP8 | 80 GB | NVLink 600 GB/s | $280 | $990/mo | $1.38 | 78 |
| H200 SXMHBM3e，4.8 TB/s | 141 GB | NVLink 900 GB/s | $640 | $2,290/mo | $3.18 | 19 |
| MI300XROCm 6.4，5.3 TB/s | 192 GB | Infinity Fabric 896 GB/s | $450 | $1,590/mo | $2.21 | 8 |
| L40SGDDR6 ECC，FP8 | 48 GB | PCIe Gen4 对等传输 | $148 | $520/mo | $0.72 | 74 |
| RTX A6000GDDR6 ECC，768 GB/s | 48 GB | NVLink 桥接 112 GB/s，成对 | $82 | $290/mo | $0.40 | 65 |
| RTX 3090GDDR6X，936 GB/s | 24 GB | NVLink 桥接 112 GB/s，成对 | $65 | $230/mo | $0.32 | 186 |
| RTX A5000GDDR6 ECC，230 W | 24 GB | NVLink 桥接 112 GB/s，成对 | $55 | $190/mo | $0.26 | 51 |
H100 SXM 是首选：它是我们出租的最便宜显卡，在一个部件号上同时提供 80 GB HBM3、FP8 Tensor Core 和 900 GB/s NVLink。A100 SXM 80 GB 是 $990 的性价比之选，没有 FP8，同样的 NVLink 拓扑，价格只有前者的 59%。
为什么超过一张卡时 NVLink 很重要？
因为分片运行在每一步都要在卡之间移动梯度，而链路决定了这一过程能有多快。
在单张 GPU 上，互联无关紧要。一旦你开始分片——无论使用 ZeRO-2、ZeRO-3 还是张量并行——显卡每一步都要交换梯度或参数分片，这些流量是模型大小的固定倍数。PCIe Gen4 x16 的单向线速约为 32 GB/s，Gen5 约为 63 GB/s。H100 SXM 上的 NVLink 为 900 GB/s。这就是通信步骤能隐藏在计算之后与通信步骤成为瓶颈之间的区别。
规则：单卡 LoRA 或 QLoRA 运行在任何显存足够的设备上，数据并行训练可以容忍 PCIe，而任何需要分片模型的场景都需要 NVLink。超过四张卡时就需要 NVSwitch，多 GPU 集群租赁页面上的 8 路 HGX 节点就配备了它。
| 显卡 | 卡间链路 | 带宽 | 分片训练 |
|---|---|---|---|
| B2002、4 或 8 路 | NVLink 5 with NVSwitch | 1.8 TB/s | 是，最多 8 卡 |
| H100 SXM，H200 SXM | NVLink with NVSwitch | 900 GB/s | 是，最多 8 卡 |
| A100 SXM | NVLink with NVSwitch | 600 GB/s | 是，最多 8 卡 |
| MI300X | Infinity Fabric | 896 GB/s | 是，仅 8 路 |
| H100 PCIe | 可选 NVLink 桥接 | 600 GB/s | 成对 |
| A6000、A40、3090、A5000 | NVLink 桥接 | 112 GB/s | 成对 |
| L40S，RTX 6000 Ada，L4 | PCIe Gen4 对等传输 | ~32 GB/s | 仅数据并行 |
| RTX 4090，RTX 5090 | PCIe 对等传输，无 NVLink | ~32 / ~63 GB/sGen4 x16 / Gen5 x16 | 单卡 |
为什么按月租期适合训练运行？
微调是一种计费模式与工作本身彼此一致的工作负载。
检查点节奏由你决定
在可抢占容量上，你防御性地保存检查点，因为间隔是对被驱逐的对冲。在租期上，这是一个恢复决策：如果损失曲线值得，就每一千步写一次，或者每一万步写一次。
微调很少只跑一次
学习率扫描、数据消融以及评估结果不理想后的重跑，都是额外的三次运行，而且会分散在两周内，而不是一次预订。在固定租期内，每一次都不需要额外费用。
它不会被驱逐
在第 60 小时被驱逐，代价是自上次检查点以来的进度、重新排队的等待和数据集重载。租期无法被抢占，因为没有其他人在排队等待这张卡。
数据集保持驻留
在两次运行之间，工作集保存在本地 NVMe 上，H100 SXM 上 2 TB，A100 上 1 TB，因此第二轮扫描从第一步开始，而不是从下载开始。
与按量计费对比的交叉算术属于 按月与按小时 GPU 租赁，在确定租期前值得一读。训练特有的地方在于，扫描和重载同样计入 GPU 小时，因此你应当用来检验交叉点的是两周的利用率，而不是单次运行的利用率。
检查点存放在哪里，租期结束后还能留下什么？
一个带优化器状态的 70B 检查点超过 1 TB。在第 4,000 步之前决定它落在哪里。
- 本地 NVMe
- 已包含：H100 SXM 和 H200 上 2 TB，A100 SXM 上 1 TB，L40S 和 A6000 上 500 GB。每个实例 LUKS2 加密，租期结束后七天擦除。
- 额外本地 NVMe
- 每月每 TB $9，节点上最多 30 TB。同一主机，同样加密。
- 网络卷
- 每月每 TB $14，区域内三副本，可挂载到多个实例，释放后持久保留。
- 快照
- 每月每 TB $6。可恢复到区域内任何实例，这就是运行从 A100 迁移到 H100 而无需重新上传数据集的方式。
- 拉取数据
- 每月每个实例包含 20 TB 出站流量，之后每 TB $4。一个适配器集永远达不到这个上限。
如果运行比租期更长
续费订单会提前 24 小时以相同价格生成。如果你不支付，实例会在租期结束时停止，但槽位会为你保留 72 小时，你可以在此期间用 BTC、ETH、USDT、USDC、XMR、SOL 或 LTC 支付。磁盘不受影响。过后槽位会释放，NVMe 密钥将被销毁。
硬件位于 DFW-1、IAD-1 和 PDX-1。账户只是用户名和密码：见 无需 KYC 的 GPU 托管和 如何使用加密货币支付。
什么时候你不应该从我们这里租微调 GPU？
三种情况，常见到我们宁愿把它们写下来。
第二种是显卡买过头了。很多人租 H100 用 QLoRA 微调 7B 模型，而那只用 10 GB。这个工作可以在 $190 的 RTX A5000 上运行，虽然更慢，但不会慢九倍。请按第 02 节的表格选择规格，而不是按你希望训练的模型。
第三种是只需要 32 或 64 张卡跑两天、以后再也不用的运行。我们出售最多八卡的节点；超过这个规模，按量计费的集群提供商更合适。
关于租用微调 GPU 的直白问答。
微调 7B 模型需要多少显存？
能否在单张 GPU 上微调 70B 模型？
LoRA 与 QLoRA 在 GPU 显存上有什么区别？
在多 GPU 上微调需要 NVLink 吗？
每月租用训练 GPU 需要多少钱？
租期结束后我的检查点会怎样？
能否在无需身份验证的情况下租用训练 GPU？
对于训练运行，按月租 GPU 比按小时更好吗？
规格选择见 GPU 显存指南，拓扑见 多 GPU 集群租赁，将结果用于推理见 用于 LLM 推理的 GPU，镜像见 文档。
选好显卡，确定租期，开始运行。
在 24 GB 上运行 QLoRA 每月 $190 起，NVLink H100 SXM 每月 $1,690 起，8 路节点每月 $12,170 起。一次下单，一次支付，无需证件，无需银行卡。