GPU Rent HubVRAM 指南

我需要多少 VRAM？先算算术，再选卡。

一个 70B 参数模型以 BF16 提供服务大约需要 145 GB 的 VRAM，FP8 大约 75 GB，INT4 大约 40 GB；GPU Rent Hub 为每种情况出租专用显卡：48 GB A40 上的 INT4 方案每月 240 美元，80 GB H100 PCIe 上的 FP8 方案每月 1,490 美元，192 GB MI300X 上的 BF16 方案每月 1,590 美元，可使用比特币、以太坊、USDT、USDC、门罗币、Solana 或莱特币支付，无需身份验证。下面的每个数字都是你可以重新计算的算术。没有一项是基准测试，因为我们不会引用无法溯源的数字。

更新于 2026-09-01

2 BBF16 下每参数字节数

$5.00我们出租的最便宜 VRAM，每 GB 每月

192 GB单卡最大 VRAM，MI300X

15可选择的显卡数量

01 公式

如何计算一个模型需要多少 VRAM？

三项：权重、KV 缓存、运行时开销。其中两项可以精确计算。

容量估算块

所需 VRAM = (参数数量 × 每参数字节数) + KV 缓存 + 约 2 GB 运行时开销。每参数字节数在 FP32 下为 4，BF16 或 FP16 下为 2，FP8 下为 1，INT4 下为 0.5。KV 缓存为 2 × 层数 × KV 头数 × 头维度 × 每元素字节数 × 上下文长度 × 批大小，其中开头的 2 包含键和值。运行时开销是 CUDA 上下文、框架和分配器碎片，单个进程预留 2 GB 是安全的。

示例演算：一个 70B 模型以 FP8 在 8,192 个 token、批大小为 1 时，权重 70 GB，KV 缓存 2.7 GB，开销 2 GB，因此为 75 GB，可放入一张 80 GB 显卡并余 5 GB。

两条约定，在你争论最后一个 GB 之前先说清楚。

以十亿为单位的参数数量乘以每参数字节数，直接得到十进制 GB（其中 1 GB 为 10⁹ 字节）。显卡容量也按同样方式标注。若工具报告的是 GiB，会把这里每个数字缩小约 7%，这也是要留余量而不是精打细算到最后一个 GB 的原因。

按驻留参数而非激活参数计算容量。混合专家模型会把每个专家都留在 VRAM 中，每个 token 只运行其中两个：内存是整个模型，速度是部分模型。

精度	字节/参数	7B	70B
FP32推理很少值得用	4	28 GB	280 GB
BF16 / FP16参考基准	2	14 GB	140 GB
FP8Ada、Hopper、Blackwell、CDNA 3	1	7 GB	70 GB
INT4 / NF4仅权重量化，任何架构	0.5	3.5 GB	35 GB

FP8 需要硬件支持。A100、A40、RTX A6000、RTX 3090 和 RTX A5000 不具备。INT4 仅权重量化可在所有这些显卡上运行。

02 推理

运行 7B、13B、34B、70B 或 405B 模型需要多少 VRAM？

权重加 8,192 个 token、批大小为 1 时的 KV 缓存，再加 2 GB。改变上下文长度时，变的是 KV 列，不是权重。

模型	8k、批 1 的 KV	BF16 合计	FP8 合计	INT4 合计
7B32 层，GQA，8 个 KV 头	1.1 GB	17 GB	10 GB	7 GB
13B40 层，MHA，无 GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 层，GQA，8 个 KV 头	2.0 GB	72 GB	38 GB	21 GB
70B80 层，GQA，8 个 KV 头	2.7 GB	145 GB	75 GB	40 GB
405B126 层，GQA，8 个 KV 头	4.2 GB	816 GB	411 GB	209 GB

所有列中的 KV 缓存均按 FP16 计算。头维度全程为 128。在信任某一行之前，请检查模型 config.json 中的层数和 KV 头数，因为这些是典型结构，并非通用结构。

有趣的是 13B 这一行：它的 KV 缓存比下面 70B 还大。它的结构使用多头注意力，键和值头各 40 个，而较新的模型使用分组查询注意力，只有 8 个。这一变化把缓存缩减到五分之一到八分之一，也是长上下文服务变得负担得起的原因。在为 2024 年之前的任何模型评估容量时，先检查注意力方案，再查参数数量。

批大小只会倍增 KV 缓存，不影响其他。那个 70B 在批大小 32 时，会给同样的 70 GB 权重增加 85 GB 缓存，因此端点所需内存远高于一次一个请求。服务规模测算见用于 LLM 推理的 GPU 页面。

03 上下文

KV 缓存在长上下文下占用多少 VRAM？

随 token 数线性增长，也随批大小线性增长。在 128k 时，缓存可能比权重还大。

模型结构	每 token KV	8k	32k	128k
7B，32 层，GQAKV 宽度 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B，40 层，MHAKV 宽度 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B，60 层，GQAKV 宽度 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B，80 层，GQAKV 宽度 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B，126 层，GQAKV 宽度 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

FP16 缓存，批大小 1。若使用 FP8 缓存，所有数字减半。再乘以批大小。KV 宽度等于 KV 头数乘以头维度。

问题出在哪里。

FP8 的 70B 在 8k 上下文中可放入 80 GB 显卡，并余 5 GB。推到 32k 时，仅缓存就有 10.7 GB，于是放不下了。这就是 141 GB 的 H200 SXM 和 192 GB 的 MI300X 作为产品存在的原因。它们比 H100 SXM 能容纳更多上下文，这与速度更快不是一回事。

将 KV 缓存量化到 FP8 与权重量化是独立的杠杆，而且通常是成本更低的那一个。它能把缓存减半，质量代价远小于把权重再降一级，vLLM 和 TensorRT-LLM 都支持。

04 训练

微调一个模型需要多少 VRAM？

全量微调大约每参数需要 16 字节。LoRA 需要 2。QLoRA 需要 0.5。这三个数字之间的差距就是整个决策。

使用 Adam 的全量微调对每个参数保存五项内容：BF16 权重（2 字节）、BF16 梯度（2）、FP32 主副本（4）以及 Adam 的一阶矩和二阶矩（各 4）。在激活之前，每个参数就是 16 字节。LoRA 冻结基础模型，因此你只为冻结模型支付每参数 2 字节，优化器状态只作用于适配器，通常约占参数量的 0.5%。QLoRA 将冻结的基础模型量化到 4 位，因此每参数成本为 0.5 字节，适配器部分不变。

模型	全量微调，权重 + Adam	全量微调，含激活	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

这里列出假设，以便你自行修改：梯度检查点开启，序列长度 2,048，批大小 1，注意力投影上 rank-16 适配器约占参数量的 0.5%，全量微调列增加 15% 用于激活和碎片。适配器优化器状态按每个适配器参数 16 字节计算。

全量微调这一列是朴素数字：所有内容都驻留在 GPU 上。ZeRO stage 3 将优化器状态卸载到主机内存，可大幅降低 GPU 侧需求；我们的 8 卡节点配备 2 TB 主机内存正是为此。卸载用 PCIe 带宽换 VRAM，所以它让运行成为可能，而不是变快。方法选择见用于微调的 GPU 页面。

把最后两列对照第一列看。70B 全量微调需要一个 8 卡节点，价格 11,450 美元。同样的 70B 在 QLoRA 下需要 51 GB，即一张每月 990 美元的 A100 SXM 80GB。这是十二倍的差距，而这种方法虽然更差，但很少差到十二倍。大多数问这个问题的人得到的都是全量微调的数字，他们并不需要。

05 查询表

70B 模型或任何其他规模需要什么 GPU？

纵向是模型规模，横向是方法。每个单元格是所需 VRAM，以及我们机器中能容纳它的最便宜选择。

模型	推理 BF16	推理 FP8	推理 INT4	QLoRA	LoRA	全量微调
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190，紧	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250，紧	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190，紧	28 GBA40 $240	79 GBA100 SXM $990，紧	626 GB8× A100 $7,130，紧
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GB五个节点，需询价

这是能容纳模型的最便宜单卡，在 8,192 个 token、批大小为 1 的条件下；只有单卡放不下时才使用多卡组合。本表回答一个问题：能容纳该模型的最便宜显卡；而工作负载指南回答另一个问题：值得用它来跑的最便宜显卡——有时是另一张更贵的卡，原因会在那里说明。“紧”表示剩余不足 5 GB，或在多卡行中每卡剩余不足 2 GB。多卡价格已包含批量折扣：两张 5%，四张 8%，八张 10%。全量微调行假定使用 NVLink 或 NVSwitch，因为每一步都通过 PCIe 点对点做 all-reduce 不值得租。对大多数行存在更便宜的多卡替代方案，第 07 节说明何时采用。13B FP8 单元格是最紧的：22 GB 在 L4 上只剩 2 GB 余量，而 L4 的 300 GB/s 是我们出租的最慢显存，因此当约束是解码速度而非能否装下时，$460 的 RTX 6000 Ada 是替代选择。MI300X 在这里占据七个单元格，并附带三个条件：仅在 DFW-1 Dallas 提供，上次目录更新时有 8 张空闲，使用 ROCm 而非 CUDA，因此 vLLM 和 PyTorch 可以运行，手写的 CUDA kernel 不行。规格和各地区库存见 GPU catalogue，折扣见 pricing page。

值得看的单元格是 70B 在 INT4 下：40 GB，由每月 240 美元的 A40 48GB 容纳。这不是取巧，只是 4 位量化和 48 GB GDDR6 所能买到的东西。第 07 节说明为此放弃了什么。超过一个 8 路节点的部署是集群问题，不是显卡问题，属于多 GPU 集群租用页面。

06 显存成本

哪种 GPU 每美元能提供最多 VRAM？

月租除以 VRAM 的 GB 数，以及显存带宽除以月租。没有人公布这两项。它们比 TFLOPS 数字更能决定购买。

GPU	VRAM	带宽	月租	$/GB/月	GB/s 每 $/月	每 GPU 小时
MI300XHBM3，CDNA 3	192 GB	5.3 TB/s	$1,590/月	$8.28	3.33	$2.21
B200HBM3e，Blackwell，2 卡起租	180 GB	8 TB/s	$3,890/月	$21.61	2.06	$5.40
H200 SXMHBM3e，Hopper	141 GB	4.8 TB/s	$2,290/月	$16.24	2.10	$3.18
H100 SXMHBM3，NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/月	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/月	$18.63	1.34	$2.07
A100 SXMHBM2e，不支持 FP8	80 GB	2.04 TB/s	$990/月	$12.38	2.06	$1.38
L40SGDDR6 ECC，FP8	48 GB	864 GB/s	$520/月	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC，FP8	48 GB	960 GB/s	$460/月	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC，不支持 FP8	48 GB	768 GB/s	$290/月	$6.04	2.65	$0.40
A40GDDR6 ECC，不支持 FP8	48 GB	696 GB/s	$240/月	$5.00	2.90	$0.33
RTX 5090GDDR7，FP8	32 GB	1.79 TB/s	$540/月	$16.88	3.31	$0.75
RTX 4090GDDR6X，FP8	24 GB	1.01 TB/s	$390/月	$16.25	2.59	$0.54
L4GDDR6，FP8，72 W	24 GB	300 GB/s	$250/月	$10.42	1.20	$0.35
RTX 3090GDDR6X，不支持 FP8	24 GB	936 GB/s	$230/月	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC，不支持 FP8	24 GB	768 GB/s	$190/月	$7.92	4.04	$0.26

按 VRAM 排序。每 GB 美元数是月租除以容量。每美元 GB/s 是显存带宽除以月租，因此越高越好。每 GPU 小时是月租除以一个周期中的 720 小时，说明见按月租与按小时租 GPU。B200 价格为每卡，但它搭载在 8 路 HGX 基板上，最小可租单元为两张卡，因此最小的 B200 订单是两张卡：标价每月 $7,780，两张卡 5% 折扣后为 $7,391。

两张不同的卡分别赢得这两列，所以两列都公布。A40 以每月 $5.00 持有 1 GB，不到 L40S 对同样 48 GB 收费的一半，因为它是一张 2020 年的卡，背后只有 696 GB/s。RTX 3090 每美元提供 4.07 GB/s，是 H100 SXM 的两倍多，因为它是一张老消费卡，总线快、租金低。这两张都不是这里最好的卡。它们都正确地回答了一个特定问题。

MI300X 是异常值。每 GB $8.28 的显存比 A100、H100 或 H200 都便宜，背后还有 5.3 TB/s，因此它填满了上面的大模型单元格。代价是 ROCm 而非 CUDA：vLLM 和 PyTorch 可以运行，手写的 CUDA kernel 不行。

07 反面论证

更多 VRAM 总是正确答案吗？

不。以下三种情况下，购买容量是错误的选择，并附上各自的算术。

瓶颈是带宽，不是容量

解码一个 token 会从 VRAM 中读取一遍所有常驻权重。用带宽除以模型常驻大小，就得到单流每秒 token 数的硬上限。BF16 的 7B 是 14 GB，因此 696 GB/s 的 A40 无法超过每秒 50 个 token，1.79 TB/s 的 RTX 5090 无法超过 128 个。两者都装得下这个模型。其中一张速度快 2.6 倍。

这是上限，不是基准。实际会低于它。

小卡上的量化优于大卡上的全精度

BF16 的 34B 总计 72 GB，需要 $990 的 A100：2.04 TB/s 除以其 68 GB 权重，上限是每秒 30 个 token。同样的 34B 在 INT4 下总计 21 GB，可放入 $390 的 RTX 4090：1.01 TB/s 除以其 17 GB 权重，上限是 59。更快，而且便宜 61%。你放弃的是量化权重上的质量，这需要评估而不是假设。

更便宜、更快，但输出更差。测试一下。

两张便宜卡，有时可行

两张 A40 提供 96 GB，每月 $456，而一张 A100 的 80 GB 要 $990。更多内存，价格不到一半。它适用于每卡一个副本的批量推理、QLoRA，以及低并发下的按层拆分服务。在张量并行和任何带 all-reduce 的训练步骤下会失败，因为卡与卡之间的链路正是你没有购买的部分。

96 GB 只要 $456。代价是互连。

精确说明 NVLink 这一点。

一块 H100 SXM 通过 NVLink 以 900 GB/s 与相邻卡通信。一对 A40 或 RTX A6000 通过 NVLink 桥接为 112 GB/s。L40S 没有 NVLink，数据走 PCIe Gen4 点对点，线路速率约为 32 GB/s。RTX 5090 也没有 NVLink，但它的链路是 Gen5，因此约为 63 GB/s。在张量并行运行中，这个差距会在每个 token 的每一层付出一次。

按层拆分而不是按张量拆分，可以避免大部分这类流量，但不会提升任何指标。每个 token 你仍然要读取模型的每一个字节，只是由两张卡顺序完成，而非一张卡单独完成。张量并行才能把两张卡变成双倍带宽，而这正是需要快速链路的模式。这就是全部取舍。

对比演算

2× RTX 5090: 64 GB，3.58 TB/s 总带宽，每月 $1,026，PCIe Gen5 点对点
1× H100 SXM: 80 GB，3.35 TB/s，每月 $1,690，单一内存空间
结论: 这一对在纸面上胜出，但在任何无法装进每卡 32 GB 的模型上都会落败

如果模型能放进一张卡，就把它放在一张卡上。你增加的每一次拆分都是一个同步点、一种故障模式和一夜的设备映射调试。

08 不适合向我们租用的情况

本页面应该把你引向别处的情况。

我们的最短租期是七天。如果你只需要一张卡一个下午，用来验证 13B 是否能装进 24 GB，请使用按小时计费的提供商：那里几个小时的花费低于这里 RTX A5000 每周最低 $55。我们不按小时出售，也没有这个计划。

如果你是在两张卡之间根据速度而非能否装下来选择，请停止读表格，把你的技术栈分别在两张卡上跑一遍。这里的所有内容都是容量算术和带宽上限。两者都不能预测你的 kernel、批形状和调度器会怎样，我们也不会用一个无法溯源的吞吐数字假装能。

如果你需要 6,480 GB 来全量微调 405B，你需要的是集群、网络结构和计划，而不是一个租用页面。请向销售咨询 DFW-1 Dallas、IAD-1 Ashburn 或 PDX-1 Hillsboro 的多节点容量，并做好先谈互连再谈价格的准备。

TL;DR 从这里开始

学习用途，任意最高 13B 模型: RTX A5000 24 GB，$190/月
生产环境服务 24B 到 34B: L40S 48 GB，$520/月
$600 以下最快的单卡: RTX 5090 32 GB，$540/月
INT4 下最便宜的 70B: A40 48 GB，$240/月
BF16 下 70B 单卡: MI300X 192 GB，$1,590/月
70B 长上下文: H200 SXM 141 GB，$2,290/月

BTCETHUSDTUSDCXMRSOLLTC

充值一次，大约九十秒内部署，无需邮箱和身份证件。见免 KYC GPU 托管和加密支付如何运作。

09 问题

VRAM 问题，按人们提问的方式回答。

运行 70B 模型需要多少 VRAM？

在 8,192 个 token、批大小为 1 的条件下，BF16 约 145 GB，FP8 约 75 GB，INT4 约 40 GB。这是权重加 2.7 GB KV 缓存再加 2 GB 开销。FP8 数字可放入一张 80 GB 卡。INT4 数字可放入一张每月 $240 的 48 GB A40。

7B 模型需要多少 VRAM？

在 8k 上下文、批大小为 1 时：BF16 17 GB，FP8 10 GB，INT4 7 GB。三者都能放入 24 GB 卡，因此每月 $190 的 RTX A5000 可以覆盖任何一种。更好的问题是带宽：这个 7B 在 A5000 上的解码上限为每秒 55 个 token，在 RTX 5090 上为 128。

如何计算 KV 缓存大小？

2 × 层数 × KV 头数 × 头维度 × 每元素字节数 × 上下文长度 × 批大小。对于 80 层、8 个 KV 头、头维度 128 的 70B，FP16 下每个 token 是 0.33 MB，因此 8k 为 2.7 GB，128k 为 42.9 GB。FP8 缓存会使每个数字减半。

24 GB VRAM 足够微调一个模型吗？

QLoRA 可以，在较短序列长度下最高约 34B：13B 大约需要 14 GB，7B 需要 10 GB。BF16 下的 LoRA，24 GB 可以覆盖约 21 GB 的 7B，再大的不行。使用 Adam 的全量微调则不行。即使 7B 也需要约 129 GB，因为优化器状态每参数需要 16 字节。

405B 模型需要什么 GPU？

INT4 下约需 209 GB，八张 A40 可以容纳，每月 $1,728，但每张 696 GB/s 意味着这是容量而非速度。FP8 下需要 411 GB，BF16 下需要 816 GB，两者都能放入每月 $11,450 的 8× MI300X 节点。全量微调大约需要 7,452 GB，属于集群范畴。

两张 24 GB 卡能当一张 48 GB 卡用吗？

容量上，差不多。速度上，不行。跨两张卡拆分的模型每个 token 仍要读取每一个字节，因此按层拆分不会提高上限。张量并行可以，但它每一层都要通过卡间链路交换激活：NVLink 桥接为 112 GB/s，PCIe Gen5 约 63 GB/s，Gen4 为 32 GB/s。

哪种 GPU 的每 GB VRAM 最便宜？

A40：48 GB 每月 $240，即每 GB 每月 $5.00，是我们机器中的最低比率。其次是 RTX A6000 的 $6.04，RTX A5000 的 $7.92，MI300X 的 $8.28。H100 SXM 每 GB 要 $21.13，因为你买的是带宽和 FP8 吞吐，而非容量。

量化到 INT4 会损害输出质量吗？

会，且可测量，但损失多少取决于模型和方法。AWQ、GPTQ 等仅权重量化方案的损失明显小于简单舍入。诚实的做法是量化后跑你自己的评测集，再决定这个损失是否值得你省下的显卡。两张卡我们都租，不持意见。

针对工作负载的规模测算见用于 LLM 推理的 GPU 和用于微调的 GPU。完整规格、库存和价格见 GPU catalogue。

你已经知道数字。现在选显卡。

DFW-1、IAD-1 和 PDX-1 中有十五种型号，每月 $190 起，可按周或按月，七种加密货币支付，无需身份核验。

创建账户 →