GPU Rent Hub用于 LLM 推理的 GPU

为 LLM 推理选择 GPU。

Q: 70B 端点除了权重还需要什么？

缓存，它随并发扩展，而不是随模型扩展。权重和单流数字见 GPU VRAM 指南 ：FP8 在 8,192 个 token、批大小 1 时为 75 GB。在该上下文下每增加一个并发请求会增加 2.7 GB，因此 8 个并发请求约增加 22 GB，32 个约增加 85 GB。这就是 80 GB 显卡服务一个流并剩余 5 GB，与 141 GB 的 H200 或 192 GB 的 MI300X 服务真正并发端点之间的区别。将缓存量化到 FP8 会使上述每个数字减半。

GPU Rent Hub 出租用于 LLM 推理的专用 GPU 服务器，价格从 NVIDIA L4 每月 250 美元到 H200 SXM 每月 2,290 美元，可通过 Bitcoin、Ethereum、USDT、USDC、Monero、Solana 或 Litecoin 支付，无需身份验证。

两个数字决定显卡：权重和 KV 缓存所需的 VRAM，以及决定每秒 token 数的内存带宽。

Updated 2026-09-01

75 GBFP8 精度、8k 上下文、批大小 1 的 70B 模型

3.35 TB/sH100 SXM 内存带宽

$2.35H100 SXM 每月租期折算的每 GPU 小时价格

20 TB每实例包含的出站流量

01 选型

LLM 推理需要多少 VRAM？

这里有两个数字决定显卡。推导过程见 VRAM 指南；会变化的项是 KV 缓存，它随你的流量变化，而不是随模型变化。

本页所依据的两个数字

FP8 精度下 70B 模型在 8,192 个 token、批大小 1 时占用 75 GB，其中 2.7 GB 是 KV 缓存。 其余内容——权重加缓存加开销的公式、每种精度下每参数字节数，以及每个模型规模的对应行——在 GPU VRAM 指南中逐项推导，这里不再重复。下面就用这两个数字：75 GB 解释了为什么 80 GB 显卡可以服务 70B 模型并剩余 5 GB，而 2.7 GB 缓存则是沿用至表中 120B 行的项。

缓存项在长上下文中占主导，它随上下文长度乘以批大小扩展，而不是随参数数量。在 128k 和 32 个并发请求下，它可能超过权重。这就是为什么 141 GB 的 H200 SXM 比运行相同芯片的 H100 SXM 更贵。

模型规模	BF16，2 B/参数	FP8，1 B/参数	4-bit，0.5 B/参数	能容纳 FP8 的最便宜 NVIDIA 显卡
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4，24 GB
13B–14B40 层、MHA、大缓存	35 GB	22 GB	15 GB	L4，24 GB，紧张
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada，48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe，80 GB
120B同一公式，指南中无此行	245 GB	125 GB	65 GB	H200 SXM，141 GB
405B	816 GB	411 GB	209 GB	8× MI300X，1,536 GB

权重加以 8,192 个 token、批大小 1 计算的 KV 缓存，再加 2 GB 开销，引自 GPU VRAM 指南，并列出能容纳每个 FP8 数字的最便宜显卡。最后一列仅限 NVIDIA，因为另一种选择意味着不同的软件栈：在 120B 一行，192 GB 的 MI300X 同样容纳 125 GB，每月 1,590 美元，而 H200 SXM 为 2,290 美元，代价是使用 ROCm 而非 CUDA，且仅在 Dallas 而非三个站点。120B 一行是将同一公式再推进一步，沿用 70B 行的 2.7 GB 缓存，因为指南中没有覆盖该规模的行。405B 一行是该列的例外，因为两个品牌都没有单卡能容纳它，而最便宜的节点是 8× MI300X。FP8 下的 70B 在 8k 上下文时于 80 GB 显卡上剩余 5 GB，到 32k 时不再容纳，仅缓存就占 10.7 GB。

02 带宽

为什么 LLM 推理中内存带宽比 TFLOPS 更重要？

解码一个 token 会读取一次所有权重。显卡在等待内存，而不是在等待计算。

在批大小为 1 时，每个 token 解码时会将整个权重集从 VRAM 中流出，每参数约执行两次浮点运算；在 BF16 下，这相当于每加载一个字节执行一次运算。要让 H100 SXM 的张量核心保持繁忙，大约需要 300 的比值，将其 1,979 稀疏 FP16 TFLOPS 视为约 990 稠密，而带宽为 3.35 TB/s。该显卡在很大程度上受内存限制，因此每秒 token 数的上限等于带宽除以每个 token 读取的权重字节数。

BF16 下的 8B 模型为 16 GB。在 1.01 TB/s 的 RTX 4090 上，上限是每秒 63 个 token；在 3.35 TB/s 的 H100 SXM 上则是 209。这些都是规格表上的上限，实际解码会低于它们，低多少我们不会给出，因为我们无法找到一个可引用的比例。排序仍然成立。预填充则相反，受计算限制，这正是 FP8 张量核心发挥作用的地方。

上限，每秒 token 数 = 内存带宽 ÷（参数数量 × 每参数字节数）。批处理会提高每卡吞吐量，但不会提高单请求速度，因为权重对整个批只读取一次。

表中有两个对我们不利的事实。2.04 TB/s 的 A100 SXM 带宽高于 H100 PCIe，936 GB/s 的 RTX 3090 也高于 L40S。但两者都不是更好的推理显卡。第 03 节说明原因。

GPU	VRAM	带宽	上限，BF16 下的 8B	每月	每 GPU 小时
B200Blackwell，HBM3e，2 张 GPU 起订	180 GB	8 TB/s	500 t/s	$3,890/月	$5.40
MI300XCDNA 3，HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/月	$2.21
H200 SXMHopper，HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/月	$3.18
H100 SXMHopper，HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/月	$2.35
A100 SXMAmpere，不支持 FP8	80 GB	2.04 TB/s	128 t/s	$990/月	$1.38
H100 PCIeHopper，HBM2e	80 GB	2 TB/s	125 t/s	$1,490/月	$2.07
RTX 5090Blackwell，GDDR7	32 GB	1.79 TB/s	112 t/s	$540/月	$0.75
RTX 4090Ada，GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/月	$0.54
RTX 6000 AdaAda，GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/月	$0.64
RTX 3090Ampere，不支持 FP8	24 GB	936 GB/s	59 t/s	$230/月	$0.32
L40SAda，GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/月	$0.72
A40Ampere，不支持 FP8	48 GB	696 GB/s	44 t/s	$240/月	$0.33
L4Ada，72 W	24 GB	300 GB/s	19 t/s	$250/月	$0.35

上限列是带宽除以 16 GB 的 BF16 权重：是规格表上的上界，不是实测结果。每 GPU 小时为月价除以 720。B200 价格为每卡价格，该卡按 8 路 HGX 基板出售，因此 B200 最小订单为两张卡，两张卡折扣前每月 7,780 美元。全部十五种显卡见 GPU 目录。

03 精度

FP8 重要吗？为什么 A100 作为推理卡比其价格所暗示的更差？

FP8 使权重减半。这使每个 token 读取的字节数减半，并使可容纳的模型规模翻倍。

Hopper、Ada Lovelace 和 Blackwell 架构拥有 FP8 张量核心：B200、H200、H100 SXM、H100 PCIe、L40S、RTX 6000 Ada、RTX 5090、RTX 4090 和 L4。Ampere 没有。A100、A40、RTX A6000、RTX A5000 和 RTX 3090 不支持 FP8，这是硬件限制，不是驱动缺失。

因此，FP8 下的 70B 模型为 75 GB，可在一张 H100 SXM 上运行，每月 1,690 美元，每小时 2.35 美元。在 Ampere 上它需要以 BF16 运行，占用 145 GB，意味着需要两张 A100 SXM：标价 1,980 美元，应用 5% 双卡折扣后每月 1,881 美元，即端点每小时 2.61 美元，对比单张 H100 SXM 的 2.35 美元，且每个 token 都有张量并行流量。更便宜的显卡组成了更昂贵的端点。

Ampere 仍然值得租用

用于微调、4-bit 服务，以及每月 1,000 美元以下获得 80 GB 显存的需求。作为生产 token 端点的默认选择它并不合适，而 990 美元的标价掩盖了这一点。

MI300X 是值得了解的例外。每月 1,590 美元即可获得 192 GB HBM3、5.3 TB/s，可在一张卡上以 BF16 运行 70B 模型，145 GB 占用后还有 47 GB 余量，无需量化或分片。它可启动我们的 ROCm 6.4 模板，并带有 PyTorch ROCm 构建。

04 推荐选择

每个模型规模下最适合 LLM 推理的 GPU 是什么？

按模型规模排序。每个区间一张卡，依据上述计算选择。

服务对象	推荐	VRAM	每周	每月	每 GPU 小时
7B–8B，常开、低 QPS72 W，单槽，FP8	L4	24 GB	$70	$250/月	$0.35
7B–14B，延迟敏感1.01 TB/s，265 张库存	RTX 4090	24 GB	$110	$390/月	$0.54
FP8 下的 14B–24B600 美元以下最快显存	RTX 5090	32 GB	$155	$540/月	$0.75
FP8 下的 24B–34BECC，8 路节点，RT 核心	L40S	48 GB	$148	$520/月	$0.72
BF16 下的 32B，无量化350 W 的 Hopper	H100 PCIe	80 GB	$420	$1,490/月	$2.07
FP8 下的 70B，单卡生产环境默认	H100 SXM	80 GB	$475	$1,690/月	$2.35
BF16 下的 70B，单卡单卡最大 HBM	MI300X	192 GB	$450	$1,590/月	$2.21
100B–120B，或 128k 下的 70BKV 缓存余量	H200 SXM	141 GB	$640	$2,290/月	$3.18
FP8 下的 405B，单节点8 路，NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/月	$4.86

每 GPU 小时为月价除以 720；对于节点，则除以 8 张卡和 720 小时。多 GPU 折扣为两张卡 5%、四张卡 8%、八张卡 10%，因此 8× H100 SXM 节点每月 12,170 美元，即每 GPU 小时 2.11 美元。库存：63 张 H100 SXM、100 张 RTX 5090、74 张 L40S、265 张 RTX 4090。这些是我们会用来跑任务的选择；VRAM 指南的查表列出的是仅仅能容纳它的最便宜显卡，因此这里的某些行有时是更贵的显卡，原因写在该行。405B 一行是最明显的例子：指南将能容纳 FP8 405B 的最便宜节点列为 8× MI300X，价格 11,450 美元，而本表选择 8× B200，因其拥有 1.8 TB/s 互连带宽。

价格在 DFW-1 Dallas、IAD-1 Ashburn 和 PDX-1 Hillsboro 完全相同，因此请根据延迟选择区域。MI300X 仅 Dallas 有。八张 B200 中，六张在 DFW-1，两张在 PDX-1，IAD-1 没有。

05 实例

在 GPU Rent Hub 的 LLM 推理服务器上我会得到什么？

裸金属、root 权限、预装服务栈，未启用前没有任何端口监听。

vLLM 0.9 模板

Ubuntu 24.04，预装 vLLM 0.9 和一个 OpenAI 兼容的 server 单元。该单元默认禁用。你可以启用它，并决定哪些流量可以访问端口。

默认不暴露任何内容。

Ollama 模板

适用于想在两分钟内让模型回答问题，而不是调优服务器的场景。Ollama 默认绑定到 localhost，你需要自己暴露它，通常通过 WireGuard。

同一规则：在你移动它之前只监听 localhost。

包含 20 TB 出站流量

按每个流式 token 约 100 字节的 JSON 和 SSE 封装计算，这大约是每月 2,000 亿个 token。纯文本端点用不到这么多。

之后每 TB 4 美元。入站不计费。

100G 端口，保证 10G

共享 100G 上联，保底 10 Gbps，包含一个 IPv4 和一个 IPv6 /64。如果你流式传输音频或图像，可以每月 220 美元加购专用 100G 端口。

实例间私有 VLAN，每月 25 美元。

始终在线的推理是选择固定租期最明确的情形：请求时间不可预测、不能容忍冷启动，并且权重驻留——若在按量平台上每次扩容都要重新拉取。无论流量是否到达，显卡在 720 小时内都属于你，且不可抢占。关于临界点计算见月租与小时租 GPU 对比，部署细节见文档。一次下单、一次付款，支持 BTC、ETH、USDT、USDC、XMR、SOL 或 LTC：加密货币支付如何运作，以及无 KYC GPU 托管意味着什么。

BTCETHUSDTUSDCXMRSOLLTC

06 不适用时

什么时候不应该为 LLM 推理租用专用 GPU？

三种情况下专用显卡是错误工具，我们宁愿直说。

如果每月大约不到一千万个 token，请使用托管的 token API。在 L4 上运行 7B 模型每月 250 美元，在这个用量下相当于每百万 token 25 美元，而类似开源模型的通用按 token 价格低于此水平。

第二，突发流量。如果一个端点周二响应一百个请求，然后直到下周都无事，那么显卡只忙碌几分钟，却被租用 720 小时。请使用按小时计费的提供商。我们最短租期为七天，且没有计量计费。

第三，更小的卡就能胜任。将 34B 模型量化到 4-bit 后，它只需 21 GB，每月 230 美元的 RTX 3090 就能以 936 GB/s 服务，尚余 3 GB；其显存速度比指南查表为同一格列出的更便宜 RTX A5000 更快。不要因为模型名字里的数字大就去租 H100 SXM。

以下情况请向我们租用

端点始终在线；按 token 计费已成为你最大的支出项；权重和提示词必须留在没有其他人接触的硬件上；或者你想用加密货币支付且无需身份检查。

以下情况请勿向我们租用

你只需要用一个下午的卡；流量不可预测且很低；或者你尚未测量模型能否以 4-bit 装进价格为四分之一的卡中。

训练是另一个不同的选型问题，主要受优化器状态影响：见用于微调的 GPU。

07 常见问题

关于用于 LLM 推理的 GPU，直白问答。

最适合 LLM 推理的 GPU 是什么？

取决于模型规模。7B 到 14B 推荐每月 390 美元的 RTX 4090，性价比高。24B 到 34B 的 FP8 推荐每月 520 美元的 48 GB L40S。70B 的 FP8 推荐一张 H100 SXM，每月 1,690 美元，即每 GPU 小时 2.35 美元。100B 及以上推荐 H200 SXM，每月 2,290 美元。

70B 端点除了权重还需要什么？

缓存，它随并发扩展，而不是随模型扩展。权重和单流数字见 GPU VRAM 指南：FP8 在 8,192 个 token、批大小 1 时为 75 GB。在该上下文下每增加一个并发请求会增加 2.7 GB，因此 8 个并发请求约增加 22 GB，32 个约增加 85 GB。这就是 80 GB 显卡服务一个流并剩余 5 GB，与 141 GB 的 H200 或 192 GB 的 MI300X 服务真正并发端点之间的区别。将缓存量化到 FP8 会使上述每个数字减半。

我可以为 vLLM 租用 GPU 吗？

可以。任何实例都可以在 Ubuntu 24.04 上启动 vLLM 0.9 模板，该模板包含一个 OpenAI 兼容的 server 单元，默认禁用，直到你启用为止。你在裸金属上拥有 root 权限，因此可以替换为你自己的构建。MI300X 使用 ROCm 6.4 模板，并带有 PyTorch ROCm 构建。

为什么 A100 不是一张好的 LLM 推理卡？

Ampere 没有 FP8 张量核心，因此 70B 模型需以 BF16 运行，占用 145 GB。这需要两张 A100 SXM，标价 1,980 美元，应用 5% 双卡折扣后为每月 1,881 美元；相比之下，一张 H100 SXM 以 FP8 服务同一模型，价格为 1,690 美元，带宽 3.35 TB/s。A100 仍然是适合微调和 4-bit 服务的显卡。

一块 GPU 每秒能产生多少个 token？

上限等于内存带宽除以每个 token 读取的权重字节数。BF16 下的 8B 模型为 16 GB，因此 1.01 TB/s 的 RTX 4090 上限约为每秒 63 个 token，3.35 TB/s 的 H100 SXM 约为 209。实际技术栈会低于上限，低多少取决于你的内核、批形状和调度器，这就是我们只发布上限而不发布其折扣比例的原因。

对于始终在线的 LLM 端点，月租合适吗？

通常合适。固定租期的费用无论是否有流量都一样，因此在不可预测时间应答的端点无需支付闲置溢价、没有冷启动，也从不排队等待容量。临界点由价格得出：H100 SXM 月租 1,690 美元，对比示例性的每小时 2.49 至 3.49 美元计量价格，在一个 720 小时的月份中，大约在 480 至 680 个已使用小时时达到盈亏平衡；低于该值则按小时提供商更便宜。完整计算见我们的月租与小时租对比页面。

你们是否包含足够的带宽用于 token API？

是的。每个实例每月包含 20 TB 出站流量，按每个流式 token 约 100 字节 JSON 和 SSE 封装计算，约为 2,000 亿个 token。入站不计费，因此拉取权重不花钱。超过 20 TB 后每 TB 4 美元；专用 100G 端口每月 220 美元。

租用 LLM 推理服务器需要提供身份证件吗？

不需要。账户只需要用户名和密码，无需电子邮件地址；每期租用只需以 Bitcoin、Ethereum、USDT、USDC、Monero、Solana 或 Litecoin 单次转账支付。GPU Rent Hub Compute LLC 自 2021 年 3 月 15 日起一直如此运营，在 DFW-1 Dallas、IAD-1 Ashburn 和 PDX-1 Hillsboro 拥有 6,300 张 GPU。

更详细的选型案例见 GPU VRAM 指南，所有显卡见 GPU 目录，租期折扣见定价页面。

把端点放到没有其他人接触的硬件上。

在 DFW-1、IAD-1 或 PDX-1 的专用卡上部署 vLLM，大约只需 90 秒。一次下单、一次付款，无需邮箱，无需身份证件。

创建账户 →