A100 SXM 和 L40S 有什么区别？
每个数字都是我们据以出租的数字，取自仪表盘定价所用的同一价目表。每 GPU 小时价格是 固定月租价格除以 720 小时；我们从不按小时计费。
| A100 SXM | L40S | |
|---|---|---|
| 显存 | 80 GB HBM2e | 48 GB GDDR6 ECC |
| 显存带宽 | 2.04 TB/s | 864 GB/s |
| 架构 | Ampere (2020) | Ada Lovelace (2023) |
| 核心数 | 6,912 CUDA · 432 Tensor | 18,176 CUDA · 568 Tensor · 142 RT |
| FP8 | not supported | 1,466 TFLOPS (sparse) |
| FP16 | 624 TFLOPS (sparse) | 733 TFLOPS (sparse) |
| 互连 | NVLink · 600 GB/s | PCIe Gen4 peer-to-peer |
| 板卡功耗 | 400 W | 350 W |
| 主机 vCPU | 16 | 16 |
| 主机内存 | 125 GB | 94 GB |
| 本地 NVMe | 1 TB | 500 GB |
| 每周价格 | $280 | $148 |
| 每月价格 | $990 | $520 |
| 每 GPU 小时 | $1.38 | $0.72 |
| 每 GB 显存价格 | $12.38 | $10.83 |
| 当前有货 | 78 | 74 |
你应该租用哪一款？
A100 SXM 多出 32 GB 显存，这是模型能否加载的唯一决定因素。 L40S 支持 FP8，而 A100 SXM 不支持，这对于较便宜的卡来说并不常见，使其成为更好的推理选择。 带宽为 2.04 TB/s 对比 864 GB/s，对于单流 token 生成，决定速度的是带宽，而不是规格表上的 FLOPS 数字。 只有 A100 SXM 具备 NVLink，因此多卡训练在它上面可以扩展，而在 L40S 上则很吃力。 A100 SXM 的每月价格高出 90%，为 $990 对 $520；每 GPU 小时则为 $1.38 对 $0.72。
何时租用 A100 SXM
The cheapest 80 GB card with NVLink. 80 GB of HBM2e under $1,000 a month, the value pick for multi-week runs.
$990/月 · $280/周 · 规格和库存
何时租用 L40S
Serving 7B–34B models in production. 48 GB with FP8 support and RT cores, the best inference card per dollar in our fleet.
$520/月 · $148/周 · 规格和库存
每款显卡在哪里有货
短横线表示该显卡在该地区处于候补名单中。三个地区的价格完全相同，因此只需根据延迟 和库存选择，无需考虑其他因素。
| 地区 | A100 SXM | L40S |
|---|---|---|
| DFW-1Dallas, TX | 40 | 26 |
| IAD-1Ashburn, VA | 22 | 18 |
| PDX-1Hillsboro, OR | 16 | 30 |
A100 SXM 对比 L40S
A100 SXM 是否比 L40S 更好？
A100 SXM 和 L40S 之间的价格差是多少？
A100 SXM 和 L40S 的显存分别是多少？
我可以在无需 KYC 的情况下租用任意一款显卡吗？
今天哪一款有货？
我可以将多块 A100 SXM 显卡装入一台机器吗？
按周或按月租用其中任意一款
无需身份验证，无需邮箱地址，无需银行卡。配置机器，用七种加密货币中的任意一种支付生成的订单，大约九十秒内即可运行。