GPU 托管博客与变更日志。来自机笼的笔记。

第二批 HGX B200 于 8 月 19 日到货，烧机测试一周后，于今天早上清空了等待队列。八个 8 路节点已上线，另有为 IAD-1 订购的两个机架，目标时间是 11 月。瓶颈是电力，而不是供应：一个 B200 节点在墙插处约消耗 10.2 kW，我们不得不为它们在 4 号机笼增设 415 V 母线槽。

我们无法提供单卡 B200 实例——这些部件只存在于 8 路基板上——因此最小单位是 2×（半节点，NVLink 分区），每月 7,391 美元，相当于两张卡每张 3,890 美元减去 5% 的双卡折扣。各区域实时库存见 B200 租用页面。

每个实例的 NVMe 都是一个 LUKS2 卷，密钥在开通时生成并保存在主机 TPM 中，并密封到该实例 ID。释放实例时，会要求 TPM 销毁密钥——此时硬盘内容就只是密文，任何地方都不存在密钥。然后我们对命名空间执行 blkdiscard，并运行 30 秒的校验过程，抽样 2,000 个随机 LBA，确认读取结果为零。只有在这之后，该槽位才会回到库存。这会给释放过程增加约 90 秒。我们认为这值得。

一直有人问能不能从我们这里购买退役显卡，而我们一直拒绝，因为没有相应流程。现在有了：一个 硬件页面，提供全新和机队退役显卡、我们自有笼内的托管，以及回购价格。托管显卡使用与租用相同的主机机队和仪表板——没有单独的“托管产品”。显卡归你所有，每月账单降为电力和机位费用。每卡档位见 GPU 托管 页面。

将实例从周付改为月付（或以预付折扣将月付实例延长 3/6 个月）不再影响机器本身。此外：快照可恢复到不同区域、TOTP 恢复码可重新生成、续费失败可触发 API webhook，以及仪表板的乌克兰语和土耳其语翻译。

一个机架，四个节点，全部预售给了等候名单客户。有趣的是：在我们为烧机测试运行的 FP8 训练基准中，相比 H100 的墙插效率约为每瓦 2.1 倍。不那么有趣的是：为此所需的母线槽升级。

DFW-1 中有一个 8 路 MI300X 平台，面向那些想要 192 GB HBM、但不想按 H200 价格付费的人。包含 ROCm 6.4 模板。首批 240 张 RTX 5090 分布在全部三个区域；仅限涡轮风扇型号，因为 575 W 三风扇零售卡不适合放入机架。

与我们的 H100 节点采用相同的 HGX 外形规格，因此开通过程很平稳。每卡 141 GB 意味着 BF16 的 70B 模型可放在两张卡上，还有空间容纳一个 batch。定价为每卡每月 2,290 美元，这仍是 H200 租用页面 上的价格。

第三个区域。水电供电设施，气候凉爽，到西海岸和亚太地区的延迟良好。开放时提供 L40S、A100 和 4090 库存；H100 节点将在第四季度跟进。

我们重写了 API，然后又重写了仪表板，使其只使用公共 API。只要在仪表板中能做到的事，用 curl 也能做到。v1 已弃用，并设 12 个月的淘汰期。

2023 年初，配货很难拿到。我们为 DFW-1 拿到了五十张 PCIe 卡；SXM 节点在十个月后到货。那首批五十张中的每一张至今仍在服役。

IAD-1 开放时有 300 个 GPU，主要是 A6000 和 A40，以及从达拉斯移来的 3090。因交叉连接延误了两天；真实情况见状态页面。

这是我们第一年中被请求最多的功能。XMR 充值在 10 次确认后，以首次确认时的现货汇率入账，与其他币种相同。我们运行自己的节点，而且至今如此：见 Monero GPU 托管。

一个机架，一个机笼，一台交换机（我们后来会领教到这点），四十张 3090，以及一张只有一行的定价页面。采用月付条款，因为那是我们自己租用 GPU 时希望的方式。接受 Bitcoin 和 Ethereum，因为那是我们当时仅有的。无 KYC，因为我们不想保管你的护照，正如你也不想把它交给我们。五年过去了，无 KYC GPU 托管 仍然完全以这种方式运作。