Блог и журнал изменений GPU-хостинга. Заметки из клетки.

Вторая партия HGX B200 прибыла 19 августа, неделю проходила обкатку и сегодня утром была снята с листа ожидания. Восемь 8-way узлов уже работают, ещё две стойки заказаны для IAD-1 с целью на ноябрь. Ограничение — питание, а не поставки: узел B200 потребляет ~10.2 kW от розетки, и для них нам пришлось добавить шинопровод 415 V в клетку 4.

Инстансы с одиночным GPU B200 мы предложить не можем — эти компоненты существуют только на 8-way базовой плате, — поэтому минимальная единица — 2× (полу-узел, разделённый через NVLink) за $7,391/mo, то есть две карты по $3,890 минус скидка 5% за две GPU. Актуальные остатки по регионам — на странице аренды B200.

NVMe каждого инстанса — это том LUKS2 с ключом, сгенерированным при создании и хранящимся в TPM хоста, привязанным к ID инстанса. При освобождении инстанса мы просим TPM уничтожить ключ — в этот момент содержимое диска становится шифротекстом без ключа где-либо. Затем мы выполняем blkdiscard пространства имён и запускаем 30-секундную проверку, которая берёт выборку из 2,000 случайных LBA и подтверждает, что они читаются как нули. Только после этого слот возвращается в инвентарь. Это добавляет около 90 секунд к освобождению. Мы считаем, что оно того стоит.

Люди постоянно просили купить у нас выведенные из парка карты, и мы всё время отказывали, потому что у нас не было процесса. Теперь есть: страница оборудования с новыми и выведенными из парка картами, колокейшн в наших собственных клетках и ставка обратного выкупа. Размещённые карты используют тот же парк хостов и панель управления, что и аренда — отдельного «коло-продукта» нет. Карта ваша, а ежемесячный счёт сокращается до питания и места. Тарифы по каждой карте — на странице GPU-колокейшн.

Переключение инстанса с недельной оплаты на месячную (или продление месячного на 3/6 месяцев со скидкой за предоплату) больше не затрагивает машину. Также: восстановление снапшотов в другой регион, перевыпуск кодов восстановления TOTP, API-вебхуки при сбоях продления, а также украинский и турецкий переводы панели управления.

Одна стойка, четыре узла, все предварительно проданы по листу ожидания. Интересно: эффективность от розетки по сравнению с H100 на FP8-бенчмарке обучения, который мы используем для прогона, составляет около 2.1× на ватт. Менее интересно: модернизация шинопровода, которая для этого потребовалась.

Одна 8-way платформа MI300X в DFW-1 для тех, кто просил 192 GB HBM по цене, которая не равна цене H200. В комплекте шаблон ROCm 6.4. И первые 240 RTX 5090, распределённые по всем трём регионам; только модели с турбиной, потому что розничным картам с тремя вентиляторами на 575 W не место в стойке.

Тот же форм-фактор HGX, что и у наших узлов H100, так что развёртывание прошло без происшествий. 141 GB на карту означает, что модель 70B в BF16 помещается на двух картах с запасом под батч. Цена — $2,290/mo за карту, и это по-прежнему цифра на странице аренды H200.

Третий регион. ЦОД на гидроэнергии, прохладный климат, хорошая задержка до Западного побережья и Азиатско-Тихоокеанского региона. Открывается с наличием L40S, A100 и 4090; узлы H100 появятся в Q4.

Мы переписали API, а затем переписали панель управления так, чтобы она использовала только публичный API. Если что-то возможно в панели управления, это возможно с помощью curl. v1 объявлен устаревшим с 12-месячным сроком вывода из эксплуатации.

В начале 2023 года получить аллокацию было сложно. Мы получили пятьдесят карт PCIe для DFW-1; SXM-узлы появились десятью месяцами позже. Каждая из тех первых пятидесяти до сих пор в работе.

IAD-1 открывается с 300 GPU, в основном A6000 и A40, а также 3090, перевезёнными из Далласа. Задержано на два дня из-за кросс-коннекта; честную версию смотрите на статусной странице.

Самая запрашиваемая функция нашего первого года. Депозиты XMR зачисляются после 10 подтверждений по спотовому курсу на момент первого подтверждения, как и всё остальное. Мы запускаем собственный узел и до сих пор это делаем: см. Monero GPU-хостинг.

Одна стойка, одна клетка, один коммутатор (о чём нам ещё предстояло узнать), сорок 3090 и страница с ценами ровно с одной строкой. Месячные сроки, потому что именно так мы сами хотели бы арендовать GPU. Bitcoin и Ethereum, потому что это то, что у нас было. Без KYC, потому что мы не хотим хранить ваш паспорт больше, чем вы хотите нам его давать. Спустя пять лет GPU-хостинг без KYC по-прежнему работает именно так.