Блог про GPU-хостинг і журнал змін. Нотатки з клітки.

Друга партія HGX B200 прибула 19 серпня, тиждень проходила прогін і сьогодні вранці розчистила лист очікування. Вісім 8-сторонніх вузлів уже працюють, ще дві стійки замовлено для IAD-1 із цільовим терміном у листопаді. Обмеження — це живлення, а не постачання: вузол B200 споживає ~10,2 кВт від розетки, і для них нам довелося додати шинопровід 415 В до клітки 4.

Інстанси B200 з однією GPU ми запропонувати не можемо — ці компоненти існують лише на 8-сторонній базовій платі — тому найменша одиниця — 2× (піввузла, розділеного через NVLink) за $7,391/mo, тобто дві карти по $3,890 мінус 5% знижки за дві GPU. Актуальні залишки по регіонах — на сторінці оренди B200.

NVMe кожного інстанса — це том LUKS2 із ключем, згенерованим під час провізіонінгу й збереженим у TPM хоста, прив'язаним до цього ідентифікатора інстанса. Коли ви звільняєте інстанс, TPM отримує команду знищити ключ — у цей момент вміст диска є шифротекстом без жодного ключа будь-де. Потім ми виконуємо blkdiscard для простору імен і запускаємо 30-секундну перевірку, яка вибирає 2 000 випадкових LBA і підтверджує, що вони читаються як нулі. Лише після цього слот повертається до інвентарю. Це додає близько 90 секунд до процесу звільнення. Ми вважаємо, що воно того варте.

Люди постійно просили продати їм виведені з експлуатації карти, а ми постійно відмовляли, бо не мали процесу. Тепер маємо: сторінка обладнання з новими та виведеними з парку картами, колокація у власних клітках і ставка зворотного викупу. Карти в колокації використовують той самий парк хостів і панель керування, що й оренда — окремого «colo-продукту» немає. Карта ваша, а щомісячний рахунок знижується до живлення та місця. Тарифи за карту — на сторінці GPU-колокації.

Переведення інстанса з щотижневого тарифу на щомісячний (або продовження щомісячного на 3/6 місяців зі знижкою за передоплату) більше не зачіпає машину. Також: відновлення знімків у іншому регіоні, можливість повторної генерації кодів відновлення TOTP, API-вебхуки для збоїв продовження і український та турецький переклади панелі керування.

Одна стійка, чотири вузли, усі попередньо продані за листом очікування. Цікаво: ефективність на розетці порівняно з H100 на FP8-бенчмарку тренування, який ми запускаємо для прогіну, становить близько 2,1× на ват. Менш цікаво: модернізація шинопровода, якої вона потребувала.

Одна 8-стороння платформа MI300X у DFW-1 для тих, хто просив 192 ГБ HBM за ціною, яка не є H200. Шаблон ROCm 6.4 включено. А також перші 240 RTX 5090, розподілені між усіма трьома регіонами; лише моделі з турбіною, тому що роздрібним картам із трьома вентиляторами на 575 Вт не місце в стійці.

Той самий форм-фактор HGX, що й у наших вузлах H100, тож провізіонінг пройшов без пригод. 141 ГБ на карту означає, що модель 70B у BF16 вміщується на двох картах із запасом для батча. Ціна — $2,290/mo за карту, і це досі цифра на сторінці оренди H200.

Третій регіон. Об'єкт живиться від гідроенергії, прохолодний клімат, хороша затримка до західного узбережжя та Азійсько-Тихоокеанського регіону. Відкривається з наявністю L40S, A100 і 4090; вузли H100 з'являться в Q4.

Ми переписали API, а потім переписали панель керування так, щоб вона використовувала лише публічний API. Якщо щось можливо в панелі керування, це можливо через curl. v1 оголошено застарілою з 12-місячним періодом припинення підтримки.

На початку 2023 року отримати квоту було складно. Ми отримали п'ятдесят карт PCIe для DFW-1; вузли SXM з'явилися через десять місяців. Кожна з тих перших п'ятдесяти й досі в експлуатації.

IAD-1 відкривається з 300 GPU, переважно A6000 і A40, а також 3090, перевезеними з Далласа. Затримка на два дні через крос-конект; чесну версію дивіться на сторінці статусу.

Найбільш запитувана функція нашого першого року. Депозити XMR зараховуються після 10 підтверджень за спотовим курсом на момент першого підтвердження, як і все інше. Ми тримаємо власну ноду й досі це робимо: див. Monero GPU-хостинг.

Одна стійка, одна клітка, один комутатор (про це ми ще дізнаємося), сорок 3090 і сторінка тарифів рівно з одним рядком. Щомісячні умови, бо саме так ми самі хотіли б орендувати GPU. Bitcoin та Ethereum, бо саме це в нас було. Жодного KYC, бо ми не хочемо зберігати ваш паспорт так само, як ви не хочете нам його давати. Через п'ять років GPU-хостинг без KYC досі працює саме так.