Орендуйте GPU для донавчання, підібраний за арифметикою, яку можна перевірити.
GPU Rent Hub здає в оренду виділені GPU NVIDIA та AMD для донавчання на тиждень або місяць, від $190 на місяць за карту на 24 GB, яка запускає QLoRA на моделі 7B, до $12,170 на місяць за вузол із 8× H100 SXM, з’єднаних через NVLink; оплата в Bitcoin, Ethereum, USDT, USDC, Monero, Solana або Litecoin без перевірки особи.
Скільки пам’яті GPU насправді потрібно для донавчання?
Це той момент, де люди помиляються, і це єдине, що визначає, яку карту ви орендуєте.
Пам’ять для донавчання в одному абзаці. Повне донавчання з оптимізатором Adam коштує приблизно 16 байт на параметр: 2 для ваг BF16, 2 для градієнтів, 4 для майстер-копії FP32 і по 4 для двох станів моментів Adam. Тому моделі 7B потрібно приблизно 112 GB ще до збереження першої активації, що не вміщується ні в карту на 24 GB, ні в карту на 80 GB. LoRA заморожує базові ваги й тренує невеликі матриці адаптерів, тож рахунок зменшується до замороженої бази по 2 байти на параметр плюс кілька сотень мегабайт стану адаптерів і оптимізатора: близько 21 GB для 7B. QLoRA квантує заморожену базу до 4 біт, 0,5 байта на параметр, і тренує ті самі адаптери: близько 10 GB для 7B і близько 51 GB для 70B.
Ці три цифри, як і кожна в таблиці нижче, належать гіду з GPU VRAM, за його припущеннями: увімкнено gradient checkpointing, довжина послідовності 2,048, batch 1, адаптери rank-16 на рівні близько 0,5% параметрів, і вже враховано резерв на накладні витрати середовища виконання. Збільште довжину послідовності або batch — і активації зростуть зверху.
Звідки береться 16
Ніщо в циклі навчання не зберігає модель один раз. Ваги, градієнт тієї самої форми, майстер-копія FP32, а також середнє й дисперсія Adam для кожного параметра. Жоден фреймворк цього не прибирає.
Що прибирає LoRA
Градієнт і обидва стани оптимізатора для всього, крім адаптерів. Заморожена база все одно має бути резидентною, тому LoRA на BF16 7B досі займає 14 GB до всього іншого. QLoRA атакує резидентність, а не оптимізатор.
Який GPU мені потрібен, щоб донавчити модель 7B, 13B або 70B?
Модель проти методу проти карти, яка це вміщує, з VRAM за даними гіда з VRAM. Ціна за GPU-годину — місячна, поділена на 720.
| Модель і метод | Потрібно VRAM | Карта, що підходить | VRAM карти | Щотижня | Щомісяця | За GPU-годину |
|---|---|---|---|---|---|---|
| 7B, QLoRA4-бітна база, ранг 16 | 10 GB | RTX A5000 | 24 GB | $55 | $190/міс | $0.26 |
| 13B, QLoRA4-бітна база | 14 GB | RTX 3090 | 24 GB | $65 | $230/міс | $0.32 |
| 7B, LoRAбаза BF16 утримується резидентно | 21 GB | RTX 4090 | 24 GB | $110 | $390/міс | $0.54 |
| 34B, QLoRA4-бітна база | 28 GB | A40 | 48 GB | $68 | $240/міс | $0.33 |
| 13B, LoRAбаза BF16 | 33 GB | L40S | 48 GB | $148 | $520/міс | $0.72 |
| 70B, QLoRA35 GB 4-бітних ваг | 51 GB | A100 SXM | 80 GB | $280 | $990/міс | $1.38 |
| 34B, LoRAбаза BF16, одна карта | 79 GB | MI300X | 192 GB | $450 | $1,590/міс | $2.21 |
| 7B, повне донавчанняAdam, 16 байт на параметр | 129 GB | 2× A100 SXMNVLink 600 GB/s, найдешевший шлях CUDA | 160 GB | $532 | $1,881/міс | $1.31 |
| 70B, LoRAбаза BF16, одна карта | 156 GB | 1× MI300Xбез шардингу | 192 GB | $450 | $1,590/міс | $2.21 |
| 70B, повне донавчанняZeRO-3 по вузлу | 1,288 GB | 8× MI300XInfinity Fabric 896 GB/s | 1,536 GB | $3,240 | $11,450/міс | $1.99 |
Порівняйте рядок вісім із рядком шість. Повне донавчання 7B коштує приблизно вдвічі більше, ніж QLoRA на 70B. Для більшості людей це не та робота, яку їм потрібно виконати.
Який GPU варто орендувати для навчання, якщо потрібно обрати один?
Відсортовано за тим, що ми розгорнули б для багатотижневого запуску, а не за ціною. Наявність розподілена між DFW-1 Dallas, IAD-1 Ashburn і PDX-1 Hillsboro.
| GPU | VRAM | Інтерконект | Щотижня | Щомісяця | За GPU-годину | Вільні зараз |
|---|---|---|---|---|---|---|
| H100 SXM ВибірHBM3, 3.35 TB/s, FP8 | 80 GB | NVLink 900 GB/s | $475 | $1,690/міс | $2.35 | 63 |
| A100 SXMHBM2e, 2.04 TB/s, без FP8 | 80 GB | NVLink 600 GB/s | $280 | $990/міс | $1.38 | 78 |
| H200 SXMHBM3e, 4.8 TB/s | 141 GB | NVLink 900 GB/s | $640 | $2,290/міс | $3.18 | 19 |
| MI300XROCm 6.4, 5.3 TB/s | 192 GB | Infinity Fabric 896 GB/s | $450 | $1,590/міс | $2.21 | 8 |
| L40SGDDR6 ECC, FP8 | 48 GB | PCIe Gen4 peer-to-peer | $148 | $520/міс | $0.72 | 74 |
| RTX A6000GDDR6 ECC, 768 GB/s | 48 GB | NVLink bridge 112 GB/s, пари | $82 | $290/міс | $0.40 | 65 |
| RTX 3090GDDR6X, 936 GB/s | 24 GB | NVLink bridge 112 GB/s, пари | $65 | $230/міс | $0.32 | 186 |
| RTX A5000GDDR6 ECC, 230 W | 24 GB | NVLink bridge 112 GB/s, пари | $55 | $190/міс | $0.26 | 51 |
H100 SXM — це вибір: найдешевша карта, яку ми здаємо, що поєднує 80 GB HBM3, тензорні ядра FP8 і 900 GB/s NVLink в одному артикулі. A100 SXM 80 GB — це відповідь за співвідношенням ціни й можливостей за $990, без FP8, з тією самою топологією NVLink, за 59% ціни.
Чому NVLink має значення, коли карт більше ніж одна?
Тому що шардований запуск передає градієнти між картами на кожному кроці, і канал є нижньою межею швидкості цього.
На одному GPU інтерконект не має значення. Щойно ви шардуєте, з ZeRO-2, ZeRO-3 або тензорним паралелізмом, карти обмінюються градієнтами або шардами параметрів на кожному кроці, і цей трафік є фіксованим кратним розміру моделі. PCIe Gen4 x16 має лінійну швидкість близько 32 GB/s в одному напрямку, а Gen5 — близько 63. NVLink на H100 SXM — 900 GB/s. Це різниця між комунікаційним кроком, який ховається за обчисленнями, і тим, що стає самим кроком.
Правило: однокартковий LoRA або QLoRA працює на будь-чому з достатнім обсягом VRAM, навчання з паралелізмом даних терпить PCIe, а все, що шардує модель, потребує NVLink. Понад чотири карти потрібен NVSwitch, який несуть 8-way HGX-вузли на сторінці оренда мульти-GPU кластерів.
| Карта | Зв’язок між картами | Пропускна здатність | Шардоване навчання |
|---|---|---|---|
| B2002, 4 або 8-way | NVLink 5 з NVSwitch | 1.8 TB/s | Так, до 8 карт |
| H100 SXM, H200 SXM | NVLink з NVSwitch | 900 GB/s | Так, до 8 карт |
| A100 SXM | NVLink з NVSwitch | 600 GB/s | Так, до 8 карт |
| MI300X | Infinity Fabric | 896 GB/s | Так, лише 8-way |
| H100 PCIe | Опційний міст NVLink | 600 GB/s | Пари |
| A6000, A40, 3090, A5000 | NVLink bridge | 112 GB/s | Пари |
| L40S, RTX 6000 Ada, L4 | PCIe Gen4 peer-to-peer | ~32 GB/s | Лише паралелізм даних |
| RTX 4090, RTX 5090 | PCIe peer-to-peer, без NVLink | ~32 / ~63 GB/sGen4 x16 / Gen5 x16 | Одна карта |
Чому місячний термін — правильна форма для навчального запуску?
Донавчання — це робоче навантаження, де модель оплати й завдання узгоджуються.
Частота контрольних точок — ваша
На преемптивних потужностях ви створюєте checkpoint оборонно, бо інтервал є страховкою від виселення. На терміні це рішення про відновлення: записувати кожну тисячу кроків, якщо крива втрат цього заслуговує, або кожні десять тисяч.
Донавчання рідко є одним запуском
Перебір швидкості навчання, абляція даних і повторний запуск після невтішної оцінки — це ще три запуски, які приходять протягом двох тижнів, а не в одному бронюванні. Кожен із них нічого не коштує додатково на фіксованому терміні.
Його не можуть виселити
Виселення на 60-й годині коштує проміжку з останнього checkpoint, очікування в черзі та повторного завантаження даних. Термін не може бути преемптований, бо на карту більше ніхто не стоїть у черзі.
Датасет залишається резидентним
Між запусками робочий набір лежить на локальному NVMe, 2 TB на H100 SXM і 1 TB на A100, тож другий перебір починається з першого кроку, а не з завантаження.
Арифметика точки беззбитковості проти погодинного тарифу описана в місячна оренда GPU проти погодинної, і її варто прочитати, перш ніж брати термін. Специфіка навчання в тому, що перебори та повторні завантаження також рахуються як GPU-години, тому коефіцієнт використання, з яким варто перевіряти точку беззбитковості, — це два тижні, а не один запуск.
Куди йдуть контрольні точки і що переживає кінець терміну?
Контрольна точка 70B зі станом оптимізатора — це понад терабайт. Вирішіть, куди вона потрапить, до кроку 4,000.
- Локальний NVMe
- Включено: 2 TB на H100 SXM і H200, 1 TB на A100 SXM, 500 GB на L40S і A6000. Шифрування LUKS2 для кожного інстансу, стирається через сім днів після завершення терміну.
- Додатковий локальний NVMe
- $9 за TB на місяць, до 30 TB на вузлі. Той самий хост, те саме шифрування.
- Мережевий том
- $14 за TB на місяць, потрійна реплікація в регіоні, можна підключати до кількох інстансів, зберігається після звільнення.
- Знімки
- $6 за TB на місяць. Відновлювані на будь-якому інстансі в регіоні; саме так запуск переїжджає з A100 на H100 без повторного завантаження датасету.
- Витягування даних
- 20 TB вихідного трафіку включено на інстанс на місяць, далі $4 за TB. Набір адаптерів ніколи не досягає цього ліміту.
Якщо запуск переживає термін
Рахунок на продовження виставляється за 24 години до завершення за тією самою ціною. Якщо не сплатити, інстанс зупиняється наприкінці терміну, а слот утримується 72 години, поки ви сплачуєте в BTC, ETH, USDT, USDC, XMR, SOL або LTC. Диск не чіпається. Після цього слот звільняється, а ключ NVMe знищується.
Обладнання розміщено в DFW-1, IAD-1 і PDX-1. Обліковий запис — це ім’я користувача й пароль: див. хостинг GPU без KYC і як платити криптовалютою.
Коли вам не варто орендувати GPU для донавчання в нас?
Три випадки, досить поширені, щоб ми краще записали їх.
Другий — це переплата за карту. Чимало людей орендують H100, щоб донавчити 7B за допомогою QLoRA, для чого потрібно 10 GB. Це завдання працює на RTX A5000 за $190, повільніше, але не в дев’ять разів повільніше. Підбирайте розмір за таблицею в розділі 02, а не за моделлю, яку ви хотіли б тренувати.
Третій — це запуск, якому потрібно 32 або 64 карти на два дні й більше ніколи. Ми продаємо вузли до восьми карт; понад це краще підійде погодинний кластерний провайдер.
Орендуйте погодинно, якщо
Ваш загальний обсяг менший за приблизно 480–680 GPU-годин на місяць, тобто точка, де $1,690 за місяць H100 SXM зустрічається з ілюстративним тарифом $2.49–$3.49, або ви хочете по годині на A100 SXM і H100 SXM, щоб заміряти свій крок.
Орендуйте термін, якщо
Запуск вимірюється тижнями, повторне завантаження датасету болюче, вас уже раз виселяли зі spot-потужностей, або ви хочете платити криптовалютою без перевірки особи.
Оренда GPU для донавчання, запитання прямо.
Скільки VRAM мені потрібно, щоб донавчити модель 7B?
Чи можу я донавчити модель 70B на одному GPU?
Яка різниця між LoRA і QLoRA в пам’яті GPU?
Чи потрібен мені NVLink для донавчання на кількох GPU?
Скільки коштує оренда GPU для навчання на місяць?
Що станеться з моїми контрольними точками, коли термін закінчиться?
Чи можу я орендувати GPU для навчання без перевірки особи?
Чи краща місячна оренда GPU за погодинну для навчального запуску?
Підбір розміру — у гіді з GPU VRAM, топології — на оренді мульти-GPU кластерів, сервінг результату — на GPU для LLM-інференсу, образи — в документації.
Підберіть карту, візьміть термін, запустіть навчання.
QLoRA на 24 GB від $190 на місяць, NVLink H100 SXM від $1,690, 8-way вузол від $12,170. Одне замовлення, один платіж, без документів, без картки.