GPU Rent HubGPU для дообучения

Арендуйте GPU для дообучения, подобранный по арифметике, которую можно проверить.

GPU Rent Hub сдаёт выделенные GPU NVIDIA и AMD для дообучения понедельно или помесячно — от $190 в месяц за карту на 24 GB, на которой QLoRA обучает модель 7B, до $12,170 в месяц за узел на 8× H100 SXM с подключением NVLink, с оплатой в Bitcoin, Ethereum, USDT, USDC, Monero, Solana или Litecoin без проверки личности.

Обновлено 2026-09-01

112 GBПолное дообучение 7B, Adam, до учёта активаций

10 GBТа же модель под QLoRA

900 GB/sNVLink на H100 SXM и H200

72 hЛьготный период при неоплаченном продлении

01 Определение

Сколько памяти GPU на самом деле нужно для дообучения?

Именно в этом чаще всего ошибаются, и только это определяет, какую карту вы арендуете.

Память для дообучения в одном абзаце. Полное дообучение с оптимизатором Adam обходится примерно в 16 байт на параметр: 2 — веса BF16, 2 — градиенты, 4 — мастер-копия FP32 и по 4 на два состояния моментов Adam. Поэтому модели 7B нужно примерно 112 GB ещё до хранения хотя бы одной активации; это не помещается ни в карту на 24 GB, ни в карту на 80 GB. LoRA замораживает базовые веса и обучает небольшие матрицы адаптеров, так что счёт сокращается до замороженной базы по 2 байта на параметр плюс несколько сотен мегабайт адаптера и состояния оптимизатора: около 21 GB для 7B. QLoRA квантует эту замороженную базу до 4 бит, то есть 0,5 байта на параметр, и обучает те же адаптеры: около 10 GB для 7B и около 51 GB для 70B.

Эти три цифры и все цифры в таблице ниже взяты из руководства по VRAM GPU на его допущениях: контрольные точки градиентов включены, длина последовательности 2,048, размер батча 1, адаптеры ранга 16 около 0,5% параметров, и уже включён запас на накладные расходы рантайма. Увеличьте длину последовательности или размер батча — и активации вырастут сверху.

Откуда берётся 16

В цикле обучения модель никогда не хранится один раз. Веса, градиент той же формы, мастер-копия FP32 и среднее и дисперсия Adam на каждый параметр. Ни один фреймворк не может этого обойти.

Что убирает LoRA

Градиент и оба состояния оптимизатора — для всего, кроме адаптеров. Замороженная база всё равно должна находиться в памяти, поэтому LoRA на BF16 7B всё ещё занимает 14 GB до всего остального. QLoRA атакует именно размещение базы, а не оптимизатор.

02 Размер

Какой GPU мне нужен для дообучения модели 7B, 13B или 70B?

Модель, метод и карта, которая это вмещает; VRAM взят из руководства по VRAM. Цена за GPU-час — месячная цена, делённая на 720.

Модель и метод	Нужно VRAM	Карта, которая подходит	VRAM карты	В неделю	В месяц	За GPU-час
7B, QLoRA4-битная база, ранг 16	10 GB	RTX A5000	24 GB	$55	$190/мес	$0.26
13B, QLoRA4-битная база	14 GB	RTX 3090	24 GB	$65	$230/мес	$0.32
7B, LoRABF16 база постоянно в памяти	21 GB	RTX 4090	24 GB	$110	$390/мес	$0.54
34B, QLoRA4-битная база	28 GB	A40	48 GB	$68	$240/мес	$0.33
13B, LoRABF16 база	33 GB	L40S	48 GB	$148	$520/мес	$0.72
70B, QLoRA35 GB 4-битных весов	51 GB	A100 SXM	80 GB	$280	$990/мес	$1.38
34B, LoRABF16 база, одна карта	79 GB	MI300X	192 GB	$450	$1,590/мес	$2.21
7B, полное дообучениеAdam, 16 байт на параметр	129 GB	2× A100 SXMNVLink 600 GB/s, самый дешёвый путь на CUDA	160 GB	$532	$1,881/мес	$1.31
70B, LoRABF16 база, одна карта	156 GB	1× MI300Xшардирование не требуется	192 GB	$450	$1,590/мес	$2.21
70B, полное дообучениеZeRO-3 по узлу	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/мес	$1.99

Нужный VRAM — это цифра, которую руководство по VRAM GPU выводит для этой модели и метода при длине последовательности 2,048 и батче 1, с включёнными контрольными точками градиентов и уже заложенным запасом на накладные расходы рантайма. Цена двух карт включает скидку 5% за несколько GPU; цифра для восьми карт — это цена узла. За GPU-час — месячная сумма, делённая на 720 часов и на число карт. Две строки с MI300X доступны только в DFW-1 Dallas и работают на ROCm, а не на CUDA. Это карты, на которых мы запустили бы задачу; в таблице руководства по VRAM указана самая дешёвая карта, которая просто вмещает модель, поэтому здесь иногда выбрана более дорогая карта. Две строки отклоняются, и для обеих есть причина. Строка 7B LoRA берёт RTX 4090 вместо RTX A5000 из руководства при тех же 24 GB, потому что 1,008 GB/s пропускной способности против 768 сокращают каждый шаг. Строка полного дообучения 7B берёт две A100 SXM как самый дешёвый путь на CUDA и NVLink, тогда как одна MI300X на 192 GB вмещает те же 129 GB за $1,590 в месяц на ROCm. Характеристики — в каталоге GPU.

Читайте восьмую строку против шестой. Полное дообучение 7B стоит примерно вдвое дороже, чем QLoRA на 70B. Для большинства людей это не та задача, которую нужно решать.

03 Выбор

Какой GPU стоит арендовать для обучения, если нужно выбрать один?

Отсортировано по тому, что мы развернули бы для многонедельного прогона, а не по цене. Наличие — в DFW-1 Dallas, IAD-1 Ashburn и PDX-1 Hillsboro.

GPU	VRAM	Интерконнект	В неделю	В месяц	За GPU-час	Свободно сейчас
H100 SXM ВыборHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/мес	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, без FP8	80 GB	NVLink 600 GB/s	$280	$990/мес	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/мес	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/мес	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 peer-to-peer	$148	$520/мес	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink bridge 112 GB/s, пары	$82	$290/мес	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink bridge 112 GB/s, пары	$65	$230/мес	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink bridge 112 GB/s, пары	$55	$190/мес	$0.26	51

Свободно сейчас — это незарезервированные карты по трём площадкам на момент последнего обновления каталога. В каждую цену входят питание, охлаждение, аплинк 100G с гарантией 10G, IPv4 и IPv6, а также 20 TB исходящего трафика в месяц. Скидки за несколько карт и предоплату — на странице цен.

H100 SXM — наш выбор: самая дешёвая арендуемая у нас карта, которая сочетает 80 GB HBM3, тензорные ядра FP8 и 900 GB/s NVLink в одном артикуле. A100 SXM 80 GB — ценовой ответ за $990, без FP8, та же топология NVLink, 59% от цены.

04 Интерконнект

Почему NVLink важен, когда карт больше одной?

Потому что при шардированном прогоне градиенты передаются между картами на каждом шаге, и канал задаёт нижнюю границу скорости.

На одном GPU интерконнект не важен. Но как только вы шардируете модель — с ZeRO-2, ZeRO-3 или тензорным параллелизмом — карты обмениваются градиентами или шардами параметров на каждом шаге, и этот трафик кратен размеру модели. PCIe Gen4 x16 имеет линейную скорость около 32 GB/s в одном направлении, Gen5 — около 63. NVLink на H100 SXM — 900 GB/s. Это разница между коммуникационным шагом, который прячется за вычислениями, и тем, который сам становится шагом.

Правило: однокарточные LoRA или QLoRA работают на любой карте с достаточным объёмом VRAM, data-parallel обучение терпит PCIe, а всё, что шардирует модель, требует NVLink. Свыше четырёх карт — требует NVSwitch, который есть в 8-сторонних узлах HGX на странице аренды много-GPU кластеров.

У RTX 4090 и RTX 5090 нет NVLink. NVIDIA убрала его из потребительской линейки после Ampere. Это сильные GPU для обучения на одной карте и реальное ограничение при использовании нескольких карт; мы предпочтём сказать об этом здесь, а не после того, как вы купите восемь.

A6000, A40, RTX 3090 и RTX A5000 принимают мост NVLink, но только парами и только на 112 GB/s. Полезно, чтобы объединить две карты по 48 GB в 96 GB. Это не коммутационная фабрика.

Карта	Связь между картами	Пропускная способность	Шардированное обучение
B2002, 4 или 8 карт	NVLink 5 с NVSwitch	1.8 TB/s	Да, до 8 карт
H100 SXM, H200 SXM	NVLink с NVSwitch	900 GB/s	Да, до 8 карт
A100 SXM	NVLink с NVSwitch	600 GB/s	Да, до 8 карт
MI300X	Infinity Fabric	896 GB/s	Да, только 8-way
H100 PCIe	Опциональный мост NVLink	600 GB/s	Парами
A6000, A40, 3090, A5000	Мост NVLink	112 GB/s	Парами
L40S, RTX 6000 Ada, L4	PCIe Gen4 peer-to-peer	~32 GB/s	Только data parallel
RTX 4090, RTX 5090	PCIe peer-to-peer, без NVLink	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Одна карта

Совокупная пропускная способность канала на GPU, заявленная производителем. Цифры PCIe — это линейная скорость канала x16 в одном направлении: Gen4 на 4090 и Gen5 на 5090, а не измеренная пропускная способность, которая ниже.

05 Срок

Почему помесячный срок — правильная форма для прогона обучения?

Дообучение — это рабочая нагрузка, в которой модель оплаты и задача совпадают.

Периодичность чекпоинтов — за вами

На прерываемых мощностях вы делаете чекпоинты из осторожности, потому что интервал — это страховка от выселения. На сроке это решение о восстановлении: записывайте каждую тысячу шагов, если кривая потерь этого заслуживает, или каждые десять тысяч.

2 TB локального NVMe на H100 SXM

Дообучение редко бывает одним прогоном

Свип скорости обучения, абляция данных и повторный прогон после разочаровывающей оценки — это ещё три прогона, которые появляются за две недели, а не в одном бронировании. Каждый из них ничего не стоит дополнительно на фиксированном сроке.

Та же карта, то же окружение, без пересоздания

Его нельзя выселить

Выселение на 60-м часу стоит разрыва с последнего чекпоинта, ожидания в очереди и перезагрузки датасета. Срок не может быть прерван, потому что на карту никто больше не стоит в очереди.

Выделенное железо с одним арендатором, root-доступ

Датасет остаётся на месте

Между прогонами рабочий набор лежит на локальном NVMe: 2 TB на H100 SXM и 1 TB на A100, так что второй свип начинается с первого шага, а не с загрузки.

Никакого холодного старта после первого раза

Арифметика сравнения с почасовой оплатой — в материале помесячная и почасовая аренда GPU, и его стоит прочитать до того, как брать срок. Специфика обучения в том, что свипы и повторные загрузки тоже считаются GPU-часами, поэтому показатель использования, с которым вы проверяете точку перехода, — это две недели, а не один прогон.

06 Чекпоинты

Куда попадают чекпоинты и что переживает окончание срока?

Чекпоинт 70B с состоянием оптимизатора весит больше терабайта. Решите, где он окажется, до шага 4,000.

Локальный NVMe: Включено: 2 TB на H100 SXM и H200, 1 TB на A100 SXM, 500 GB на L40S и A6000. Шифрование LUKS2 для каждого инстанса, удаляется через семь дней после окончания срока.
Дополнительный локальный NVMe: $9 за TB в месяц, до 30 TB на узел. Тот же хост, то же шифрование.
Сетевой том: $14 за TB в месяц, тройная репликация в регионе, подключается к нескольким инстансам, сохраняется после освобождения.
Снапшоты: $6 за TB в месяц. Восстанавливаются на любой инстанс в регионе; так прогон переносится с A100 на H100 без повторной загрузки датасета.
Выгрузка: Включено 20 TB исходящего трафика на инстанс в месяц, далее $4 за TB. Набор адаптеров никогда не приближается к этому лимиту.

Если прогон переживает срок

Заказ на продление выставляется за 24 часа по той же цене. Если его не оплатить, инстанс останавливается в конце срока, слот удерживается 72 часа, пока вы платите в BTC, ETH, USDT, USDC, XMR, SOL или LTC. Диск не трогается. После этого слот освобождается, а ключ NVMe уничтожается.

Записывайте каждый чекпоинт дважды: локальный NVMe для скорости, сетевой том для сохранности. Том — единственная копия, которая переживает срок.

BTCETHUSDTUSDCXMRSOLLTC

Оборудование находится в DFW-1, IAD-1 и PDX-1. Аккаунт — это имя пользователя и пароль: см. хостинг GPU без KYC и как платить криптовалютой.

07 Честность

Когда не стоит арендовать GPU для дообучения у нас?

Три случая, достаточно частых, чтобы записать их.

Если задача — один эксперимент на шесть часов, пользуйтесь почасовым провайдером. Наш минимальный срок — семь дней. Месяц H100 SXM ради одного дня QLoRA стоит $1,690, а вы используете около $18 из заплаченных $1,690.

Второй случай — переоценка карты. Многие арендуют H100 для дообучения 7B с QLoRA, которой нужно 10 GB. Эта задача работает на RTX A5000 за $190, медленнее, но не в девять раз медленнее. Выбирайте размер по таблице из раздела 02, а не по модели, которую хотели бы обучать.

Третий — прогон на 32 или 64 карты на два дня и больше никогда. Мы продаём узлы до восьми карт; за пределами этого лучше подойдёт провайдер с поминутной оплатой кластера.

Арендуйте почасово, если

Ваш суммарный объём меньше примерно 480–680 GPU-часов в месяц — это точка, где $1,690 за месяц H100 SXM встречается с иллюстративными $2.49–$3.49 по счётчику, — или вы хотите по часу на A100 SXM и H100 SXM, чтобы замерить шаг.

Берите срок, если

Прогон измеряется неделями, повторная загрузка датасета болезненна, вас уже выселяли со спотовых мощностей или вы хотите платить криптовалютой без проверки личности.

08 Вопросы

Аренда GPU для дообучения: коротко и прямо.

Сколько VRAM мне нужно для дообучения модели 7B?

Около 10 GB с QLoRA, 21 GB с LoRA на базе BF16 и 129 GB для полного дообучения с Adam после учёта активаций, или 112 GB только для весов, градиентов и состояния оптимизатора. Первые два варианта помещаются на карту 24 GB, например RTX A5000 за $190 в месяц. Для третьего две карты по 80 GB с NVLink за $1,881 в месяц — самый дешёвый путь на CUDA, а одна MI300X на 192 GB за $1,590 вмещает те же 129 GB дешевле, если вам подходит стек ROCm. Цифры из руководства по VRAM GPU.

Можно ли дообучить модель 70B на одном GPU?

С QLoRA — да. База 70B в 4 битах — это около 35 GB весов и 51 GB с адаптерами, состоянием оптимизатора и накладными расходами; это помещается в A100 SXM 80 GB за $990 в месяц. LoRA на базе BF16 70B требует 156 GB, что всё ещё одна карта, если это MI300X на 192 GB за $1,590. Полное дообучение 70B требует около 1,288 GB и занимает целый узел.

Какая разница между LoRA и QLoRA по памяти GPU?

LoRA замораживает базовые веса в BF16, по 2 байта на параметр, и обучает небольшие матрицы адаптеров, поэтому состояние оптимизатора занимает сотни мегабайт, а не десятки гигабайт. QLoRA квантует эту замороженную базу до 4 бит, по 0,5 байта на параметр. Для модели 7B это 21 GB против 10 GB.

Нужен ли NVLink для дообучения на нескольких GPU?

Для одной карты — нет, и для data-parallel прогонов на небольших моделях — тоже. Он важен, когда градиенты или шарды параметров проходят между картами на каждом шаге. H100 SXM и H200 дают 900 GB/s, A100 SXM — 600 GB/s, B200 — 1.8 TB/s. У RTX 4090 и RTX 5090 NVLink нет, поэтому мы не рекомендуем их для шардированного обучения.

Сколько стоит аренда GPU для обучения в месяц?

A100 SXM 80 GB стоит $990 в месяц, то есть $1.38 за GPU-час при сроке 720 часов. H100 SXM — $1,690, или $2.35. Узел из восьми H100 SXM с NVSwitch — $12,170, или $2.11. Карта 24 GB для QLoRA начинается от $190, и каждую карту можно арендовать понедельно.

Что происходит с моими чекпоинтами по окончании срока?

Локальный NVMe удаляется через семь дней после окончания срока, а ключ шифрования уничтожается, поэтому всё, что вы хотите сохранить, должно лежать на сетевом томе за $14 за TB в месяц с тройной репликацией в регионе; он сохраняется после освобождения инстанса. Также можно выгрузить данные за счёт 20 TB исходящего трафика, включённых каждый месяц.

Можно ли арендовать GPU для обучения без проверки личности?

Да. Аккаунт — это имя пользователя и пароль. Без адреса электронной почты, без номера телефона, без документов, без привязанной карты. Вы платите за срок одним переводом в BTC, ETH, USDT, USDC, XMR, SOL или LTC. Внутри инстанса не работает никакой агент, и никто здесь не читает ваш датасет.

Помесячная аренда GPU лучше почасовой для прогона обучения?

Для прогона, который измеряется неделями, — да. Дообучение держит карту занятой почти всё время, и здесь выигрывает фиксированный срок: $2.35 за GPU-час на H100 SXM против $2.49–$3.49 в час — иллюстративный диапазон по провайдерам по требованию в США, а не котировка конкретного вендора, без выселения и без очереди. Для одного дня лучше почасовой провайдер.

Расчёт размеров — в руководстве по VRAM GPU, топологии — на странице аренды много-GPU кластеров, развёртывание результата — на GPU для LLM-инференса, образы — в документации.

Подберите карту, возьмите срок, запустите прогон.

QLoRA на 24 GB от $190 в месяц, NVLink H100 SXM от $1,690, узел на 8 карт от $12,170. Один заказ, один платёж, без документов и без карты.

Создать аккаунт →