GPU Rent HubГайд по VRAM

Сколько видеопамяти мне нужно? Сначала арифметика, потом карта.

Модели на 70B параметров нужно около 145 GB видеопамяти для обслуживания в BF16, 75 GB в FP8 и 40 GB в INT4, и GPU Rent Hub сдаёт выделенную карту под каждый из этих случаев: $240 в месяц для варианта INT4 на 48 GB A40, $1 490 для FP8 на 80 GB H100 PCIe, $1 590 для BF16 на 192 GB MI300X, с оплатой в Bitcoin, Ethereum, USDT, USDC, Monero, Solana или Litecoin без проверки личности. Каждое число ниже — это арифметика, которую вы можете повторить. Ни одно из них не является бенчмарком, потому что мы не будем приводить цифру, источник которой не можем указать.

Обновлено 2026-09-01

2 BБайт на параметр при BF16

$5.00Самая дешёвая видеопамять у нас, за GB в месяц

192 GBМаксимум видеопамяти на одной карте, MI300X

15Карт на выбор

01 Формула

Как рассчитать, сколько видеопамяти нужно модели?

Три слагаемых. Веса, KV-кэш, накладные расходы рантайма. Два из них можно вычислить точно.

Блок расчёта

Требуемая видеопамять = (параметры × байт на параметр) + KV-кэш + около 2 GB накладных расходов рантайма. Байт на параметр: 4 при FP32, 2 при BF16 или FP16, 1 при FP8 и 0.5 при INT4. KV-кэш — это 2 × слои × KV-головы × размерность головы × байт на элемент × длина контекста × размер батча, где ведущая 2 учитывает ключ и значение. Накладные расходы рантайма — это контекст CUDA, фреймворк и фрагментация аллокатора, и 2 GB — безопасный запас для одного процесса.

Пример: модель 70B в FP8 при 8 192 токенах и батче 1 — это 70 GB весов, 2.7 GB KV-кэша и 2 GB накладных расходов, итого 75 GB, что помещается на одну карту 80 GB с запасом 5 GB.

Два соглашения, зафиксированные до того, как вы начнёте спорить о последнем гигабайте.

Параметры в миллиардах, умноженные на байты на параметр, дают гигабайты напрямую, по десятичному соглашению, где гигабайт равен 10⁹ байт. Ёмкость карт указывается так же. Инструменты, которые вместо этого сообщают гибибайты, уменьшают каждую цифру здесь примерно на 7%, поэтому и нужно оставлять запас, а не планировать до последнего гигабайта.

Считайте по резидентным параметрам, а не по активным. Модель mixture-of-experts держит каждого эксперта в видеопамяти и запускает по два на токен: память целого, скорость части.

Точность	Байт/парам	7B	70B
FP32редко оправдана для инференса	4	28 GB	280 GB
BF16 / FP16эталонная точка	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4только веса, любая архитектура	0.5	3.5 GB	35 GB

FP8 требует аппаратной поддержки. У A100, A40, RTX A6000, RTX 3090 и RTX A5000 её нет. Квантизация только весов в INT4 работает на всех.

02 Инференс

Сколько видеопамяти нужно для запуска модели 7B, 13B, 34B, 70B или 405B?

Веса плюс KV-кэш на 8 192 токенах и батче 1, плюс 2 GB. Измените контекст — и сдвинется столбец KV, а не веса.

Модель	KV на 8k, батч 1	BF16 итого	FP8 итого	INT4 итого
7B32 слоя, GQA, 8 KV-голов	1.1 GB	17 GB	10 GB	7 GB
13B40 слоёв, MHA, без GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 слоёв, GQA, 8 KV-голов	2.0 GB	72 GB	38 GB	21 GB
70B80 слоёв, GQA, 8 KV-голов	2.7 GB	145 GB	75 GB	40 GB
405B126 слоёв, GQA, 8 KV-голов	4.2 GB	816 GB	411 GB	209 GB

KV-кэш во всех столбцах считается в FP16. Размерность голов везде 128. Прежде чем доверять строке, проверьте число слоёв и число KV-голов в config.json вашей модели: это типичные конфигурации, а не универсальные.

Интересна строка 13B: у неё KV-кэш больше, чем у 70B под ней. Её архитектура использует многоголовое внимание с 40 головами ключей и значений, тогда как более поздние модели используют внимание со сгруппированными запросами и 8. Это изменение сократило кэш в пять–восемь раз, и именно поэтому обслуживание длинного контекста стало доступным. Подбирая размер для всего, что вышло до 2024 года, проверяйте схему внимания раньше числа параметров.

Размер батча умножает только KV-кэш и больше ничего. Та же 70B при батче 32 добавляет 85 GB кэша к тем же 70 GB весов, поэтому эндпоинту нужно гораздо больше памяти, чем при одном запросе за раз. Расчёт для сервиса — на странице GPU для LLM-инференса.

03 Контекст

Сколько видеопамяти занимает KV-кэш при длинном контексте?

Линейно по токенам и линейно по батчу. На 128k кэш может стоить больше, чем веса.

Конфигурация модели	KV на токен	8k	32k	128k
7B, 32 слоя, GQAширина KV 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 слоёв, MHAширина KV 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 слоёв, GQAширина KV 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 слоёв, GQAширина KV 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 слоёв, GQAширина KV 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

Кэш FP16, батч 1. Для кэша FP8 уменьшите каждое значение вдвое. Умножьте на размер батча. Ширина KV — это число KV-голов, умноженное на размерность головы.

Где это бьёт больнее всего.

Модель 70B в FP8 помещается на карту 80 GB при 8k с запасом 5 GB. Увеличьте до 32k — и один только кэш занимает 10.7 GB, поэтому модель перестаёт помещаться. Именно поэтому существуют продукты H200 SXM на 141 GB и MI300X на 192 GB. Они держат больше контекста, чем H100 SXM, а это не то же самое, что быть быстрее.

Квантизация KV-кэша в FP8 — это отдельный рычаг от квантизации весов, и обычно он обходится дешевле. Она вдвое сокращает кэш с гораздо меньшей потерей качества, чем понижение точности весов ещё на одну ступень, и её поддерживают и vLLM, и TensorRT-LLM.

04 Обучение

Сколько видеопамяти нужно для файнтюнинга модели?

Полный файнтюнинг стоит примерно 16 байт на параметр. LoRA — 2. QLoRA — 0.5. Разрыв между этими тремя числами и есть всё решение.

Полный файнтюнинг с Adam хранит пять вещей на параметр: веса BF16 (2 байта), градиенты BF16 (2), мастер-копию FP32 (4) и первый и второй моменты Adam (по 4). Это 16 байт на параметр до активаций. LoRA замораживает базовую модель, так что вы платите 2 байта на параметр за замороженную модель, а состояние оптимизатора — только за адаптер, обычно около половины процента параметров. QLoRA квантизует замороженную базу до 4 бит, поэтому она стоит 0.5 байта на параметр, а адаптер не меняется.

Модель	Полный FT, веса + Adam	Полный FT, с активациями	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Допущения указаны, чтобы вы могли их изменить: gradient checkpointing включён, длина последовательности 2,048, батч 1, адаптеры ранга 16 на проекциях внимания, около 0.5% параметров, к столбцу полного файнтюнинга добавлено 15% на активации и фрагментацию. Состояние оптимизатора адаптера считается как 16 байт на параметр адаптера.

Столбец полного файнтюнинга — это наивная цифра, всё находится на GPU. ZeRO stage 3 с выгрузкой состояния оптимизатора в оперативную память хоста существенно снижает требования к GPU, и наши 8-карточные узлы несут 2 TB хостовой RAM именно для этого. Офлоад меняет пропускную способность PCIe на видеопамять, поэтому делает запуск возможным, а не быстрым. Выбор метода — на странице GPU для файнтюнинга.

Сравните два последних столбца с первым. Полный файнтюнинг 70B требует восьмикарточный узел за $11,450. Та же 70B под QLoRA требует 51 GB, то есть один A100 SXM 80GB за $990 в месяц. Это разница в двенадцать раз для метода, который хуже, но редко хуже в двенадцать раз. Большинству людей, задающих этот вопрос, назвали цифру полного файнтюнинга, хотя им она не нужна.

05 Таблица соответствий

Какой GPU нужен для модели 70B или любого другого размера?

Размер модели по вертикали, метод по горизонтали. В каждой ячейке — требуемая видеопамять и самое дешёвое из нашего парка, что её вмещает.

Модель	Инференс BF16	Инференс FP8	Инференс INT4	QLoRA	LoRA	Полный файнтюнинг
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, впритык	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, впритык	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, впритык	28 GBA40 $240	79 GBA100 SXM $990, впритык	626 GB8× A100 $7,130, впритык
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBпять узлов, по запросу

Самая дешёвая одиночная карта, которая вмещает модель, при 8 192 токенах и батче 1; набор из нескольких карт — только там, где ни одна карта её не вмещает. Эта таблица отвечает на один вопрос: какая самая дешёвая карта вмещает модель, а руководства по рабочим нагрузкам отвечают на другой: на какой самой дешёвой карте её стоит запускать. Иногда это другая, более дорогая карта, и причина указана там. «Впритык» означает меньше 5 GB запаса, или меньше 2 GB на карту в строках с несколькими картами. Цены на несколько карт включают скидку за объём: 5% при двух картах, 8% при четырёх и 10% при восьми. Строки полного файнтюнинга предполагают NVLink или NVSwitch, потому что all-reduce на каждом шаге по PCIe peer-to-peer арендовать не стоит. Для большинства строк есть более дешёвые замены из нескольких карт, а раздел 07 объясняет, когда их брать. Ячейка 13B FP8 — самая тесная: 22 GB оставляют на L4 2 GB запаса, а её 300 GB/s — самая медленная память из тех, что мы сдаём, поэтому RTX 6000 Ada за $460 — альтернатива, когда ограничением является скорость декодирования, а не вместимость. MI300X занимает здесь семь ячеек и идёт с тремя условиями: только DFW-1 Dallas, 8 свободных карт на момент последнего обновления каталога и ROCm вместо CUDA, так что vLLM и PyTorch работают, а написанное вручную ядро CUDA — нет. Характеристики и наличие по регионам — в каталоге GPU, скидки — на странице цен.

Ячейка, на которую стоит смотреть, — это 70B в INT4: 40 GB, которые вмещает A40 48GB за $240 в месяц. Никакого трюка: ровно то, что дают четырёхбитная квантизация и 48 GB GDDR6. Раздел 07 объясняет, от чего вы ради этого отказались. Всё, что больше одного 8-карточного узла, — это вопрос кластера, а не карты, и относится к странице аренда мульти-GPU кластера.

06 Стоимость памяти

Какой GPU даёт больше всего видеопамяти на доллар?

Месячная цена, делённая на гигабайты видеопамяти, и пропускная способность памяти, делённая на месячную цену. Ни то ни другое никто не публикует. Оба показателя влияют на выбор чаще, чем цифра TFLOPS.

GPU	VRAM	Пропускная способность	В месяц	$ за GB/мес	GB/s на $/мес	За GPU-час
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/мес	$8.28	3.33	$2.21
B200HBM3e, Blackwell, минимум 2 GPU	180 GB	8 TB/s	$3,890/мес	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/мес	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/мес	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/мес	$18.63	1.34	$2.07
A100 SXMHBM2e, без FP8	80 GB	2.04 TB/s	$990/мес	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/мес	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/мес	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, без FP8	48 GB	768 GB/s	$290/мес	$6.04	2.65	$0.40
A40GDDR6 ECC, без FP8	48 GB	696 GB/s	$240/мес	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/мес	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/мес	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/мес	$10.42	1.20	$0.35
RTX 3090GDDR6X, без FP8	24 GB	936 GB/s	$230/мес	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, без FP8	24 GB	768 GB/s	$190/мес	$7.92	4.04	$0.26

Отсортировано по VRAM. Доллары за гигабайт — это месячная цена, делённая на ёмкость. GB/s на доллар — это пропускная способность памяти, делённая на месячную цену, так что чем выше, тем лучше. Цена за GPU-час — это месячная цена, делённая на 720 часов срока, объяснено на странице помесячная и почасовая аренда GPU. Цена B200 указана за карту, но она поставляется на 8-слотовой базовой плате HGX, и минимальная арендуемая единица — две карты, поэтому минимальный заказ B200 — две карты: $7,780 в месяц по прайсу, $7,391 со скидкой 5% за две карты.

В двух столбцах побеждают две разные карты, поэтому мы публикуем оба. A40 держит гигабайт за $5.00 в месяц — меньше половины того, что L40S берёт за те же 48 GB, потому что это карта 2020 года с 696 GB/s. RTX 3090 даёт 4.07 GB/s на доллар, более чем вдвое больше H100 SXM, потому что это старая потребительская карта с быстрой шиной и низкой арендной платой. Ни одна из них не лучшая карта здесь. Обе правильно отвечают на конкретный вопрос.

MI300X — выброс. При $8.28 за гигабайт это более дешёвая память, чем у A100, H100 или H200, и за ней 5.3 TB/s, поэтому она заполняет ячейки больших моделей выше. Цена — это ROCm вместо CUDA: vLLM и PyTorch работают, написанное вручную ядро CUDA — нет.

07 Контраргумент

Всегда ли больше видеопамяти — правильный ответ?

Нет. Три случая, когда покупка ёмкости — неверная покупка, с арифметикой для каждого.

Узким местом является пропускная способность, а не ёмкость

Декодирование одного токена один раз читает из видеопамяти все резидентные веса. Разделите пропускную способность на резидентный размер модели — получите жёсткий потолок токенов в секунду для одного потока. 7B в BF16 — это 14 GB, поэтому A40 с 696 GB/s не может выдать больше 50 токенов в секунду, а RTX 5090 с 1.79 TB/s — больше 128. Обе вмещают модель. Одна в 2.6 раза быстрее на ней.

Это потолок, а не бенчмарк. Вы окажетесь ниже него.

Квантизация на маленькой карте бьёт полную точность на большой

Модель 34B в BF16 — это 72 GB всего, и ей нужен A100 за $990: 2.04 TB/s на её 68 GB весов дают потолок 30 токенов в секунду. Та же 34B в INT4 — это 21 GB всего, и она помещается на RTX 4090 за $390: 1.01 TB/s на её 17 GB весов дают потолок 59. Быстрее и на 61% дешевле. Чем вы пожертвовали — качество квантизованных весов, которое нужно оценивать, а не предполагать.

Дешевле и быстрее, но вывод хуже. Проверьте.

Две дешёвые карты — иногда

Два A40 дают 96 GB за $456 в месяц против 80 GB у одного A100 за $990. Больше памяти, меньше половины цены. Это работает для батчевого инференса с репликой на каждой карте, для QLoRA и для послойного сервинга при низкой конкурентности. Это не работает при тензорном параллелизме и на любом шаге обучения с all-reduce, потому что связь между картами — та часть, которую вы не купили.

96 GB за $456. Подвох — в интерконнекте.

Суть NVLink, сформулированная точно.

H100 SXM общается с соседями на 900 GB/s по NVLink. Пара A40 или RTX A6000 получает мост NVLink на 112 GB/s. У L40S NVLink нет, и данные идут по PCIe Gen4 peer-to-peer с линейной скоростью около 32 GB/s. У RTX 5090 тоже нет NVLink, но её линк Gen5, так что около 63 GB/s. Этот разрыв платится один раз на слой на токен при тензорно-параллельном запуске.

Послойное разделение вместо разделения по тензорам избегает большей части этого трафика и ничего не улучшает. На каждый токен вы всё равно читаете каждый байт модели, на двух картах последовательно, а не на одной. Тензорный параллелизм — это то, что превращает две карты в удвоенную пропускную способность, и именно этот режим требует быстрого линка. В этом весь компромисс.

Расчётное сравнение

2× RTX 5090: 64 GB, 3.58 TB/s суммарно, $1,026/мес, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB, 3.35 TB/s, $1,690/мес, одно пространство памяти
Вердикт: Пара выигрывает на бумаге и проигрывает на любой модели, которая не помещается в 32 GB на карту

Если модель помещается на одну карту, ставьте её на одну карту. Каждое добавленное разделение — это точка синхронизации, режим отказа и вечер отладки карт устройств.

08 Когда не стоит арендовать у нас

Случаи, когда эта страница должна отправить вас в другое место.

Наш минимальный срок — семь дней. Если вам нужна карта на полдня, чтобы проверить, помещается ли 13B в 24 GB, воспользуйтесь почасовым провайдером: несколько часов там обойдутся дешевле минимальной недели за $55 на RTX A5000 здесь. Мы не продаём часы и не планируем.

Если вы выбираете между двумя картами по скорости, а не по вместимости, перестаньте читать таблицы и запустите свой стек на обеих. Всё здесь — это арифметика ёмкости и потолок пропускной способности. Ни то ни другое не предсказывает, что сделают ваши ядра, форма батча и планировщик, и мы не будем делать вид, что это не так, с помощью цифры пропускной способности, источник которой не можем указать.

Если вам нужно 6,480 GB для полного файнтюнинга 405B, вам нужен кластер, фабрика и план, а не страница аренды. Спросите отдел продаж о мощностях на несколько узлов в DFW-1 Dallas, IAD-1 Ashburn или PDX-1 Hillsboro и ожидайте разговор об интерконнекте раньше, чем цену.

TL;DR Начните здесь

Обучение, любая модель до 13B: RTX A5000 24 GB, $190/мес
Сервинг 24B–34B в проде: L40S 48 GB, $520/мес
Самая быстрая одиночная карта до $600: RTX 5090 32 GB, $540/мес
Самая дешёвая 70B в INT4: A40 48 GB, $240/мес
70B в BF16 на одной карте: MI300X 192 GB, $1,590/мес
Длинный контекст на 70B: H200 SXM 141 GB, $2,290/мес

BTCETHUSDTUSDCXMRSOLLTC

Пополните счёт один раз, развернитесь примерно за девяносто секунд, без адреса электронной почты и без документа, удостоверяющего личность. См. GPU-хостинг без KYC и как работает оплата криптовалютой.

09 Вопросы

Вопросы о VRAM, заданные так, как их задают люди.

Сколько видеопамяти нужно для запуска модели 70B?

Около 145 GB при BF16, 75 GB при FP8 и 40 GB при INT4, в каждом случае при 8 192 токенах и батче 1. Это веса плюс KV-кэш 2.7 GB плюс 2 GB накладных расходов. Цифра для FP8 помещается на одну карту 80 GB. Цифра для INT4 помещается на 48-гигабайтную A40 за $240 в месяц.

Сколько видеопамяти нужно для модели 7B?

17 GB при BF16, 10 GB при FP8, 7 GB при INT4, при контексте 8k и батче 1. Все три помещаются на карту 24 GB, так что RTX A5000 за $190 в месяц покрывает любую из них. Лучше спросить про пропускную способность: у этой 7B потолок декодирования — 55 токенов в секунду на A5000 и 128 на RTX 5090.

Как рассчитать размер KV-кэша?

2 × слои × KV-головы × размерность головы × байт на элемент × длина контекста × размер батча. Для 70B с 80 слоями, 8 KV-головами и размерностью головы 128 это 0.33 MB на токен при FP16, то есть 2.7 GB при 8k и 42.9 GB при 128k. Кэш FP8 уменьшает каждое значение вдвое.

Достаточно ли 24 GB видеопамяти для файнтюнинга модели?

Для QLoRA да, до примерно 34B при коротких последовательностях: 13B требуется около 14 GB, а 7B — 10 GB. Для LoRA в BF16 24 GB покрывают 7B при примерно 21 GB и ничего больше. Для полного файнтюнинга с Adam — нет. Даже 7B нужно около 129 GB, потому что состояние оптимизатора стоит 16 байт на параметр.

Какой GPU нужен для модели 405B?

В INT4 ей нужно около 209 GB, которые вмещают восемь A40 за $1,728 в месяц, хотя при 696 GB/s на каждой это ёмкость, а не скорость. В FP8 ей нужно 411 GB, а в BF16 — 816 GB, и оба варианта помещаются на узел 8× MI300X за $11,450. Полному файнтюнингу нужно примерно 7,452 GB, и это уже уровень кластера.

Работают ли две карты по 24 GB как одна на 48 GB?

По ёмкости — почти. По скорости — нет. Модель, разделённая между двумя картами, всё равно читает каждый байт на токен, так что послойное разделение не поднимает ваш потолок. Тензорный параллелизм поднимает, но он обменивается активациями на каждом слое по линку между картами: 112 GB/s по мосту NVLink, около 63 GB/s по PCIe Gen5 и 32 GB/s по Gen4.

У какого GPU самая дешёвая видеопамять за гигабайт?

У A40: 48 GB за $240 в месяц — это $5.00 за гигабайт в месяц, самое низкое соотношение в нашем парке. Далее RTX A6000 с $6.04, RTX A5000 с $7.92, MI300X с $8.28. H100 SXM стоит $21.13 за гигабайт, потому что вы покупаете пропускную способность и производительность FP8, а не ёмкость.

Вредит ли квантизация в INT4 качеству вывода?

Да, измеримо, а насколько — зависит от модели и метода. Схемы, квантизующие только веса, такие как AWQ и GPTQ, теряют заметно меньше, чем наивное округление. Честный процесс — квантизовать, прогнать собственный набор для оценки и решить, стоит ли потеря той карты, которую вы экономите. Мы сдаём обе карты и не имеем мнения.

Расчёт под конкретные рабочие нагрузки — на страницах GPU для LLM-инференса и GPU для файнтюнинга. Полные характеристики, наличие и цены — в каталоге GPU.

Вы знаете число. Теперь выберите карту.

Пятнадцать моделей в DFW-1, IAD-1 и PDX-1, от $190 в месяц, помесячно или понедельно, оплата в семи монетах без проверки личности.

Создать аккаунт →