GPU Rent HubGPU для инференса LLM

Выбор GPU для инференса LLM.

GPU Rent Hub сдаёт выделенные GPU-серверы для инференса LLM от $250 в месяц за NVIDIA L4 до $2,290 в месяц за H200 SXM; оплата в биткойнах, Ethereum, USDT, USDC, Monero, Solana или Litecoin, без проверки личности.

Два числа определяют выбор карты: объём VRAM, нужный весам и KV-кэшу, и пропускная способность памяти, задающая число токенов в секунду.

Обновлено 2026-09-01

75 GBМодель 70B в FP8, контекст 8k, батч 1

3.35 TB/sПропускная способность памяти H100 SXM

$2.35H100 SXM за GPU-час при помесячной аренде

20 TBИсходящий трафик включён на инстанс

01 Расчёт

Сколько VRAM нужно LLM для инференса?

Здесь выбор карты определяют два числа. Вывод формул — в руководстве по VRAM; переменная часть — это KV-кэш, и она растёт вместе с вашим трафиком, а не с моделью.

Два числа, из которых исходит эта страница

Модель 70B в FP8 занимает 75 GB при 8 192 токенах и батче 1, из которых 2,7 GB — это KV-кэш. Всё остальное — формула «веса плюс кэш плюс накладные расходы», байты на параметр при каждой точности и строка для каждого размера модели — пошагово выводится в руководстве по GPU VRAM и здесь не повторяется. Эти два числа и делают всю работу ниже: 75 GB — причина, по которой карта на 80 GB обслуживает 70B с запасом 5 GB, а кэш 2,7 GB — это слагаемое, перенесённое в строку 120B таблицы.

Слагаемое кэша становится главным на длинном контексте, где оно растёт пропорционально длине контекста, умноженной на размер батча, а не числу параметров. При 128k и 32 одновременных запросах оно может превысить веса. Поэтому H200 SXM с 141 GB стоит дороже, чем H100 SXM на том же кремнии.

Размер модели	BF16, 2 B/парам	FP8, 1 B/парам	4-бит, 0,5 B/парам	Самая дешёвая карта NVIDIA, которая вмещает, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 слоёв, MHA, большой кэш	35 GB	22 GB	15 GB	L4, 24 GB, впритык
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bта же формула, в руководстве строки нет	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1 536 GB

Веса плюс KV-кэш при 8 192 токенах и батче 1 плюс 2 GB накладных расходов; цифры взяты из руководства по GPU VRAM вместе с самой дешёвой картой, вмещающей каждое значение FP8. Последняя колонка — только NVIDIA, потому что альтернатива означает другой программный стек: в строке 120B 192 GB MI300X вмещает те же 125 GB за $1,590 в месяц против $2,290 за H200 SXM, ценой перехода с CUDA на ROCm и одного дата-центра в Далласе вместо трёх площадок. Строка 120B — та же формула, продолженная на один шаг: взят кэш 2,7 GB из строки 70B, потому что в руководстве нет строки для такого размера. Строка 405B — исключение для этой колонки: ни одна карта любого из двух производителей не вмещает её, а самый дешёвый узел, который вмещает, — 8× MI300X. Модель 70B на FP8 оставляет 5 GB запаса на карте 80 GB при 8k и перестаёт помещаться при 32k, где только кэш занимает 10,7 GB.

02 Пропускная способность

Почему для инференса LLM пропускная способность памяти важнее терафлопсов?

При декодировании одного токена каждые веса считываются один раз. Карта ждёт память, а не вычисления.

При батче один декодирование для каждого токена выгружает из VRAM весь набор весов и выполняет около двух операций с плавающей запятой на параметр, что при BF16 составляет одну операцию на загруженный байт. Чтобы занять тензорные ядра H100 SXM, нужно примерно 300 операций на байт, если считать 1,979 разреженных FP16 TFLOPS как примерно 990 плотных против пропускной способности 3.35 TB/s. Карта с большим запасом ограничена памятью, поэтому верхняя граница числа токенов в секунду равна пропускной способности, делённой на байты весов, читаемые на токен.

Модель 8B в BF16 занимает 16 GB. На RTX 4090 с 1.01 TB/s потолок — 63 токена в секунду; на H100 SXM с 3.35 TB/s — 209. Это потолки из спецификаций, а реальное декодирование оказывается ниже на долю, которую мы не приводим, потому что не можем подтвердить источником. Ранжирование при этом сохраняется. Prefill — противоположный случай: он ограничен вычислениями, и именно там тензорные ядра FP8 отрабатывают свою цену.

Потолок, токенов в секунду = пропускная способность памяти ÷ (параметры × байт на параметр). Батчинг повышает пропускную способность на карту, не повышая скорость отдельного запроса, потому что веса читаются один раз на весь батч.

Два факта из таблицы, которые говорят не в нашу пользу. У A100 SXM с 2.04 TB/s пропускная способность выше, чем у H100 PCIe, а у RTX 3090 с 936 GB/s — выше, чем у L40S. Ни одна из этих карт не является лучшей для инференса. В разделе 03 объяснено почему.

GPU	VRAM	Пропускная способность	Потолок, 8B в BF16	В месяц	За GPU-час
B200Blackwell, HBM3e, минимум 2 GPU	180 GB	8 TB/s	500 т/с	$3,890/мес	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 т/с	$1,590/мес	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 т/с	$2,290/мес	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 т/с	$1,690/мес	$2.35
A100 SXMAmpere, без FP8	80 GB	2.04 TB/s	128 т/с	$990/мес	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 т/с	$1,490/мес	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 т/с	$540/мес	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 т/с	$390/мес	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 т/с	$460/мес	$0.64
RTX 3090Ampere, без FP8	24 GB	936 GB/s	59 т/с	$230/мес	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 т/с	$520/мес	$0.72
A40Ampere, без FP8	48 GB	696 GB/s	44 т/с	$240/мес	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 т/с	$250/мес	$0.35

Колонка потолка — это пропускная способность, делённая на 16 GB весов BF16: верхняя граница из спецификаций, а не измеренный результат. Цена за GPU-час — это помесячная цена, делённая на 720. Цена B200 указана за карту, а карта продаётся на 8-сторонней базовой плате HGX, поэтому минимальный заказ B200 — две карты, $7,780 в месяц до скидки за две карты. Все пятнадцать карт — в каталоге GPU.

03 Точность

Важен ли FP8, и почему A100 — худшая карта для инференса, чем можно подумать по её цене?

FP8 вдвое уменьшает веса. Это вдвое сокращает байты, читаемые на токен, и вдвое увеличивает модель, которая помещается.

У Hopper, Ada Lovelace и Blackwell есть тензорные ядра FP8: B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 и L4. У Ampere их нет. A100, A40, RTX A6000, RTX A5000 и RTX 3090 не поддерживают FP8, и это ограничение кремния, а не пробел в драйвере.

Поэтому модель 70B в FP8 занимает 75 GB и работает на одной H100 SXM за $1,690 в месяц, то есть $2.35 за GPU-час. На Ampere она работает в BF16 и занимает 145 GB, то есть две карты A100 SXM: $1,980 по прайсу, $1,881 в месяц со скидкой 5% за две карты, что даёт $2.61 в час за эндпоинт против $2.35 за одну H100 SXM, при этом на каждом токене идёт трафик тензорного параллелизма. Более дешёвая карта собирает более дорогой эндпоинт.

Ampere всё ещё стоит арендовать

Для файнтюнинга, для 4-битного сервинга и там, где важны 80 GB менее чем за $1,000 в месяц. Это плохой выбор по умолчанию для боевого токен-эндпоинта, и ценник $990 это скрывает.

MI300X — исключение, о котором стоит знать. 192 GB HBM3 с пропускной способностью 5.3 TB/s за $1,590 в месяц вмещает модель 70B в BF16 на одной карте: 145 GB с 47 GB запаса, без квантизации и без шардирования. Она загружается из нашего шаблона ROCm 6.4 со сборкой PyTorch под ROCm.

04 Выбор

Какой GPU лучше всего подходит для инференса LLM при каждом размере модели?

Отсортировано по размеру модели. По одной карте на диапазон, выбранной по расчётам выше.

Обслуживаем это	Выбор	VRAM	В неделю	В месяц	За GPU-час
7B–8B, постоянно включено, низкий QPS72 W, один слот, FP8	L4	24 GB	$70	$250/мес	$0.35
7B–14B, важна задержка1.01 TB/s, 265 в наличии	RTX 4090	24 GB	$110	$390/мес	$0.54
14B–24B в FP8самая быстрая память до $600	RTX 5090	32 GB	$155	$540/мес	$0.75
24B–34B в FP8ECC, 8-сторонние узлы, RT-ядра	L40S	48 GB	$148	$520/мес	$0.72
32B в BF16, без квантизацииHopper при 350 W	H100 PCIe	80 GB	$420	$1,490/мес	$2.07
70B в FP8, одна картабоевой стандарт	H100 SXM	80 GB	$475	$1,690/мес	$2.35
70B в BF16, одна картабольше всего HBM на карту	MI300X	192 GB	$450	$1,590/мес	$2.21
100B–120B, или 70B при 128kзапас под KV-кэш	H200 SXM	141 GB	$640	$2,290/мес	$3.18
405B в FP8, один узел8-way, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/мес	$4.86

Цена за GPU-час — это помесячная цена, делённая на 720, а для узла — делённая на 8 карт и 720 часов. Скидки за несколько GPU: 5% на двух картах, 8% на четырёх, 10% на восьми, поэтому узел 8× H100 SXM стоит $12,170 в месяц, то есть $2.11 за GPU-час. В наличии: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Это карты, на которых мы сами запустили бы такую задачу; поиск в руководстве по VRAM называет самую дешёвую карту, которая просто вмещает модель, поэтому строка здесь иногда оказывается более дорогой картой, и причина указана в строке. Строка 405B — самый наглядный случай: руководство называет самым дешёвым узлом, вмещающим 405B в FP8, 8× MI300X за $11,450, а эта таблица берёт 8× B200 ради фабрики 1.8 TB/s.

Цены одинаковы в DFW-1 Даллас, IAD-1 Ашберн и PDX-1 Хилсборо, поэтому выбирайте регион по задержке. MI300X доступен только в Далласе. Из восьми B200 шесть находятся в DFW-1 и две в PDX-1, в IAD-1 их нет.

05 Инстанс

Что я получаю на сервере GPU Rent Hub для инференса LLM?

Bare metal, root, предустановленный сервинг-стек; ничего не слушает порты, пока вы это не включите.

Шаблон vLLM 0.9

Ubuntu 24.04 с установленными vLLM 0.9 и юнитом сервера, совместимым с OpenAI. Юнит поставляется выключенным. Вы включаете его и сами решаете, что может обращаться к порту.

По умолчанию ничего не открыто.

Шаблон Ollama

Для модели, отвечающей через две минуты, а не для тюнингованного сервера. Ollama привязана к localhost, и вы открываете её сами, обычно через WireGuard.

То же правило: localhost, пока вы не измените.

20 TB исходящего трафика включено

При примерно 100 байтах JSON и SSE-обрамления на потоковый токен это около 200 миллиардов токенов в месяц. Текстовый эндпоинт этот объём не выберет.

Далее $4/TB. Входящий без учёта.

Порт 100G, гарантированные 10G

Общий аплинк 100G с нижней границей 10 Gbps, один IPv4 и IPv6 /64. Выделенный порт 100G стоит $220 в месяц, если вы стримите аудио или изображения.

Приватный VLAN между инстансами — $25/мес.

Постоянно включённый инференс — самый ясный случай для срочной аренды: нагрузка в непредсказуемые часы, нетерпимость к холодным стартам, веса, которые поминутная платформа снова выкачивала бы при каждом масштабировании. Карта ваша на 720 часов независимо от того, приходит трафик или нет, и её нельзя вытеснить. Расчёты точки безубыточности — на странице помесячная и почасовая аренда GPU, детали развёртывания — в документации. Один заказ, один платёж в BTC, ETH, USDT, USDC, XMR, SOL или LTC: как работает оплата криптовалютой и что означает GPU-хостинг без KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Когда не стоит

Когда не следует арендовать выделенный GPU для инференса LLM?

Три случая, когда выделенная карта — неправильный инструмент, и мы лучше скажем об этом прямо.

При объёме меньше примерно десяти миллионов токенов в месяц используйте hosted token API. Модель 7B на L4 стоит $250 в месяц, что при таком объёме равно $25 за миллион токенов, а стандартные тарифы за токен для сопоставимой открытой модели ниже.

Во-вторых, рваный трафик. Эндпоинт, который отвечает на сотню запросов во вторник и молчит до следующей недели, занимает карту на минуты, а арендует её на 720 часов. Используйте почасового провайдера. Наш минимальный срок — семь дней, и поминутного тарифа нет.

В-третьих, когда задачу закрывает меньшая карта. Квантизируйте модель 34B до 4 бит — и она поместится в 21 GB, которые RTX 3090 за $230 в месяц обслуживает на 936 GB/s с запасом 3 GB; память у неё быстрее, чем у более дешёвой RTX A5000, которую поиск из руководства называет для той же ячейки. Не арендуйте H100 SXM только потому, что в названии модели большое число.

Арендуйте у нас, если

Эндпоинт постоянно включён, оплата за токены стала вашей крупнейшей статьёй расходов, веса и промпты должны оставаться на оборудовании, к которому никто другой не прикасается, или вы хотите платить криптовалютой без проверки личности.

Не арендуйте у нас, если

Вам нужна карта на полдня, трафик непредсказуем и невелик, или вы ещё не проверили, помещается ли модель в 4-битном виде на карте за четверть цены.

Обучение — это другая задача расчёта размера, в которой доминируют состояния оптимизатора: см. GPU для файнтюнинга.

07 Вопросы

GPU для инференса LLM — простыми словами.

Какой GPU лучше всего для инференса LLM?

Зависит от размера модели. Для 7B–14B оптимальна по цене RTX 4090 за $390 в месяц. Для 24B–34B в FP8 — L40S с 48 GB за $520. Для 70B в FP8 — одна H100 SXM за $1,690, то есть $2.35 за GPU-час. Для 100B и выше — H200 SXM за $2,290.

Что нужно эндпоинту 70B помимо весов?

Кэш, и он растёт с конкурентностью, а не с моделью. Веса и цифра для одного потока есть в руководстве по GPU VRAM: 75 GB в FP8 при 8 192 токенах и батче 1. Каждый дополнительный одновременный запрос при таком контексте добавляет 2,7 GB, так что восемь активных запросов — это примерно 22 GB сверху, а тридцать два — примерно 85 GB. В этом разница между картой 80 GB, обслуживающей один поток с запасом 5 GB, и H200 на 141 GB или MI300X на 192 GB, обслуживающими эндпоинт с реальной конкурентностью. Квантизация кэша до FP8 вдвое уменьшает каждую из этих цифр.

Можно ли арендовать GPU для vLLM?

Да. Любой инстанс загружается с шаблоном vLLM 0.9 на Ubuntu 24.04, который включает совместимый с OpenAI серверный юнит; он поставляется выключенным, пока вы его не включите. У вас есть root на bare metal, так что вы можете заменить его собственной сборкой. MI300X использует шаблон ROCm 6.4 со сборкой PyTorch под ROCm.

Почему A100 — не лучшая карта для инференса LLM?

У Ampere нет тензорных ядер FP8, поэтому модель 70B работает в BF16 и занимает 145 GB. Для этого нужны две карты A100 SXM: $1,980 по прайсу и $1,881 в месяц после скидки 5% за две карты, тогда как одна H100 SXM за $1,690 обслуживает ту же модель в FP8 на 3.35 TB/s. A100 по-прежнему хороша для файнтюнинга и 4-битного сервинга.

Сколько токенов в секунду выдаст GPU?

Верхняя граница — это пропускная способность памяти, делённая на байты весов, читаемые за токен. Модель 8B в BF16 занимает 16 GB, поэтому RTX 4090 с 1.01 TB/s выходит максимум примерно на 63 токена в секунду, а H100 SXM с 3.35 TB/s — примерно на 209. Реальные стеки оказываются ниже потолка, и насколько ниже — зависит от ваших ядер, формы батча и планировщика, поэтому мы публикуем границу, а не долю от неё.

Подходит ли помесячная аренда для постоянно включённого LLM-эндпоинта?

Обычно да. Фиксированный срок стоит одинаково независимо от того, приходит трафик или нет, поэтому эндпоинт, отвечающий в непредсказуемые часы, не платит надбавку за простой, не имеет холодного старта и никогда не ждёт ёмкости. Точка безубыточности следует из цен: $1,690 за месяц H100 SXM против условных $2.49–$3.49 за час окупается примерно между 480 и 680 использованными часами из 720 в месяце, так что ниже этого почасовой провайдер дешевле. Полный расчёт — на нашей странице сравнения помесячной и почасовой аренды.

Включён ли достаточный канал для токен-API?

Да. Каждый инстанс включает 20 TB исходящего трафика в месяц, что при примерно 100 байтах JSON и SSE-обрамления на потоковый токен составляет около 200 миллиардов токенов. Входящий трафик не тарифицируется, поэтому загрузка весов ничего не стоит. Свыше 20 TB — $4 за TB, а выделенный порт 100G стоит $220 в месяц.

Нужно ли предъявлять документы для аренды сервера инференса LLM?

Нет. Аккаунт — это имя пользователя и пароль, адрес электронной почты не требуется, а каждый срок оплачивается одним переводом в Bitcoin, Ethereum, USDT, USDC, Monero, Solana или Litecoin. GPU Rent Hub Compute LLC работает так с 15 марта 2021 года; у нас 6,300 GPU в DFW-1 Даллас, IAD-1 Ашберн и PDX-1 Хилсборо.

Более сложные случаи расчёта — в руководстве по GPU VRAM, все карты — в каталоге GPU, скидки за срок — на странице цен.

Разместите эндпоинт на оборудовании, к которому никто другой не прикасается.

Разверните vLLM на выделенной карте в DFW-1, IAD-1 или PDX-1 примерно за девяносто секунд. Один заказ, один платёж, без email, без документов.

Создать аккаунт →