GPU Rent HubGPU для інференсу LLM

Вибір GPU для інференсу LLM.

GPU Rent Hub здає виділені GPU-сервери для інференсу LLM від $250 на місяць за NVIDIA L4 до $2,290 на місяць за H200 SXM, оплата в Bitcoin, Ethereum, USDT, USDC, Monero, Solana або Litecoin, без перевірки особи.

Два числа визначають карту: обсяг VRAM, потрібний для ваг і кешу KV, та пропускна здатність пам’яті, яка задає токени за секунду.

Оновлено 2026-09-01

75 GB70B у FP8, контекст 8k, батч 1

3.35 TB/sПропускна здатність пам’яті H100 SXM

$2.35H100 SXM за GPU-годину на місяць

20 TBВихідного трафіку включено на інстанс

01 Розрахунок

Скільки VRAM потрібно LLM для інференсу?

Тут карту визначають два числа. Виведення належить до посібника з VRAM; член, що змінюється, — це кеш KV, і він змінюється з вашим трафіком, а не з моделлю.

Два числа, на які спирається ця сторінка

Модель 70B у FP8 займає 75 GB при 8,192 токенах і батчі 1, і 2.7 GB з цього — кеш KV. Решта, формула ваги плюс кеш плюс накладні витрати, байти на параметр при кожній точності та рядок для кожного розміру моделі, виведена поелементно в посібнику з GPU VRAM і тут не повторюється. Ці два числа працюють далі: 75 GB — причина, чому карта на 80 GB обслуговує 70B із 5 GB запасу, а кеш 2.7 GB — член, перенесений у рядок 120B таблиці.

Член кешу бере гору на довгому контексті, де він масштабується з довжиною контексту, помноженою на розмір батча, а не з кількістю параметрів. При 128k і 32 одночасних запитах він може перевищити ваги. Ось чому H200 SXM зі 141 GB коштує більше, ніж H100 SXM на тому самому кремнії.

Розмір моделі	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Найдешевша карта NVIDIA, що вміщує, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 шарів, MHA, великий кеш	35 GB	22 GB	15 GB	L4, 24 GB, впритул
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bта сама формула, рядка в посібнику немає	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Ваги плюс кеш KV при 8,192 токенах і батчі 1 плюс 2 GB накладних витрат, цитовано з посібника з GPU VRAM разом із найдешевшою картою, що вміщує кожне значення FP8. Остання колонка — лише NVIDIA, бо альтернатива — інший програмний стек: у рядку 120B MI300X на 192 GB вміщує ті самі 125 GB за $1,590 на місяць проти $2,290 за H200 SXM, ціною ROCm замість CUDA і Далласа замість трьох майданчиків. Рядок 120B — та сама формула, продовжена на один крок, із кешем 2.7 GB з рядка 70B, бо жоден рядок посібника не покриває цей розмір. Рядок 405B — виняток для колонки, бо жодна окрема карта обох брендів його не вміщує, а найдешевший вузол, що вміщує, — це 8× MI300X. Модель 70B у FP8 залишає 5 GB запасу на карті 80 GB при 8k і перестає вміщуватися на 32k, де сам кеш становить 10.7 GB.

02 Пропускна здатність

Чому пропускна здатність пам’яті важливіша за TFLOPS для інференсу LLM?

Декодування одного токена читає кожну вагу один раз. Карта чекає на пам’ять, а не на обчислення.

При батчі один декодування витягує весь набір ваг із VRAM для кожного токена і виконує приблизно дві операції з рухомою комою на параметр, що при BF16 становить одну операцію на завантажений байт. Щоб завантажити тензорні ядра H100 SXM, потрібно приблизно 300, якщо взяти його 1,979 розріджених FP16 TFLOPS як близько 990 щільних проти 3.35 TB/s пропускної здатності. Карта обмежена пам’яттю з великим запасом, тому стеля токенів за секунду — це пропускна здатність, поділена на байти ваг, прочитані за токен.

Модель 8B у BF16 займає 16 GB. На RTX 4090 при 1.01 TB/s стеля становить 63 токени за секунду; на H100 SXM при 3.35 TB/s — 209. Це стелі зі специфікацій, і реальне декодування нижче, на частку, яку ми не наводимо, бо не можемо вказати джерело. Ранжування зберігається. Prefill — протилежний випадок, обмежений обчисленнями, і саме тут тензорні ядра FP8 заробляють своє.

Стеля, токени за секунду = пропускна здатність пам’яті ÷ (параметри × байти на параметр). Батчування підвищує пропускну здатність на карту, не підвищуючи швидкість одного запиту, бо ваги читаються один раз для всього батча.

Два факти з таблиці, які читаються погано для нас. A100 SXM при 2.04 TB/s має більшу пропускну здатність, ніж H100 PCIe, а RTX 3090 при 936 GB/s — більшу, ніж L40S. Жодна з них не є кращою картою для інференсу. Розділ 03 пояснює чому.

GPU	VRAM	Пропускна здатність	Стеля, 8B у BF16	Щомісяця	За GPU-годину
B200Blackwell, HBM3e, мінімум 2 GPU	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, без FP8	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, без FP8	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, без FP8	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

Колонка стелі — це пропускна здатність, поділена на 16 GB ваг BF16: верхня межа зі специфікації, а не виміряний результат. За GPU-годину — це щомісячна ціна, поділена на 720. Ціна B200 вказана за карту, а карта продається на 8-way HGX baseboard, тому мінімальне замовлення B200 — дві карти, $7,780 на місяць до знижки за дві карти. Усі п’ятнадцять карт у каталозі GPU.

03 Точність

Чи має значення FP8 і чому A100 — гірша карта для інференсу, ніж підказує її ціна?

FP8 удвічі зменшує ваги. Це вдвічі зменшує байти, прочитані за токен, і вдвічі збільшує модель, що вміщується.

Hopper, Ada Lovelace і Blackwell мають тензорні ядра FP8: B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 і L4. Ampere ні. A100, A40, RTX A6000, RTX A5000 і RTX 3090 не підтримують FP8, і це кремній, а не прогалина в драйвері.

Тож модель 70B у FP8 займає 75 GB і працює на одному H100 SXM за $1,690 на місяць, $2.35 за GPU-годину. На Ampere вона працює в BF16 при 145 GB, тобто дві карти A100 SXM: $1,980 за прайсом, $1,881 на місяць зі знижкою 5% за дві карти, що становить $2.61 за годину за кінцеву точку проти $2.35 за один H100 SXM, з тензорно-паралельним трафіком на кожному токені. Дешевша карта будує дорожчу кінцеву точку.

Ampere все ще варто орендувати

Для файнтюнінгу, для обслуговування 4-bit і там, де 80 GB менш ніж за $1,000 на місяць є метою. Це поганий дефолт для продакшн-кінцевої точки токенів, і цінник $990 це приховує.

MI300X — виняток, який варто знати. 192 GB HBM3 при 5.3 TB/s за $1,590 на місяць вміщує модель 70B у BF16 на одній карті, 145 GB з 47 GB запасу, без квантування і без шардування. Він завантажує наш шаблон ROCm 6.4 зі збіркою PyTorch ROCm.

04 Вибір

Який найкращий GPU для інференсу LLM для кожного розміру моделі?

Відсортовано за розміром моделі. Одна карта на діапазон, обрана за наведеною вище арифметикою.

Обслуговування цього	Вибір	VRAM	Щотижня	Щомісяця	За GPU-годину
7B–8B, постійно увімкнено, низький QPS72 W, один слот, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, латентність має значення1.01 TB/s, 265 в наявності	RTX 4090	24 GB	$110	$390/mo	$0.54
14B–24B у FP8найшвидша пам’ять до $600	RTX 5090	32 GB	$155	$540/mo	$0.75
24B–34B у FP8ECC, 8-way вузли, ядра RT	L40S	48 GB	$148	$520/mo	$0.72
32B у BF16, без квантуванняHopper при 350 W	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
70B у FP8, одна картапродакшн-дефолт	H100 SXM	80 GB	$475	$1,690/mo	$2.35
70B у BF16, одна картанайбільше HBM на карту	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B, або 70B при 128kзапас кешу KV	H200 SXM	141 GB	$640	$2,290/mo	$3.18
405B у FP8, один вузол8-way, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

За GPU-годину — це щомісячна ціна, поділена на 720, а для вузла — на 8 карт і 720 годин. Знижки за кілька GPU становлять 5% при двох картах, 8% при чотирьох, 10% при восьми, тож вузол 8× H100 SXM коштує $12,170 на місяць, $2.11 за GPU-годину. У наявності: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Це карти, на яких ми запустили б завдання; пошук у посібнику з VRAM називає найдешевшу карту, що просто вміщує його, тому рядок тут іноді дорожча карта, і причина в рядку. Рядок 405B — найясніший випадок: посібник дає найдешевший вузол, що вміщує 405B у FP8, як 8× MI300X за $11,450, а ця таблиця бере 8× B200 за його фабрику 1.8 TB/s.

Ціни однакові в DFW-1 Даллас, IAD-1 Ешберн і PDX-1 Гіллсборо, тому обирайте регіон за латентністю. MI300X доступний лише в Далласі. З восьми B200 шість у DFW-1 і два в PDX-1, жодного в IAD-1.

05 Інстанс

Що я отримую на сервері GPU Rent Hub для інференсу LLM?

Голе залізо, root, стек обслуговування попередньо встановлено, нічого не слухає, поки ви не ввімкнете.

Шаблон vLLM 0.9

Ubuntu 24.04 з vLLM 0.9 і встановленим серверним юнітом, сумісним з OpenAI. Юніт постачається вимкненим. Ви вмикаєте його і вирішуєте, що може досягти порту.

Нічого не відкрито за замовчуванням.

Шаблон Ollama

Для моделі, що відповідає за дві хвилини, а не налаштованого сервера. Ollama прив’язаний до localhost, і ви відкриваєте його самостійно, зазвичай через WireGuard.

Те саме правило: localhost, поки ви не перемістите.

20 TB вихідного трафіку включено

При приблизно 100 байтах JSON та SSE-обрамлення на стрімлений токен це близько 200 мільярдів токенів на місяць. Текстова кінцева точка цього не досягне.

Далі $4/TB. Вхідний безлімітний.

Порт 100G, гарантовано 10G

Спільний аплінк 100G з мінімумом 10 Gbps, одна IPv4 і IPv6 /64. Виділений порт 100G коштує $220 на місяць, якщо ви стрімите аудіо чи зображення.

Приватний VLAN між інстансами, $25/міс.

Постійно увімкнений інференс — найясніший випадок для терміну: зайнятий у непередбачувані години, нетерпимий до холодних стартів, тримає ваги, які платформа з погодинною тарифікацією знову витягувала б при кожному масштабуванні. Карта ваша на 720 годин незалежно від того, надходить трафік чи ні, і не може бути витіснена. Арифметика переходу на помісячна проти погодинної оренди GPU, деталі розгортання в документації. Одне замовлення, один платіж у BTC, ETH, USDT, USDC, XMR, SOL або LTC: як працює оплата криптовалютою і що означає GPU-хостинг без KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Коли не варто

Коли не варто орендувати виділений GPU для інференсу LLM?

Три випадки, коли виділена карта — неправильний інструмент, і ми краще скажемо про це.

При менш ніж приблизно десяти мільйонах токенів на місяць використовуйте хостинговий токен-API. Модель 7B на L4 коштує $250 на місяць, що становить $25 за мільйон токенів при такому обсязі, а ринкові ставки за токен для порівнянної відкритої моделі нижчі за це.

По-друге, сплесковий трафік. Кінцева точка, що відповідає на сотню запитів у вівторок і нічого до наступного тижня, тримає карту зайнятою хвилини й орендує її на 720 годин. Використовуйте погодинного провайдера. Наш найкоротший термін — сім днів, і лічильника немає.

По-третє, менша карта, що виконує роботу. Квантуйте модель 34B до 4-bit, і вона вміщується в 21 GB, які RTX 3090 за $230 на місяць обслуговує при 936 GB/s з 3 GB запасу, швидша пам’ять, ніж у дешевшої RTX A5000, яку називає пошук у посібнику для тієї самої клітинки. Не орендуйте H100 SXM лише тому, що в назві моделі велике число.

Орендуйте в нас, якщо

Кінцева точка завжди увімкнена, оплата за токен стала вашою найбільшою статтею витрат, ваги та промпти мають залишатися на апаратному забезпеченні, якого ніхто інший не торкається, або ви хочете платити криптовалютою без перевірки особи.

Не орендуйте в нас, якщо

Вам потрібна карта на півдня, трафік непередбачуваний і низький, або ви ще не виміряли, чи вміщується модель у 4-bit на карті за чверть ціни.

Навчання — інша задача розрахунку, де домінують стани оптимізатора: див. GPU для файнтюнінгу.

07 Питання

GPU для інференсу LLM, запитано прямо.

Який найкращий GPU для інференсу LLM?

Це залежить від розміру моделі. Для 7B–14B RTX 4090 за $390 на місяць — вибір за вартістю. Для 24B–34B у FP8 — L40S з 48 GB за $520. Для 70B у FP8 — один H100 SXM за $1,690, що становить $2.35 за GPU-годину. Для 100B і більше — H200 SXM за $2,290.

Що потрібно кінцевій точці 70B, крім ваг?

Кеш, і він масштабується з конкурентністю, а не з моделлю. Ваги та показник одного потоку — у посібнику з GPU VRAM: 75 GB у FP8 при 8,192 токенах і батчі 1. Кожен додатковий одночасний запит при цьому контексті додає 2.7 GB, тож вісім у польоті — це близько 22 GB зверху, а тридцять два — близько 85 GB. Це різниця між картою 80 GB, що обслуговує один потік із 5 GB запасу, і H200 зі 141 GB або MI300X зі 192 GB, що обслуговують кінцеву точку з реальною конкурентністю. Квантування кешу до FP8 удвічі зменшує кожну з цих цифр.

Чи можу я орендувати GPU для vLLM?

Так. Будь-який інстанс завантажує шаблон vLLM 0.9 на Ubuntu 24.04, який містить сумісний з OpenAI серверний юніт, що постачається вимкненим, поки ви його не ввімкнете. У вас є root на голому залізі, тож ви можете замінити його власною збіркою. MI300X використовує шаблон ROCm 6.4 зі збіркою PyTorch ROCm.

Чому A100 не є гарною картою для інференсу LLM?

У Ampere немає тензорних ядер FP8, тому модель 70B працює в BF16 при 145 GB. Для цього потрібні дві карти A100 SXM, $1,980 за прайсом і $1,881 на місяць після застосування знижки 5% за дві карти, проти одного H100 SXM за $1,690, що обслуговує ту саму модель у FP8 при 3.35 TB/s. A100 залишається гарною картою для файнтюнінгу та обслуговування 4-bit.

Скільки токенів за секунду видасть GPU?

Верхня межа — це пропускна здатність пам’яті, поділена на байти ваг, прочитані за токен. Модель 8B у BF16 займає 16 GB, тож RTX 4090 при 1.01 TB/s досягає приблизно 63 токенів за секунду, а H100 SXM при 3.35 TB/s — приблизно 209. Реальні стеки нижчі за стелю, і наскільки нижче — залежить від ваших ядер, форми батча та планувальника, тому ми публікуємо межу, а не частку від неї.

Чи правильна помісячна оренда для постійно увімкненої кінцевої точки LLM?

Зазвичай так. Фіксований термін коштує однаково незалежно від того, надходить трафік чи ні, тому кінцева точка, що відповідає в непередбачувані години, не платить премію за простій, не має холодного старту і ніколи не стоїть у черзі за потужністю. Точка беззбитковості випливає з цін: $1,690 за місяць H100 SXM проти ілюстративних $2.49–$3.49 за лічильником окупається між приблизно 480 і 680 використаними годинами 720-годинного місяця, тож нижче цього погодинний провайдер дешевший. Повний розрахунок — на нашій сторінці про помісячну та погодинну оренду.

Чи включено достатньо пропускної здатності для токен-API?

Так. Кожен інстанс включає 20 TB вихідного трафіку на місяць, що при приблизно 100 байтах JSON та SSE-обрамлення на стрімлений токен становить близько 200 мільярдів токенів. Вхідний трафік безлімітний, тож завантаження ваг нічого не коштує. Понад 20 TB — $4 за TB, а виділений порт 100G — $220 на місяць.

Чи потрібно надавати посвідчення особи, щоб орендувати сервер для інференсу LLM?

Ні. Обліковий запис — це ім’я користувача та пароль без вимоги електронної пошти, і ви платите за кожен термін одним переказом у Bitcoin, Ethereum, USDT, USDC, Monero, Solana або Litecoin. GPU Rent Hub Compute LLC працює так з 15 березня 2021 року, з 6,300 GPU у DFW-1 Даллас, IAD-1 Ешберн і PDX-1 Гіллсборо.

Глибші випадки розрахунку в посібнику з GPU VRAM, кожна карта в каталозі GPU, знижки за термін на сторінці цін.

Розмістіть кінцеву точку на апаратному забезпеченні, якого ніхто інший не торкається.

Розгорніть vLLM на виділеній карті в DFW-1, IAD-1 або PDX-1 приблизно за дев’яносто секунд. Одне замовлення, один платіж, без електронної пошти, без посвідчення особи.

Створити обліковий запис →