GPU Rent HubГайд із VRAM

Скільки VRAM мені потрібно? Спершу арифметика, потім карта.

Модель на 70B параметрів потребує близько 145 ГБ VRAM для роботи на BF16, 75 ГБ на FP8 і 40 ГБ на INT4, і GPU Rent Hub здає окрему карту для кожного з цих випадків: $240 на місяць для INT4 на A40 з 48 ГБ, $1,490 для FP8 на H100 PCIe з 80 ГБ, $1,590 для BF16 на MI300X зі 192 ГБ, з оплатою в Bitcoin, Ethereum, USDT, USDC, Monero, Solana або Litecoin без підтвердження особи. Кожне число нижче — це арифметика, яку ви можете перевірити самостійно. Жодне з них не є бенчмарком, тому що ми не наводимо цифр, які не можемо підтвердити джерелом.

Оновлено 2026-09-01

2 BБайтів на параметр при BF16

$5.00Найдешевша VRAM, яку ми здаємо, за ГБ на місяць

192 GBНайбільше VRAM на одній карті, MI300X

15Карт на вибір

01 Формула

Як розрахувати, скільки VRAM потрібно моделі?

Три складники. Ваги, KV-кеш і накладні витрати середовища виконання. Два з них можна обчислити точно.

Блок розрахунку

Необхідна VRAM = (параметри × байтів на параметр) + KV-кеш + близько 2 ГБ накладних витрат середовища виконання. Байтів на параметр — 4 для FP32, 2 для BF16 або FP16, 1 для FP8 і 0,5 для INT4. KV-кеш — це 2 × кількість шарів × кількість KV-голів × розмірність голови × байтів на елемент × довжина контексту × розмір батча, де перша двійка враховує ключ і значення. Накладні витрати середовища виконання — це контекст CUDA, фреймворк і фрагментація алокатора, і 2 ГБ є безпечним запасом для одного процесу.

Один розрахунок: модель 70B у FP8 з довжиною 8 192 токени та батчем 1 — це 70 ГБ ваг, 2,7 ГБ KV-кешу і 2 ГБ накладних витрат, разом 75 ГБ, що поміщається на одну карту на 80 ГБ із запасом 5 ГБ.

Дві домовленості, які варто зафіксувати, перш ніж сперечатися про останній гігабайт.

Мільярди параметрів, помножені на байти на параметр, одразу дають гігабайти за десятковою системою, де гігабайт — це 10⁹ байтів. Обсяги карт вказуються так само. Інструменти, які показують гібібайти, зменшують кожну цифру тут приблизно на 7%, і саме тому варто залишати запас, а не планувати до останнього гігабайта.

Разуйте за резидентними параметрами, а не за активними. Модель mixture-of-experts тримає кожного експерта у VRAM і використовує два на токен: пам’ять усієї моделі, швидкість частини.

Точність	Байт/парам	7B	70B
FP32рідко виправданий для інференсу	4	28 GB	280 GB
BF16 / FP16еталонна точка	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4тільки ваги, будь-яка архітектура	0.5	3.5 GB	35 GB

FP8 потребує апаратної підтримки. У A100, A40, RTX A6000, RTX 3090 та RTX A5000 її немає. Квантизація INT4 лише для ваг працює на всіх них.

02 Інференс

Скільки VRAM потрібно, щоб запустити модель 7B, 13B, 34B, 70B або 405B?

Ваги плюс KV-кеш на 8 192 токени та батч 1, плюс 2 ГБ. Змінюєте контекст — і змінюється стовпчик KV, а не ваги.

Модель	KV при 8k, батч 1	BF16 разом	FP8 разом	INT4 разом
7B32 шари, GQA, 8 KV-голів	1.1 GB	17 GB	10 GB	7 GB
13B40 шарів, MHA, без GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 шарів, GQA, 8 KV-голів	2.0 GB	72 GB	38 GB	21 GB
70B80 шарів, GQA, 8 KV-голів	2.7 GB	145 GB	75 GB	40 GB
405B126 шарів, GQA, 8 KV-голів	4.2 GB	816 GB	411 GB	209 GB

KV-кеш у всіх стовпчиках у FP16. Розмірність голів скрізь 128. Перш ніж довіряти рядку, перевірте кількість шарів і KV-голів у config.json вашої моделі, бо це типові конфігурації, а не універсальні.

Рядок 13B цікавий: він має більший KV-кеш, ніж 70B під ним. Його архітектура використовує multi-head attention із 40 головами ключів і значень, тоді як пізніші моделі використовують grouped-query attention і 8. Ця зміна зменшила кеш у п’ять-вісім разів, і саме тому довгоконтекстний сервінг став доступним. Для будь-чого, створеного до 2024 року, перевірте схему уваги раніше за кількість параметрів.

Розмір батча множить лише KV-кеш і більше нічого. Та сама 70B при батчі 32 додає 85 ГБ кешу до тих самих 70 ГБ ваг, тому ендпоінт потребує значно більше пам’яті, ніж один запит за раз. Розрахунок для сервісу — на сторінці GPU для інференсу LLM.

03 Контекст

Скільки VRAM займає KV-кеш на довгому контексті?

Лінійно з токенами і лінійно з батчем. На 128k кеш може коштувати більше, ніж ваги.

Форма моделі	KV на токен	8k	32k	128k
7B, 32 шари, GQAШирина KV 1 024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 шарів, MHAШирина KV 5 120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 шарів, GQAШирина KV 1 024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 шарів, GQAШирина KV 1 024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 шарів, GQAШирина KV 1 024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

Кеш у FP16, батч 1. Поділіть кожну цифру навпіл для кешу у FP8. Помножте на розмір батча. Ширина KV — це кількість KV-голів, помножена на розмірність голови.

Де це стає проблемою.

Модель 70B у FP8 поміщається на карту на 80 ГБ при 8k із запасом 5 ГБ. Збільште контекст до 32k — і сам кеш уже 10,7 ГБ, тож вона перестає поміщатися. Саме тому існують H200 SXM на 141 ГБ і MI300X на 192 ГБ. Вони тримають більше контексту, ніж H100 SXM, а це інша річ, ніж більша швидкість.

Квантизація KV-кешу у FP8 — це окремий важіль від квантизації ваг, і зазвичай він дешевший. Вона зменшує кеш удвічі зі значно меншою втратою якості, ніж ще один крок зниження точності ваг. І vLLM, і TensorRT-LLM це підтримують.

04 Навчання

Скільки VRAM потрібно для файнтюнінгу моделі?

Повний файнтюнінг коштує приблизно 16 байтів на параметр. LoRA коштує 2. QLoRA коштує 0,5. Різниця між цими трьома числами і є всім рішенням.

Повний файнтюнінг з Adam зберігає п’ять речей на кожен параметр: ваги BF16 (2 байти), градієнти BF16 (2), майстер-копію FP32 (4), а також перший і другий моменти Adam (по 4). Це 16 байтів на параметр без урахування активацій. LoRA заморожує базову модель, тож ви платите 2 байти на параметр за заморожену модель, а стан оптимізатора — лише за адаптер, зазвичай пів відсотка параметрів. QLoRA квантизує цю заморожену базу до 4 бітів, тому вона коштує 0,5 байта на параметр, а адаптер не змінюється.

Модель	Повний FT, ваги + Adam	Повний FT, з активаціями	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Припущення наведені, щоб ви могли їх змінити: увімкнено gradient checkpointing, довжина послідовності 2 048, батч 1, адаптери рангу 16 на проєкціях уваги, близько 0,5% параметрів, до стовпця повного файнтюнінгу додано 15% на активації та фрагментацію. Стан оптимізатора адаптера враховано як 16 байтів на параметр адаптера.

Стовпець повного файнтюнінгу — це наївна цифра, коли все перебуває на GPU. ZeRO stage 3 зі станом оптимізатора, вивантаженим у оперативну пам’ять хоста, суттєво знижує вимоги саме до GPU, і наші 8-карткові вузли мають 2 ТБ оперативної пам’яті хоста саме для цього. Офлоуд обмінює пропускну здатність PCIe на VRAM, тож робить запуск можливим, а не швидким. Вибір методу — на сторінці GPU для файнтюнінгу.

Порівняйте останні два стовпці з першим. Повний файнтюнінг 70B потребує восьмикарткового вузла за $11,450. Та сама 70B під QLoRA потребує 51 ГБ, тобто одну A100 SXM 80GB за $990 на місяць. Це дванадцятикратна різниця для методу, який гірший, але рідко гірший у дванадцять разів. Більшості людей, які ставлять це питання, називали цифру для повного файнтюнінгу, хоча вона їм не потрібна.

05 Довідка

Який GPU потрібен для моделі 70B або будь-якого іншого розміру?

Розмір моделі — збоку, метод — зверху. Кожна клітинка показує необхідну VRAM і найдешевший варіант у нашому парку, який її вміщує.

Модель	Інференс BF16	Інференс FP8	Інференс INT4	QLoRA	LoRA	Повний файнтюнінг
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, впритул	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, впритул	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, впритул	28 GBA40 $240	79 GBA100 SXM $990, впритул	626 GB8× A100 $7,130, впритул
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBп’ять вузлів, за запитом

Найдешевша одиночна карта, яка вміщує модель, на 8 192 токени та батч 1; набір із кількох карт — лише там, де жодна одиночна карта не вміщує її. Ця таблиця відповідає на одне питання — найдешевша карта, яка вміщує модель, а гайди за типами навантаження відповідають на інше — найдешевша карта, на якій варто її запускати. Іноді це інша й дорожча карта, і причина там вказана. «Впритул» означає менше 5 ГБ запасу, або менше 2 ГБ на карту в рядках із кількома картами. Ціни для кількох карт включають знижку за обсяг: 5% на двох картах, 8% на чотирьох і 10% на восьми. Рядки повного файнтюнінгу передбачають NVLink або NVSwitch, бо all-reduce на кожному кроці через PCIe peer-to-peer не вартий оренди. Для більшості рядків існують дешевші заміни з кількома картами, і розділ 07 пояснює, коли їх обирати. Клітинка 13B FP8 — найтісніша: 22 ГБ залишають 2 ГБ запасу на L4, чиї 300 ГБ/с — найповільніша пам’ять, яку ми здаємо, тому RTX 6000 Ada за $460 є альтернативою, коли обмеженням є швидкість декодування, а не місткість. MI300X займає тут сім клітинок і має три умови: лише DFW-1 Dallas, на останнє оновлення каталогу вільні 8 карт, і ROCm замість CUDA, тож vLLM і PyTorch працюють, а написане вручну ядро CUDA — ні. Специфікації та наявність за регіонами — у каталозі GPU, знижки — на сторінці цін.

Клітинка, на яку варто дивитися, — 70B у INT4: 40 ГБ, які вміщує A40 48GB за $240 на місяць. Це не трюк, а лише те, що дають чотирибітна квантизація і 48 ГБ GDDR6. Розділ 07 пояснює, чим ви за це поступилися. Усе, що більше за один 8-картковий вузол, — це питання кластера, а не карти, і йому місце на сторінці оренда мульти-GPU кластера.

06 Вартість пам’яті

Який GPU дає найбільше VRAM на долар?

Місячна ціна, поділена на гігабайти VRAM, і пропускна здатність пам’яті, поділена на місячну ціну. Ніхто не публікує ані першого, ані другого. Обидва показники впливають на більше покупок, ніж цифра TFLOPS.

GPU	VRAM	Пропускна здатність	Місячна плата	$ за ГБ/міс	ГБ/с на $/міс	За GPU-годину
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/міс	$8.28	3.33	$2.21
B200HBM3e, Blackwell, мінімум 2 GPU	180 GB	8 TB/s	$3,890/міс	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/міс	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 ГБ/с	80 GB	3.35 TB/s	$1,690/міс	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/міс	$18.63	1.34	$2.07
A100 SXMHBM2e, без FP8	80 GB	2.04 TB/s	$990/міс	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/міс	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/міс	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, без FP8	48 GB	768 GB/s	$290/міс	$6.04	2.65	$0.40
A40GDDR6 ECC, без FP8	48 GB	696 GB/s	$240/міс	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/міс	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/міс	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/міс	$10.42	1.20	$0.35
RTX 3090GDDR6X, без FP8	24 GB	936 GB/s	$230/міс	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, без FP8	24 GB	768 GB/s	$190/міс	$7.92	4.04	$0.26

Відсортовано за VRAM. Долари за гігабайт — це місячна ціна, поділена на обсяг пам’яті. ГБ/с за долар — це пропускна здатність пам’яті, поділена на місячну ціну, тож що більше, то краще. За GPU-годину — це місячна ціна, поділена на 720 годин терміну; пояснення на сторінці помісячна і погодинна оренда GPU. Ціна B200 вказана за карту, але вона постачається на 8-канальній базовій платі HGX, і найменша одиниця оренди — дві карти, тож найменше замовлення B200 — це дві карти: $7,780 на місяць за прайсом, $7,391 зі знижкою 5% за дві карти.

Дві різні карти виграють у двох різних стовпцях, і саме тому ми публікуємо обидва. A40 тримає гігабайт за $5.00 на місяць — менше ніж половина того, що L40S бере за ті самі 48 ГБ, бо це карта 2020 року з 696 ГБ/с. RTX 3090 дає 4.07 ГБ/с на долар — більше ніж удвічі за H100 SXM, бо це стара споживча карта зі швидкою шиною і низькою орендою. Жодна з них не є найкращою картою тут. Обидві правильно відповідають на конкретне питання.

MI300X — це викид. За $8.28 за гігабайт це дешевша пам’ять, ніж A100, H100 або H200, і за нею стоїть 5.3 ТБ/с, тому вона закриває клітинки великих моделей вище. Ціна цього — ROCm замість CUDA: vLLM і PyTorch працюють, а написане вручну ядро CUDA — ні.

07 Контраргумент

Чи завжди більше VRAM — правильна відповідь?

Ні. Три випадки, коли купівля більшої місткості є неправильною, з арифметикою для кожного.

Вузьке місце — пропускна здатність, а не місткість

Декодування одного токена один раз читає кожну резидентну вагу з VRAM. Поділіть пропускну здатність на резидентний розмір моделі — і отримаєте жорстку стелю для однопотокових токенів за секунду. Модель 7B у BF16 — це 14 ГБ, тож A40 при 696 ГБ/с не може перетнути 50 токенів за секунду, а RTX 5090 при 1.79 ТБ/с не може перетнути 128. Обидві вміщують модель. Одна з них у 2.6 раза швидша.

Це стеля, а не бенчмарк. Реальний показник буде нижчим.

Квантизована модель на малій карті перемагає повну точність на великій

Модель 34B у BF16 — це 72 ГБ з усім урахуванням, і вона потребує A100 за $990: 2.04 ТБ/с на її 68 ГБ ваг дає стелю 30 токенів за секунду. Та сама 34B у INT4 — це 21 ГБ з усім, і вона поміщається на RTX 4090 за $390: 1.01 ТБ/с на її 17 ГБ ваг дає стелю 59. Швидше і на 61% дешевше. Чим ви поступилися — це якість квантизованих ваг, яку варто оцінювати, а не припускати.

Дешевше й швидше, але гірший результат. Перевірте.

Дві дешеві карти, іноді

Дві A40 дають 96 ГБ за $456 на місяць проти 80 ГБ однієї A100 за $990. Більше пам’яті, менше ніж удвічі дешевше. Це працює для батчового інференсу з реплікою на кожній карті, для QLoRA і для сервінгу з розщепленням по шарах за низької конкурентності. Це не працює при tensor parallelism і на будь-якому кроці навчання з all-reduce, бо з’єднання між картами — це саме те, чого ви не купили.

96 ГБ за $456. Заковика — інтерконект.

Теза про NVLink, сформульована точно.

H100 SXM спілкується із сусідами на 900 ГБ/с через NVLink. Пара A40 або RTX A6000 отримує місток NVLink на 112 ГБ/с. L40S не має NVLink і передає дані через PCIe Gen4 peer-to-peer зі швидкістю приблизно 32 ГБ/с. RTX 5090 також не має NVLink, але її лінк — Gen5, тож приблизно 63 ГБ/с. Цей розрив сплачується раз за шар на кожен токен у tensor-parallel запуску.

Розщеплення за шарами замість тензорів уникає більшої частини цього трафіку і нічого не підвищує. На кожен токен ви однаково читаєте кожен байт моделі, просто на двох картах послідовно, а не на одній. Tensor parallelism — це саме те, що перетворює дві карти на подвоєну пропускну здатність, і саме цей режим потребує швидкого з’єднання. У цьому весь компроміс.

Розрахункове порівняння

2× RTX 5090: 64 ГБ, 3.58 ТБ/с сумарно, $1,026/міс, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 ГБ, 3.35 ТБ/с, $1,690/міс, один адресний простір
Вердикт: Пара виграє на папері й програє на будь-якій моделі, яка не поміщається у 32 ГБ на карту

Якщо ваша модель поміщається на одну карту, ставте її на одну карту. Кожне додане розщеплення — це точка синхронізації, режим відмови і вечір налагодження device maps.

08 Коли не варто орендувати в нас

Випадки, коли ця сторінка має направити вас в інше місце.

Наш найкоротший термін — сім днів. Якщо карта потрібна на один день, щоб перевірити, чи поміщається 13B у 24 ГБ, скористайтеся погодинним провайдером: кілька годин там коштуватимуть менше, ніж мінімальні $55 за тиждень на RTX A5000 у нас. Ми не продаємо години й не плануємо цього.

Якщо ви обираєте між двома картами за швидкістю, а не за місткістю, припиніть читати таблиці й запустіть свій стек на обох. Усе тут — це арифметика місткості та стеля пропускної здатності. Жодне з цього не передбачає, що зроблять ваші ядра, форма батча та планувальник, і ми не вдаватимемо іншого за допомогою цифри пропускної здатності, яку не можемо підтвердити.

Якщо вам потрібно 6 480 ГБ для повного файнтюнінгу 405B, вам потрібен кластер, фабрика і план, а не сторінка оренди. Запитайте відділ продажів про багатовузлову ємність у DFW-1 Dallas, IAD-1 Ashburn або PDX-1 Hillsboro і очікуйте розмову про інтерконект раніше, ніж про ціну.

TL;DR Почніть звідси

Навчання, будь-яка модель до 13B: RTX A5000 24 ГБ, $190/міс
Продакшн-сервінг 24B–34B: L40S 48 ГБ, $520/міс
Найшвидша одиночна карта до $600: RTX 5090 32 ГБ, $540/міс
Найдешевша 70B у INT4: A40 48 ГБ, $240/міс
70B у BF16 на одній карті: MI300X 192 ГБ, $1,590/міс
Довгий контекст на 70B: H200 SXM 141 ГБ, $2,290/міс

BTCETHUSDTUSDCXMRSOLLTC

Внесіть депозит один раз, розгортайте приблизно за дев’яносто секунд, без електронної пошти й без документа, що посвідчує особу. Див. GPU-хостинг без KYC і як працює оплата криптовалютою.

09 Питання

Питання про VRAM — так, як їх ставлять люди.

Скільки VRAM потрібно для запуску моделі 70B?

Близько 145 ГБ у BF16, 75 ГБ у FP8 і 40 ГБ у INT4, кожне при 8 192 токенах і батчі 1. Це ваги плюс 2,7 ГБ KV-кешу плюс 2 ГБ накладних витрат. Цифра для FP8 поміщається на одну карту 80 ГБ. Цифра для INT4 поміщається на 48 ГБ A40 за $240 на місяць.

Скільки VRAM потрібно для моделі 7B?

17 ГБ у BF16, 10 ГБ у FP8, 7 ГБ у INT4, при контексті 8k і батчі 1. Усі три поміщаються на карту 24 ГБ, тож RTX A5000 за $190 на місяць покриває будь-який варіант. Краще питання — пропускна здатність: ця 7B має стелю декодування 55 токенів за секунду на A5000 і 128 на RTX 5090.

Як розрахувати розмір KV-кешу?

2 × кількість шарів × кількість KV-голів × розмірність голови × байтів на елемент × довжина контексту × розмір батча. Для 70B з 80 шарами, 8 KV-головами та розмірністю голови 128 це 0,33 МБ на токен у FP16, тобто 2,7 ГБ при 8k і 42,9 ГБ при 128k. Кеш у FP8 зменшує кожну цифру вдвічі.

Чи достатньо 24 ГБ VRAM для файнтюнінгу моделі?

Для QLoRA так, приблизно до 34B на коротких послідовностях: 13B потребує близько 14 ГБ, а 7B — 10 ГБ. Для LoRA у BF16 карта 24 ГБ покриває 7B при близько 21 ГБ і нічого більшого. Для повного файнтюнінгу з Adam — ні. Навіть 7B потребує близько 129 ГБ, бо стан оптимізатора коштує 16 байтів на параметр.

Який GPU потрібен для моделі 405B?

У INT4 вона потребує близько 209 ГБ, які вісім A40 тримають за $1,728 на місяць, хоча при 696 ГБ/с на кожну це радше місткість, аніж швидкість. У FP8 потрібно 411 ГБ, а в BF16 — 816 ГБ, і обидва варіанти вміщує вузол 8× MI300X за $11,450. Повний файнтюнінг потребує приблизно 7 452 ГБ і належить до кластера.

Чи працюють дві карти по 24 ГБ як одна на 48 ГБ?

Щодо місткості — майже так. Щодо швидкості — ні. Модель, розподілена між двома картами, однаково читає кожен байт на токен, тому розщеплення за шарами не підвищує вашу стелю. Tensor parallelism підвищує, але обмінюється активаціями на кожному шарі через з’єднання між картами: 112 ГБ/с на містку NVLink, приблизно 63 ГБ/с через PCIe Gen5 і 32 ГБ/с через Gen4.

Який GPU має найдешевшу VRAM за гігабайт?

A40: 48 ГБ за $240 на місяць — це $5.00 за гігабайт на місяць, найнижчий показник у нашому парку. Далі RTX A6000 за $6.04, RTX A5000 за $7.92, MI300X за $8.28. H100 SXM коштує $21.13 за гігабайт, бо ви купуєте пропускну здатність і FP8-продуктивність, а не місткість.

Чи шкодить квантизація до INT4 якості результатів?

Так, і це можна виміряти, а наскільки — залежить від моделі та методу. Схеми тільки для ваг, такі як AWQ і GPTQ, втрачають помітно менше, ніж наївне округлення. Чесний процес — квантизувати, прогнати власний набір оцінювання і вирішити, чи варта втрата тієї карти, яку ви економите. Ми здаємо обидві карти й не маємо власної думки.

Розрахунок під конкретні навантаження — на GPU для інференсу LLM і GPU для файнтюнінгу. Повні специфікації, наявність і ціни — у каталозі GPU.

Ви знаєте число. Тепер оберіть карту.

П’ятнадцять моделей у DFW-1, IAD-1 і PDX-1, від $190 на місяць, щотижнево або щомісячно, з оплатою в семи монетах без перевірки особи.

Створити акаунт →