GPU Rent HubPrzewodnik VRAM

Ile pamięci VRAM potrzebuję? Najpierw arytmetyka, potem karta.

Model 70B wymaga około 145 GB VRAM do serwowania w BF16, 75 GB w FP8 i 40 GB w INT4, a GPU Rent Hub wynajmuje dedykowaną kartę dla każdego z tych przypadków: 240 $ miesięcznie za wersję INT4 na karcie A40 48 GB, 1490 $ za FP8 na H100 PCIe 80 GB, 1590 $ za BF16 na MI300X 192 GB, płatne w Bitcoin, Ethereum, USDT, USDC, Monero, Solana lub Litecoin bez weryfikacji tożsamości. Każda liczba poniżej to arytmetyka, którą można powtórzyć. Żadna z nich nie jest benchmarkiem, ponieważ nie podamy takiego, którego nie możemy uźródłowić.

Updated 2026-09-01

2 BBajty na parametr przy BF16

$5.00Najtańsza pamięć VRAM, którą wynajmujemy, za GB miesięcznie

192 GBNajwięcej VRAM na jednej karcie, MI300X

15Kart do wyboru

01 Wzór

Jak obliczyć, ile pamięci VRAM potrzebuje model?

Trzy składniki. Wagi, pamięć podręczna KV i narzut środowiska uruchomieniowego. Dwa z nich można obliczyć dokładnie.

Blok doboru rozmiaru

Wymagana pamięć VRAM = (parametry × bajty na parametr) + pamięć podręczna KV + około 2 GB narzutu środowiska uruchomieniowego. Bajty na parametr wynoszą 4 przy FP32, 2 przy BF16 lub FP16, 1 przy FP8 i 0,5 przy INT4. Pamięć podręczna KV to 2 × warstwy × głowy KV × wymiar głowy × bajty na element × długość kontekstu × rozmiar partii, gdzie wiodące 2 obejmuje klucz i wartość. Narzut środowiska uruchomieniowego to kontekst CUDA, framework i fragmentacja alokatora, a 2 GB to bezpieczny zapas dla pojedynczego procesu.

Przykład: model 70B w FP8 przy 8192 tokenach i partii 1 to 70 GB wag, 2,7 GB pamięci podręcznej KV i 2 GB narzutu, razem 75 GB, co mieści się na karcie 80 GB z 5 GB zapasu.

Dwie konwencje, ustalone zanim zaczniesz spierać się o ostatni gigabajt.

Parametry w miliardach razy bajty na parametr dają gigabajty bezpośrednio, zgodnie z konwencją dziesiętną, gdzie gigabajt to 10⁹ bajtów. Pojemności kart podawane są w ten sam sposób. Narzędzia raportujące gibibajty zamiast tego zmniejszają każdą liczbę tutaj o około 7%, co jest powodem, aby zostawić zapas, a nie planować co do ostatniego gigabajta.

Rozmiar liczony na parametrach rezydentnych, nie aktywnych. Model typu mixture-of-experts trzyma każdego eksperta w VRAM i uruchamia dwóch na token: pamięć całości, szybkość części.

Precyzja	Bajty/param	7B	70B
FP32rzadko opłacalne do inferencji	4	28 GB	280 GB
BF16 / FP16punkt odniesienia	2	14 GB	140 GB
FP8Ada, Hopper, Blackwell, CDNA 3	1	7 GB	70 GB
INT4 / NF4tylko wagi, dowolna architektura	0.5	3.5 GB	35 GB

FP8 wymaga wsparcia sprzętowego. A100, A40, RTX A6000, RTX 3090 i RTX A5000 go nie mają. Kwantyzacja INT4 tylko wag działa na wszystkich.

02 Inferencja

Ile pamięci VRAM potrzebuję, aby uruchomić model 7B, 13B, 34B, 70B lub 405B?

Wagi plus pamięć podręczna KV przy 8192 tokenach i partii 1, plus 2 GB. Zmień kontekst, a zmieni się kolumna KV, nie wagi.

Model	KV przy 8k, partia 1	BF16 łącznie	FP8 łącznie	INT4 łącznie
7B32 warstwy, GQA, 8 głów KV	1.1 GB	17 GB	10 GB	7 GB
13B40 warstw, MHA, bez GQA	6.7 GB	35 GB	22 GB	15 GB
34B60 warstw, GQA, 8 głów KV	2.0 GB	72 GB	38 GB	21 GB
70B80 warstw, GQA, 8 głów KV	2.7 GB	145 GB	75 GB	40 GB
405B126 warstw, GQA, 8 głów KV	4.2 GB	816 GB	411 GB	209 GB

Pamięć podręczna KV utrzymywana w FP16 w każdej kolumnie. Wymiar głowy 128 wszędzie. Sprawdź liczbę warstw i liczbę głów KV w pliku config.json swojego modelu, zanim zaufasz wierszowi, ponieważ są to typowe kształty, a nie uniwersalne.

Wiersz 13B jest interesujący: ma większą pamięć podręczną KV niż 70B poniżej. Jego architektura używa uwagi wielogłowicowej z 40 głowami klucza i wartości, podczas gdy późniejsze modele używają uwagi grupowanej zapytań (GQA) i 8. Ta zmiana zmniejszyła pamięć podręczną pięcio- do ośmiokrotnie i jest powodem, dla którego serwowanie długiego kontekstu stało się przystępne. Przy doborze rozmiaru czegokolwiek sprzed 2024 sprawdź schemat uwagi przed liczbą parametrów.

Rozmiar partii mnoży pamięć podręczną KV i nic więcej. Ten 70B przy partii 32 dodaje 85 GB pamięci podręcznej do tych samych 70 GB wag, dlatego endpoint potrzebuje znacznie więcej pamięci niż przy jednym żądaniu naraz. Dobór rozmiaru dla usług znajduje się na stronie GPU dla inferencji LLM.

03 Kontekst

Ile pamięci VRAM zajmuje pamięć podręczna KV przy długim kontekście?

Liniowo z tokenami i liniowo z partią. Przy 128k pamięć podręczna może kosztować więcej niż wagi.

Kształt modelu	KV na token	8k	32k	128k
7B, 32 warstwy, GQASzerokość KV 1,024	0.13 MB	1.1 GB	4.3 GB	17.2 GB
13B, 40 warstw, MHASzerokość KV 5,120	0.82 MB	6.7 GB	26.8 GB	107.4 GB
34B, 60 warstw, GQASzerokość KV 1,024	0.25 MB	2.0 GB	8.1 GB	32.2 GB
70B, 80 warstw, GQASzerokość KV 1,024	0.33 MB	2.7 GB	10.7 GB	42.9 GB
405B, 126 warstw, GQASzerokość KV 1,024	0.52 MB	4.2 GB	16.9 GB	67.6 GB

Pamięć podręczna FP16, partia 1. Zmniejsz o połowę każdą wartość dla pamięci podręcznej FP8. Pomnóż przez rozmiar partii. Szerokość KV to liczba głów KV pomnożona przez wymiar głowy.

Gdzie to gryzie.

Model 70B w FP8 mieści się na karcie 80 GB przy 8k z 5 GB zapasu. Zwiększ do 32k, a sama pamięć podręczna to 10,7 GB, więc przestaje się mieścić. Dlatego H200 SXM z 141 GB i MI300X z 192 GB istnieją jako produkty. Trzymają więcej kontekstu niż H100 SXM, co jest czym innym niż bycie szybszym.

Kwantyzacja pamięci podręcznej KV do FP8 to osobna dźwignia od kwantyzacji wag i zwykle tańsza. Zmniejsza pamięć podręczną o połowę przy znacznie mniejszym koszcie jakości niż obniżenie wag o kolejny stopień, a vLLM i TensorRT-LLM oba to obsługują.

04 Trenowanie

Ile pamięci VRAM potrzebuję, aby dostroić model?

Pełne dostrajanie kosztuje około 16 bajtów na parametr. LoRA kosztuje 2. QLoRA kosztuje 0,5. Różnica między tymi trzema liczbami to cała decyzja.

Pełne dostrajanie z Adamem trzyma pięć rzeczy na parametr: wagi BF16 (2 bajty), gradienty BF16 (2), kopię główną FP32 (4) oraz pierwszy i drugi moment Adama (po 4). To 16 bajtów na parametr przed aktywacjami. LoRA zamraża bazę, więc płacisz 2 bajty na parametr za zamrożony model i stan optymalizatora tylko na adapterze, zwykle pół procenta parametrów. QLoRA kwantyzuje tę zamrożoną bazę do 4 bitów, więc kosztuje 0,5 bajta na parametr, a adapter pozostaje bez zmian.

Model	Pełne FT, wagi + Adam	Pełne FT, z aktywacjami	LoRA	QLoRA
7B	112 GB	129 GB	21 GB	10 GB
13B	208 GB	239 GB	33 GB	14 GB
34B	544 GB	626 GB	79 GB	28 GB
70B	1,120 GB	1,288 GB	156 GB	51 GB
405B	6,480 GB	7,452 GB	856 GB	249 GB

Założenia podane, abyś mógł je zmienić: włączony gradient checkpointing, długość sekwencji 2048, partia 1, adaptery o randze 16 na projekcjach uwagi przy około 0,5% parametrów, 15% dodane do kolumny pełnego dostrajania na aktywacje i fragmentację. Stan optymalizatora adaptera liczony jako 16 bajtów na parametr adaptera.

Kolumna pełnego dostrajania to liczba naiwna, wszystko rezydentne na GPU. ZeRO stage 3 z odciążeniem stanu optymalizatora do pamięci hosta znacząco zmniejsza wymagania po stronie GPU, a nasze węzły 8-kartowe mają 2 TB pamięci RAM hosta właśnie po to. Odciążenie wymienia przepustowość PCIe na VRAM, więc umożliwia uruchomienie, ale nie przyspiesza. Wybór metody znajduje się na stronie GPU do dostrajania.

Porównaj dwie ostatnie kolumny z pierwszą. Pełne dostrajanie 70B wymaga węzła ośmiokartowego za $11,450. Ten sam 70B pod QLoRA potrzebuje 51 GB, co daje jedna A100 SXM 80GB za $990 miesięcznie. To dwunastokrotna różnica dla metody gorszej, ale rzadko dwanaście razy gorszej. Większość osób zadających to pytanie otrzymała wycenę pełnego dostrajania i jej nie potrzebuje.

05 Tabela przeglądowa

Jakiego GPU potrzebuję dla modelu 70B lub dowolnego innego rozmiaru?

Rozmiar modelu po boku, metoda u góry. Każda komórka to wymagana pamięć VRAM i najtańsza rzecz w naszej flocie, która ją pomieści.

Model	Inferencja BF16	Inferencja FP8	Inferencja INT4	QLoRA	LoRA	Pełne dostrajanie
7B	17 GBRTX A5000 $190	10 GBL4 $250	7 GBRTX A5000 $190	10 GBRTX A5000 $190	21 GBRTX A5000 $190, ciasno	129 GBMI300X $1,590
13B	35 GBA40 $240	22 GBL4 $250, ciasno	15 GBRTX A5000 $190	14 GBRTX A5000 $190	33 GBA40 $240	239 GB4× A100 $3,643
34B	72 GBA100 SXM $990	38 GBRTX 6000 Ada $460	21 GBRTX A5000 $190, ciasno	28 GBA40 $240	79 GBA100 SXM $990, ciasno	626 GB8× A100 $7,130, ciasno
70B	145 GBMI300X $1,590	75 GBH100 PCIe $1,490	40 GBA40 $240	51 GBA100 SXM $990	156 GBMI300X $1,590	1,288 GB8× MI300X $11,450
405B	816 GB8× MI300X $11,450	411 GB8× MI300X $11,450	209 GB8× A40 $1,728	249 GB8× A40 $1,728	856 GB8× MI300X $11,450	7,452 GBpięć węzłów, wycena

Najtańsza pojedyncza karta, która się mieści, przy 8192 tokenach i partii 1; zestaw wielokartowy tylko tam, gdzie żadna pojedyncza karta nie pomieści. Ta tabela odpowiada na jedno pytanie: najtańsza karta, która pomieści model, a przewodniki po obciążeniach odpowiadają na inne: najtańsza karta, na której warto go uruchomić, co czasem jest inną i droższą kartą, z podanym tam powodem. „Ciasno” oznacza mniej niż 5 GB zapasu lub mniej niż 2 GB na kartę w wierszach wielokartowych. Ceny wielokartowe obejmują rabat ilościowy 5% przy dwóch kartach, 8% przy czterech i 10% przy ośmiu. Wiersze pełnego dostrajania zakładają NVLink lub NVSwitch, ponieważ all-reduce w każdym kroku przez PCIe peer-to-peer nie jest warte wynajmu. Dla większości wierszy istnieją tańsze zamienniki wielokartowe, a sekcja 07 wyjaśnia, kiedy z nich skorzystać. Komórka 13B FP8 jest najciaśniejsza: 22 GB pozostawia 2 GB zapasu na L4, którego 300 GB/s to najwolniejsza pamięć, jaką wynajmujemy, więc RTX 6000 Ada za $460 jest alternatywą, gdy ograniczeniem jest szybkość dekodowania, a nie dopasowanie. MI300X zajmuje tutaj siedem komórek i wiąże się z trzema warunkami: tylko DFW-1 Dallas, 8 kart wolnych w ostatniej aktualizacji katalogu oraz ROCm zamiast CUDA, więc vLLM i PyTorch działają, a ręcznie napisany kernel CUDA nie. Specyfikacje i stany magazynowe w regionach na katalogu GPU, rabaty na stronie cenowej.

Komórka, na którą warto spojrzeć, to 70B w INT4: 40 GB, obsługiwane przez A40 48GB za $240 miesięcznie. To nie sztuczka, po prostu to, co dają kwantyzacja czterobitowa i 48 GB GDDR6. Sekcja 07 opisuje, z czego zrezygnowałeś. Wszystko powyżej jednego węzła 8-kartowego to kwestia klastra, nie karty, i należy do strony wynajem klastra multi-GPU.

06 Koszt pamięci

Które GPU daje najwięcej VRAM za dolara?

Cena miesięczna podzielona przez gigabajty VRAM oraz przepustowość pamięci podzielona przez cenę miesięczną. Nikt nie publikuje żadnej z tych wartości. Obie decydują o większej liczbie zakupów niż wartość TFLOPS.

GPU	VRAM	Przepustowość	Miesięcznie	$ za GB/mies.	GB/s za $/mies.	Za godzinę GPU
MI300XHBM3, CDNA 3	192 GB	5.3 TB/s	$1,590/mo	$8.28	3.33	$2.21
B200HBM3e, Blackwell, minimum 2 GPU	180 GB	8 TB/s	$3,890/mo	$21.61	2.06	$5.40
H200 SXMHBM3e, Hopper	141 GB	4.8 TB/s	$2,290/mo	$16.24	2.10	$3.18
H100 SXMHBM3, NVLink 900 GB/s	80 GB	3.35 TB/s	$1,690/mo	$21.13	1.98	$2.35
H100 PCIeHBM2e	80 GB	2 TB/s	$1,490/mo	$18.63	1.34	$2.07
A100 SXMHBM2e, bez FP8	80 GB	2.04 TB/s	$990/mo	$12.38	2.06	$1.38
L40SGDDR6 ECC, FP8	48 GB	864 GB/s	$520/mo	$10.83	1.66	$0.72
RTX 6000 AdaGDDR6 ECC, FP8	48 GB	960 GB/s	$460/mo	$9.58	2.09	$0.64
RTX A6000GDDR6 ECC, bez FP8	48 GB	768 GB/s	$290/mo	$6.04	2.65	$0.40
A40GDDR6 ECC, bez FP8	48 GB	696 GB/s	$240/mo	$5.00	2.90	$0.33
RTX 5090GDDR7, FP8	32 GB	1.79 TB/s	$540/mo	$16.88	3.31	$0.75
RTX 4090GDDR6X, FP8	24 GB	1.01 TB/s	$390/mo	$16.25	2.59	$0.54
L4GDDR6, FP8, 72 W	24 GB	300 GB/s	$250/mo	$10.42	1.20	$0.35
RTX 3090GDDR6X, bez FP8	24 GB	936 GB/s	$230/mo	$9.58	4.07	$0.32
RTX A5000GDDR6 ECC, bez FP8	24 GB	768 GB/s	$190/mo	$7.92	4.04	$0.26

Posortowane według VRAM. Dolary za gigabajt to cena miesięczna podzielona przez pojemność. GB/s za dolara to przepustowość pamięci podzielona przez cenę miesięczną, więc im wyżej, tym lepiej. Za godzinę GPU to cena miesięczna podzielona przez 720 godzin w okresie, wyjaśnione na stronie wynajem miesięczny kontra godzinowy GPU. Cena B200 dotyczy jednej karty, ale jest dostarczana na płycie bazowej HGX 8-way, a najmniejszą jednostką do wynajęcia są dwie karty, więc najmniejsze zamówienie B200 to dwie karty: $7,780 miesięcznie w cenie katalogowej, $7,391 z rabatem 5% za dwie karty.

Dwie różne karty wygrywają w dwóch kolumnach, dlatego obie są publikowane. A40 trzyma gigabajt za $5.00 miesięcznie, mniej niż połowę tego, co L40S pobiera za te same 48 GB, ponieważ jest to karta z 2020 r. z przepustowością 696 GB/s. RTX 3090 daje 4,07 GB/s za dolara, ponad dwa razy więcej niż H100 SXM, ponieważ jest to stara karta konsumencka z szybką magistralą i niskim czynszem. Żadna nie jest tutaj najlepszą kartą. Obie poprawnie odpowiadają na konkretne pytanie.

MI300X jest wartością odstającą. Przy $8,28 za gigabajt to tańsza pamięć niż A100, H100 czy H200, z przepustowością 5,3 TB/s, dlatego wypełnia komórki dużych modeli powyżej. Koszt to ROCm zamiast CUDA: vLLM i PyTorch działają, ręcznie napisany kernel CUDA nie.

07 Kontrargument

Czy więcej VRAM zawsze jest właściwą odpowiedzią?

Nie. Trzy przypadki, w których kupowanie pojemności jest złym zakupem, z arytmetyką dla każdego.

Przepustowość jest wąskim gardłem, nie pojemność

Dekodowanie jednego tokena odczytuje każdą rezydentną wagę z VRAM raz. Podziel przepustowość przez rozmiar rezydentny modelu, aby uzyskać twardy pułap tokenów na sekundę w pojedynczym strumieniu. 7B w BF16 to 14 GB, więc A40 przy 696 GB/s nie przekroczy 50 tokenów na sekundę, a RTX 5090 przy 1,79 TB/s nie przekroczy 128. Obie mieszczą model. Jedna jest w tym 2,6 razy szybsza.

Pułap, nie benchmark. Wylądujesz poniżej niego.

Kwantyzacja na małej karcie bije pełną precyzję na dużej

34B w BF16 to 72 GB razem i wymaga A100 za $990: 2,04 TB/s na 68 GB wag daje pułap 30 tokenów na sekundę. Ten sam 34B w INT4 to 21 GB razem i mieści się na RTX 4090 za $390: 1,01 TB/s na 17 GB wag daje pułap 59. Szybciej i 61% taniej. To, z czego zrezygnowałeś, to jakość skwantyzowanych wag, którą oceniasz, zamiast zakładać.

Taniej i szybciej, gorszy wynik. Przetestuj.

Dwie tanie karty, czasami

Dwie A40 dają 96 GB za $456 miesięcznie wobec 80 GB jednej A100 za $990. Więcej pamięci, mniej niż połowa ceny. Działa to przy inferencji batchowej z repliką na każdej karcie, przy QLoRA i przy serwowaniu z podziałem warstw przy niskiej współbieżności. Zawodzi przy równoległości tensorowej i przy każdym kroku treningowym z all-reduce, ponieważ połączenie między kartami to część, której nie kupiłeś.

96 GB za $456. Haczyk to połączenie wzajemne.

Kwestia NVLink, ujęta precyzyjnie.

H100 SXM komunikuje się z sąsiadami z prędkością 900 GB/s przez NVLink. Para A40 lub RTX A6000 korzysta z mostka NVLink o przepustowości 112 GB/s. L40S nie ma NVLink i przesyła dane przez PCIe Gen4 peer-to-peer z szybkością liniową około 32 GB/s. RTX 5090 również nie ma NVLink, ale jego łącze jest Gen5, więc około 63 GB/s. Tę różnicę płaci się raz na warstwę na token w uruchomieniu z równoległością tensorową.

Podział według warstw zamiast według tensorów unika większości tego ruchu i niczego nie podnosi. Na token nadal odczytujesz każdy bajt modelu, na dwóch kartach po kolei, a nie na jednej. Równoległość tensorowa to to, co zamienia dwie karty w podwójną przepustowość, i jest dokładnie tym trybem, który potrzebuje szybkiego łącza. To cały kompromis.

Przykład porównawczy

2× RTX 5090: 64 GB, 3.58 TB/s łącznie, $1,026/mo, PCIe Gen5 peer-to-peer
1× H100 SXM: 80 GB, 3.35 TB/s, $1,690/mo, jedna przestrzeń pamięci
Werdykt: Para wygrywa na papierze i przegrywa na każdym modelu, który nie mieści się w 32 GB na kartę

Jeśli Twój model mieści się na jednej karcie, umieść go na jednej karcie. Każdy dodany podział to punkt synchronizacji, tryb awarii i wieczór debugowania map urządzeń.

08 Kiedy nie wynajmować od nas

Przypadki, w których ta strona powinna odesłać Cię gdzie indziej.

Nasz najkrótszy okres to siedem dni. Jeśli potrzebujesz karty na jedno popołudnie, aby sprawdzić, czy 13B mieści się w 24 GB, skorzystaj z dostawcy godzinowego: kilka godzin tam kosztuje mniej niż minimalny tydzień za $55 na RTX A5000 tutaj. Nie sprzedajemy godzin i nie planujemy tego.

Jeśli wybierasz między dwiema kartami pod względem szybkości, a nie dopasowania, przestań czytać tabele i uruchom swój stos na obu. Wszystko tutaj to arytmetyka pojemności i pułap przepustowości. Żadne nie przewiduje, co zrobią Twoje kernele, kształt partii i harmonogram, i nie będziemy udawać, że jest inaczej, podając liczbę przepustowości, której nie możemy uźródłowić.

Jeśli potrzebujesz 6480 GB na pełne dostrajanie 405B, potrzebujesz klastra, sieci i planu, a nie strony wynajmu. Zapytaj dział sprzedaży o pojemność wielowęzłową w DFW-1 Dallas, IAD-1 Ashburn lub PDX-1 Hillsboro i spodziewaj się rozmowy o połączeniach wzajemnych przed ceną.

TL;DR Zacznij tutaj

Nauka, dowolny model do 13B: RTX A5000 24 GB, $190/mo
Serwowanie 24B do 34B w produkcji: L40S 48 GB, $520/mo
Najszybsza pojedyncza karta poniżej $600: RTX 5090 32 GB, $540/mo
Najtańszy 70B w INT4: A40 48 GB, $240/mo
70B w BF16 na jednej karcie: MI300X 192 GB, $1,590/mo
Długi kontekst na 70B: H200 SXM 141 GB, $2,290/mo

BTCETHUSDTUSDCXMRSOLLTC

Wpłać raz, wdróż w około dziewięćdziesiąt sekund, bez adresu e-mail i dokumentu tożsamości. Zobacz hosting GPU bez KYC i jak działa płatność kryptowalutą.

09 Pytania

Pytania o VRAM, zadawane tak, jak ludzie je zadają.

Ile pamięci VRAM potrzebuję do uruchomienia modelu 70B?

Około 145 GB w BF16, 75 GB w FP8 i 40 GB w INT4, każdy przy 8192 tokenach i partii 1. To wagi plus 2,7 GB pamięci podręcznej KV plus 2 GB narzutu. Wartość FP8 mieści się na jednej karcie 80 GB. Wartość INT4 mieści się na A40 48 GB za $240 miesięcznie.

Ile pamięci VRAM potrzebuję dla modelu 7B?

17 GB w BF16, 10 GB w FP8, 7 GB w INT4, przy kontekście 8k i partii 1. Wszystkie trzy mieszczą się na karcie 24 GB, więc RTX A5000 za $190 miesięcznie obsłuży każdy z nich. Lepsze pytanie dotyczy przepustowości: ten 7B ma pułap dekodowania 55 tokenów na sekundę na A5000 i 128 na RTX 5090.

Jak obliczyć rozmiar pamięci podręcznej KV?

2 × warstwy × głowy KV × wymiar głowy × bajty na element × długość kontekstu × rozmiar partii. Dla 70B z 80 warstwami, 8 głowami KV i wymiarem głowy 128 daje to 0,33 MB na token w FP16, czyli 2,7 GB przy 8k i 42,9 GB przy 128k. Pamięć podręczna FP8 zmniejsza każdą wartość o połowę.

Czy 24 GB VRAM wystarczy do dostrojenia modelu?

Dla QLoRA tak, do około 34B przy krótkich długościach sekwencji: 13B potrzebuje około 14 GB, a 7B potrzebuje 10 GB. Dla LoRA w BF16, 24 GB obejmuje 7B przy około 21 GB i nic większego. Dla pełnego dostrajania z Adamem nie. Nawet 7B potrzebuje około 129 GB, ponieważ stan optymalizatora kosztuje 16 bajtów na parametr.

Jakiego GPU potrzebuję dla modelu 405B?

W INT4 potrzebuje około 209 GB, które osiem A40 trzyma za $1,728 miesięcznie, choć przy 696 GB/s każda to raczej pojemność niż szybkość. W FP8 potrzebuje 411 GB, a w BF16 816 GB, oba mieszczą się na węźle 8× MI300X za $11,450. Pełne dostrajanie wymaga około 7,452 GB i należy do klastra.

Czy dwie karty 24 GB działają jak jedna karta 48 GB?

Pod względem pojemności, w przybliżeniu tak. Pod względem szybkości, nie. Model podzielony na dwie karty nadal odczytuje każdy bajt na token, więc podział warstw nie podnosi pułapu. Równoległość tensorowa podnosi, ale wymienia aktywacje na każdej warstwie przez łącze między kartami: 112 GB/s na mostku NVLink, około 63 GB/s przez PCIe Gen5 i 32 GB/s przez Gen4.

Które GPU ma najtańszą pamięć VRAM za gigabajt?

A40: 48 GB za $240 miesięcznie to $5.00 za gigabajt miesięcznie, najniższy wskaźnik w naszej flocie. RTX A6000 następny z $6.04, RTX A5000 z $7.92, MI300X z $8.28. H100 SXM kosztuje $21.13 za gigabajt, ponieważ kupujesz przepustowość i przepustowość FP8, a nie pojemność.

Czy kwantyzacja do INT4 pogarsza jakość wyniku?

Tak, mierzalnie, a o ile zależy od modelu i metody. Schematy tylko wag, takie jak AWQ i GPTQ, tracą zauważalnie mniej niż naiwne zaokrąglanie. Uczciwy proces to skwantyzować, uruchomić własny zestaw ewaluacyjny i zdecydować, czy strata jest warta karty, którą oszczędzasz. Wynajmujemy obie karty i nie mamy zdania.

Dobór rozmiaru specyficzny dla obciążenia na GPU dla inferencji LLM i GPU do dostrajania. Pełne specyfikacje, stany i ceny w katalogu GPU.

Znasz liczbę. Teraz wybierz kartę.

Piętnaście modeli w DFW-1, IAD-1 i PDX-1, od $190 miesięcznie, tygodniowo lub miesięcznie, płatne w siedmiu kryptowalutach bez weryfikacji tożsamości.

Utwórz konto →