GPU Rent HubGPU do inferencji LLM

Wybór GPU do inferencji LLM.

GPU Rent Hub wynajmuje dedykowane serwery GPU do inferencji LLM od $250 miesięcznie za NVIDIA L4 do $2,290 miesięcznie za H200 SXM, płatne w Bitcoin, Ethereum, USDT, USDC, Monero, Solana lub Litecoin, bez weryfikacji tożsamości.

O wyborze karty decydują dwie liczby: pamięć VRAM potrzebna na wagi i pamięć podręczną KV oraz przepustowość pamięci, która wyznacza liczbę tokenów na sekundę.

Zaktualizowano 2026-09-01

75 GBModel 70B w FP8, kontekst 8k, batch 1

3.35 TB/sPrzepustowość pamięci H100 SXM

$2.35H100 SXM za godzinę GPU przy wynajmie miesięcznym

20 TBTransfer wychodzący w cenie na instancję

01 Dobór

Ile pamięci VRAM potrzebuje LLM do inferencji?

O wyborze karty decydują tu dwie wielkości. Wyprowadzenie należy do przewodnika po VRAM; zmiennym składnikiem jest pamięć podręczna KV, która rośnie wraz z ruchem, a nie z modelem.

Dwie wielkości, na których opiera się ta strona

Model 70B w FP8 zajmuje 75 GB przy 8,192 tokenach i batchu 1, z czego 2.7 GB to pamięć podręczna KV. Wszystko pozostałe — wzór na wagi plus pamięć podręczną plus narzut, bajty na parametr przy każdej precyzji i wiersz dla każdej wielkości modelu — zostało wyprowadzone krok po kroku w przewodniku po VRAM GPU i nie jest tu powtarzane. Te dwie wielkości wykonują całą pracę poniżej: 75 GB to powód, dla którego karta 80 GB obsługuje model 70B z zapasem 5 GB, a 2.7 GB pamięci podręcznej to składnik przenoszony do wiersza 120B w tabeli.

Składnik pamięci podręcznej przejmuje kontrolę przy długim kontekście, gdzie skaluje się z długością kontekstu razy wielkość batchu, a nie z liczbą parametrów. Przy 128k i 32 równoczesnych żądaniach może przekroczyć rozmiar wag. Dlatego H200 SXM ze 141 GB kosztuje więcej niż H100 SXM na tym samym krzemie.

Wielkość modelu	BF16, 2 B/parametr	FP8, 1 B/parametr	4-bit, 0.5 B/parametr	Najtańsza karta NVIDIA, która się mieści, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 warstw, MHA, duża pamięć podręczna	35 GB	22 GB	15 GB	L4, 24 GB, na styk
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Bten sam wzór, brak wiersza w przewodniku	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Wagi plus pamięć podręczna KV przy 8,192 tokenach i batchu 1 plus 2 GB narzutu, zacytowane z przewodnika po VRAM GPU wraz z najtańszą kartą, która mieści każdą wartość FP8. Ostatnia kolumna dotyczy wyłącznie NVIDIA, ponieważ alternatywa to inny stos oprogramowania: w wierszu 120B model MI300X ze 192 GB mieści te same 125 GB za $1,590 miesięcznie wobec $2,290 za H200 SXM, kosztem ROCm zamiast CUDA i Dallas zamiast trzech lokalizacji. Wiersz 120B to ten sam wzór przeniesiony o krok dalej, z pamięcią podręczną 2.7 GB z wiersza 70B, ponieważ żaden wiersz przewodnika nie obejmuje tej wielkości. Wiersz 405B jest wyjątkiem od tej kolumny, bo żadna pojedyncza karta żadnej z marek go nie mieści, a najtańszym węzłem, który to robi, jest 8× MI300X. Model 70B w FP8 zostawia 5 GB zapasu na karcie 80 GB przy 8k i przestaje się mieścić przy 32k, gdzie sama pamięć podręczna to 10.7 GB.

02 Przepustowość

Dlaczego przepustowość pamięci ma większe znaczenie niż TFLOPS w inferencji LLM?

Dekodowanie jednego tokena odczytuje każdą wagę raz. Karta czeka na pamięć, a nie na obliczenia.

Przy batchu równym jeden dekodowanie przesyła cały zestaw wag z pamięci VRAM dla każdego tokena i wykonuje około dwóch operacji zmiennoprzecinkowych na parametr, co przy BF16 oznacza jedną operację na wczytany bajt. Aby w pełni obciążyć rdzenie tensorowe H100 SXM, potrzeba około 300, przyjmując 1,979 rzadkich TFLOPS FP16 jako około 990 gęstych przy przepustowości 3.35 TB/s. Karta jest w dużym stopniu ograniczona przez pamięć, więc pułap liczby tokenów na sekundę to przepustowość podzielona przez liczbę bajtów wag odczytywanych na token.

Model 8B w BF16 zajmuje 16 GB. Na RTX 4090 z przepustowością 1.01 TB/s pułap wynosi 63 tokeny na sekundę; na H100 SXM z 3.35 TB/s — 209 tokenów na sekundę. To pułapy z arkuszy specyfikacji i rzeczywiste dekodowanie wypada poniżej nich, o ułamek, którego nie podamy, bo nie potrafimy go wiarygodnie ustalić. Kolejność pozostaje. Prefill to przypadek przeciwny, ograniczony obliczeniami; to tam rdzenie tensorowe FP8 zarabiają na siebie.

Pułap, tokeny na sekundę = przepustowość pamięci ÷ (parametry × bajty na parametr). Batching zwiększa przepustowość na kartę, nie zwiększając szybkości pojedynczego żądania, ponieważ wagi są odczytywane raz dla całego batchu.

Dwa fakty z tabeli, które wyglądają dla nas niekorzystnie. A100 SXM z 2.04 TB/s ma większą przepustowość niż H100 PCIe, a RTX 3090 z 936 GB/s większą niż L40S. Żadna z nich nie jest lepszą kartą do inferencji. Sekcja 03 wyjaśnia dlaczego.

GPU	VRAM	Przepustowość	Pułap, 8B w BF16	Miesięcznie	Za godzinę GPU
B200Blackwell, HBM3e, minimum 2 GPU	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, brak FP8	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, brak FP8	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, brak FP8	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

Kolumna pułapu to przepustowość podzielona przez 16 GB wag BF16: górna granica z arkusza specyfikacji, a nie wynik pomiaru. Stawka za godzinę GPU to cena miesięczna podzielona przez 720. Cena B200 jest za kartę, a karta jest sprzedawana na 8-kierunkowej płycie bazowej HGX, więc najmniejsze zamówienie B200 to dwie karty, $7,780 miesięcznie przed zniżką za dwie karty. Wszystkie piętnaście kart w katalogu GPU.

03 Precyzja

Czy FP8 ma znaczenie i dlaczego A100 jest gorszą kartą do inferencji, niż sugeruje jej cena?

FP8 zmniejsza wagi o połowę. To o połowę zmniejsza liczbę bajtów odczytywanych na token i podwaja wielkość modelu, który się mieści.

Hopper, Ada Lovelace i Blackwell mają rdzenie tensorowe FP8: B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 i L4. Ampere nie ma. A100, A40, RTX A6000, RTX A5000 i RTX 3090 nie obsługują FP8 i to jest cecha krzemu, a nie luka w sterownikach.

Model 70B w FP8 zajmuje więc 75 GB i działa na jednym H100 SXM za $1,690 miesięcznie, czyli $2.35 za godzinę GPU. Na Ampere działa w BF16 i zajmuje 145 GB, co oznacza dwie karty A100 SXM: $1,980 według cennika, $1,881 miesięcznie po 5% zniżce za dwie karty, czyli $2.61 za godzinę endpointu wobec $2.35 za pojedynczy H100 SXM, z ruchem tensor-parallel przy każdym tokenie. Tańsza karta buduje droższy endpoint.

Ampere nadal warto wynajmować

Do fine-tuningu, do serwowania 4-bitowego i tam, gdzie liczy się 80 GB poniżej $1,000 miesięcznie. To jednak słaby domyślny wybór dla produkcyjnego endpointu tokenów, a metka z ceną $990 to ukrywa.

MI300X to wyjątek, który warto znać. 192 GB HBM3 z przepustowością 5.3 TB/s za $1,590 miesięcznie mieści model 70B w BF16 na jednej karcie: 145 GB z 47 GB zapasu, bez kwantyzacji i bez shardingu. Uruchamia się z naszym szablonem ROCm 6.4 z buildem PyTorch ROCm.

04 Wybory

Jaki jest najlepszy GPU do inferencji LLM przy każdej wielkości modelu?

Posortowane według wielkości modelu. Jedna karta na przedział, wybrana na podstawie powyższych wyliczeń.

Serwowanie tego	Wybór	VRAM	Tygodniowo	Miesięcznie	Za godzinę GPU
7B–8B, zawsze włączone, niski QPS72 W, pojedynczy slot, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, liczy się opóźnienie1.01 TB/s, 265 sztuk na stanie	RTX 4090	24 GB	$110	$390/mo	$0.54
14B–24B w FP8najszybsza pamięć poniżej $600	RTX 5090	32 GB	$155	$540/mo	$0.75
24B–34B w FP8ECC, węzły 8-way, rdzenie RT	L40S	48 GB	$148	$520/mo	$0.72
32B w BF16, bez kwantyzacjiHopper przy 350 W	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
70B w FP8, jedna kartadomyślny wybór produkcyjny	H100 SXM	80 GB	$475	$1,690/mo	$2.35
70B w BF16, jedna kartanajwięcej HBM na kartę	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B lub 70B przy 128kzapas na pamięć podręczną KV	H200 SXM	141 GB	$640	$2,290/mo	$3.18
405B w FP8, jeden węzeł8-way, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

Stawka za godzinę GPU to cena miesięczna podzielona przez 720, a dla węzła — przez 8 kart i 720 godzin. Zniżki za wiele GPU wynoszą 5% przy dwóch kartach, 8% przy czterech, 10% przy ośmiu, więc węzeł 8× H100 SXM kosztuje $12,170 miesięcznie, czyli $2.11 za godzinę GPU. Na stanie: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. To karty, na których uruchomilibyśmy to zadanie; tabela w przewodniku po VRAM podaje najtańszą kartę, która po prostu mieści model, więc wiersz tutaj bywa droższą kartą, a powód jest w wierszu. Wiersz 405B to najwyraźniejszy przypadek: przewodnik podaje jako najtańszy węzeł mieszczący model 405B w FP8 8× MI300X za $11,450, a ta tabela wybiera 8× B200 ze względu na szkielet 1.8 TB/s.

Ceny są identyczne w DFW-1 Dallas, IAD-1 Ashburn i PDX-1 Hillsboro, więc wybierz region według opóźnienia. MI300X jest dostępny tylko w Dallas. Z ośmiu B200 sześć jest w DFW-1, a dwa w PDX-1; w IAD-1 nie ma żadnego.

05 Instancja

Co otrzymuję na serwerze do inferencji LLM od GPU Rent Hub?

Bare metal, root, wstępnie zainstalowany stos serwujący, nic nie nasłuchuje, dopóki tego nie włączysz.

Szablon vLLM 0.9

Ubuntu 24.04 z vLLM 0.9 i zainstalowaną jednostką serwera zgodną z OpenAI. Jednostka jest dostarczana wyłączona. Włączasz ją i decydujesz, co może docierać do portu.

Domyślnie nic nie jest wystawione.

Szablon Ollama

Dla modelu, który odpowiada w dwie minuty, zamiast dostrojonego serwera. Ollama jest związana z localhost i sam ją udostępniasz, zwykle przez WireGuard.

Ta sama zasada: localhost, dopóki tego nie zmienisz.

20 TB transferu wychodzącego w cenie

Przy około 100 bajtach ramek JSON i SSE na strumieniowany token to około 200 miliardów tokenów miesięcznie. Tekstowy endpoint tego nie wykorzysta.

Potem $4/TB. Transfer przychodzący nielimitowany.

Port 100G, gwarantowane 10G

Współdzielone łącze 100G z gwarantowanym minimum 10 Gbps, jeden IPv4 i prefiks IPv6 /64. Dedykowany port 100G kosztuje $220 miesięcznie, jeśli strumieniujesz dźwięk lub obrazy.

Prywatna sieć VLAN między instancjami, $25/mo.

Zawsze włączona inferencja to najwyraźniejszy przypadek dla wynajmu terminowego: obciążenie w nieprzewidywalnych godzinach, brak tolerancji na zimne starty, wagi, które platforma z opłatą za zużycie pobierałaby ponownie przy każdym skalowaniu. Karta należy do Ciebie przez 720 godzin, niezależnie od tego, czy ruch nadchodzi, i nie może zostać wywłaszczona. Wyliczenia progu opłacalności na stronie wynajem GPU miesięczny kontra godzinowy, szczegóły wdrożenia w dokumentacji. Jedno zamówienie, jedna płatność w BTC, ETH, USDT, USDC, XMR, SOL lub LTC: jak działa płatność kryptowalutą i co oznacza hosting GPU bez KYC.

BTCETHUSDTUSDCXMRSOLLTC

06 Kiedy nie

Kiedy nie powinieneś wynajmować dedykowanego GPU do inferencji LLM?

Trzy przypadki, w których dedykowana karta jest złym narzędziem, i wolimy to powiedzieć wprost.

Poniżej około dziesięciu milionów tokenów miesięcznie skorzystaj z hostowanego API tokenów. Model 7B na L4 kosztuje $250 miesięcznie, co przy tym wolumenie daje $25 za milion tokenów, a rynkowe stawki za token dla porównywalnego otwartego modelu są niższe.

Po drugie, ruch skokowy. Endpoint, który odpowiada na sto żądań we wtorek i nic aż do następnego tygodnia, zajmuje kartę przez minuty, a wynajmuje ją na 720 godzin. Skorzystaj z dostawcy godzinowego. Nasz najkrótszy termin to siedem dni i nie ma licznika.

Po trzecie, mniejsza karta, która wystarczy. Skwantyzuj model 34B do 4-bit, a zmieści się w 21 GB; RTX 3090 za $230 miesięcznie obsłuży go z przepustowością 936 GB/s i zapasem 3 GB, mając szybszą pamięć niż tańszy RTX A5000, którego tabela w przewodniku wskazuje dla tego samego pola. Nie wynajmuj H100 SXM tylko dlatego, że model ma dużą liczbę w nazwie.

Wynajmij od nas, jeśli

Endpoint jest zawsze włączony, opłata za token stała się Twoją największą pozycją, wagi i prompty muszą pozostać na sprzęcie, którego nikt inny nie dotyka, albo chcesz płacić kryptowalutą bez weryfikacji tożsamości.

Nie wynajmuj od nas, jeśli

Potrzebujesz karty na jedno popołudnie, ruch jest nieprzewidywalny i niski albo nie zmierzyłeś jeszcze, czy model mieści się w 4-bit na karcie za ćwierć ceny.

Trenowanie to inny problem doboru rozmiaru, zdominowany przez stany optymalizatora: zobacz GPU do fine-tuningu.

07 Pytania

GPU do inferencji LLM, proste pytania.

Jaki jest najlepszy GPU do inferencji LLM?

To zależy od wielkości modelu. Dla 7B do 14B najlepszym wyborem pod względem wartości jest RTX 4090 za $390 miesięcznie. Dla 24B do 34B w FP8 — L40S z 48 GB za $520. Dla 70B w FP8 — jeden H100 SXM za $1,690, czyli $2.35 za godzinę GPU. Dla 100B i większych — H200 SXM za $2,290.

Czego potrzebuje endpoint 70B poza wagami?

Pamięci podręcznej, a ta skaluje się z równoczesnością, a nie z modelem. Wagi i wartość dla jednego strumienia są w przewodniku po VRAM GPU: 75 GB w FP8 przy 8,192 tokenach i batchu 1. Każde kolejne równoczesne żądanie w tym kontekście dodaje 2.7 GB, więc osiem w locie to około 22 GB na górze, a trzydzieści dwa to około 85 GB. To różnica między kartą 80 GB obsługującą jeden strumień z 5 GB zapasu a H200 ze 141 GB lub MI300X ze 192 GB obsługującymi endpoint z prawdziwą równoczesnością. Kwantyzacja pamięci podręcznej do FP8 zmniejsza o połowę każdą z tych wartości.

Czy mogę wynająć GPU dla vLLM?

Tak. Każda instancja uruchamia szablon vLLM 0.9 na Ubuntu 24.04, który zawiera jednostkę serwera zgodną z OpenAI, dostarczaną wyłączoną, dopóki jej nie włączysz. Masz root na bare metal, więc możesz zastąpić ją własnym buildem. MI300X używa szablonu ROCm 6.4 z buildem PyTorch ROCm.

Dlaczego A100 nie jest dobrą kartą do inferencji LLM?

Ampere nie ma rdzeni tensorowych FP8, więc model 70B działa w BF16 i zajmuje 145 GB. To wymaga dwóch kart A100 SXM: $1,980 według cennika i $1,881 miesięcznie po zastosowaniu 5% zniżki za dwie karty, wobec jednego H100 SXM za $1,690 obsługującego ten sam model w FP8 z przepustowością 3.35 TB/s. A100 pozostaje dobrą kartą do fine-tuningu i serwowania 4-bitowego.

Ile tokenów na sekundę wygeneruje GPU?

Górna granica to przepustowość pamięci podzielona przez liczbę bajtów wag odczytywanych na token. Model 8B w BF16 zajmuje 16 GB, więc RTX 4090 z 1.01 TB/s osiąga maksymalnie około 63 tokenów na sekundę, a H100 SXM z 3.35 TB/s około 209. Rzeczywiste stosy wypadają poniżej pułapu, a to, jak daleko, zależy od Twoich kernelów, kształtu batchu i schedulera, dlatego publikujemy granicę, a nie jej ułamek.

Czy wynajem miesięczny jest odpowiedni dla zawsze włączonego endpointu LLM?

Zwykle tak. Stały termin kosztuje tyle samo, niezależnie od tego, czy ruch nadchodzi, więc endpoint odpowiadający w nieprzewidywalnych godzinach nie płaci premii za bezczynność, nie ma zimnego startu i nigdy nie czeka w kolejce na moc. Próg opłacalności wynika z cen: $1,690 za miesiąc H100 SXM wobec poglądowego licznika od $2.49 do $3.49 wychodzi na zero między około 480 a 680 wykorzystanymi godzinami z 720-godzinnego miesiąca, więc poniżej tego tańszy jest dostawca godzinowy. Pełne wyliczenia znajdują się na naszej stronie o wynajmie miesięcznym i godzinowym.

Czy w cenie jest wystarczająca przepustowość dla API tokenów?

Tak. Każda instancja obejmuje 20 TB transferu wychodzącego miesięcznie, co przy około 100 bajtach ramek JSON i SSE na strumieniowany token daje około 200 miliardów tokenów. Transfer przychodzący jest nielimitowany, więc pobieranie wag nic nie kosztuje. Powyżej 20 TB opłata wynosi $4 za TB, a dedykowany port 100G kosztuje $220 miesięcznie.

Czy muszę podać dokument tożsamości, aby wynająć serwer do inferencji LLM?

Nie. Konto to nazwa użytkownika i hasło, bez wymaganego adresu e-mail, a za każdy termin płacisz jednym przelewem w Bitcoin, Ethereum, USDT, USDC, Monero, Solana lub Litecoin. GPU Rent Hub Compute LLC działa w ten sposób od 15 marca 2021, mając 6,300 GPU w DFW-1 Dallas, IAD-1 Ashburn i PDX-1 Hillsboro.

Głębsze przypadki doboru w przewodniku po VRAM GPU, wszystkie karty w katalogu GPU, zniżki terminowe na stronie cennika.

Umieść endpoint na sprzęcie, którego nikt inny nie dotyka.

Wdróż vLLM na dedykowanej karcie w DFW-1, IAD-1 lub PDX-1 w około dziewięćdziesiąt sekund. Jedno zamówienie, jedna płatność, bez e-maila, bez dokumentu tożsamości.

Załóż konto →