GPU Rent HubLLM çıkarımı için GPU

LLM çıkarımı için GPU seçmek.

GPU Rent Hub, NVIDIA L4 için ayda $250'dan H200 SXM için ayda $2,290'a kadar, Bitcoin, Ethereum, USDT, USDC, Monero, Solana veya Litecoin ile ödenen ve kimlik doğrulaması gerektirmeyen, LLM çıkarımı için özel GPU sunucuları kiralar.

Kartı iki sayı belirler: ağırlıkların ve KV önbelleğinin gerektirdiği VRAM ile saniyedeki token sayısını belirleyen bellek bant genişliği.

Güncellendi 2026-09-01

75 GBFP8'de 70B, 8k bağlam, batch 1

3.35 TB/sH100 SXM bellek bant genişliği

$2.35H100 SXM, aylıkta GPU-saat başına

20 TBSunucu başına dahil edilen çıkış

01 Boyutlandırma

LLM çıkarımı için ne kadar VRAM gerekir?

Burada kartı iki sayı belirler. Türetme VRAM rehberine aittir; değişen terim KV önbelleğidir ve modelden ziyade trafiğinizle birlikte değişir.

Bu sayfanın temel aldığı iki sayı

FP8'de 70B bir model, 8,192 token ve batch 1'de 75 GB'tır; bunun 2.7 GB'ı KV önbelleğidir. Geri kalan her şey; ağırlıklar artı önbellek artı ek yük formülü, her hassasiyette parametre başına bayt sayısı ve her model boyutu için bir satır GPU VRAM rehberinde terim terim türetilir ve burada tekrarlanmaz. Aşağıdaki işi bu iki sayı yapar: 75 GB, 80 GB'lık bir kartın 70B'yi 5 GB boşlukla sunmasının nedenidir; 2.7 GB'lık önbellek ise tablonun 120B satırına taşınan terimdir.

Uzun bağlamda önbellek terimi devreye girer; burada parametre sayısıyla değil, bağlam uzunluğu çarpı batch boyutuyla ölçeklenir. 128k ve 32 eşzamanlı istekte ağırlıkları aşabilir. 141 GB'lı H200 SXM, aynı silikonu çalıştıran bir H100 SXM'den bu yüzden daha pahalıdır.

Model boyutu	BF16, 2 B/param	FP8, 1 B/param	4-bit, 0.5 B/param	Sığan en ucuz NVIDIA kartı, FP8
7B–8BLlama 8B, Mistral 7B, Qwen 7B	17 GB	10 GB	7 GB	L4, 24 GB
13B–14B40 katman, MHA, büyük önbellek	35 GB	22 GB	15 GB	L4, 24 GB, sınırda
32B–34B	72 GB	38 GB	21 GB	RTX 6000 Ada, 48 GB
70B	145 GB	75 GB	40 GB	H100 PCIe, 80 GB
120Baynı formül, rehber satırı yok	245 GB	125 GB	65 GB	H200 SXM, 141 GB
405B	816 GB	411 GB	209 GB	8× MI300X, 1,536 GB

Ağırlıklar artı 8,192 token ve batch 1'de KV önbelleği artı 2 GB ek yük; her FP8 değerini sığdıran en ucuz kartla birlikte GPU VRAM rehberinden alınmıştır. Son sütun yalnızca NVIDIA içindir, çünkü alternatif farklı bir yazılım yığınıdır: 120B satırında 192 GB'lık MI300X aynı 125 GB'ı ayda $1,590'a tutarken H200 SXM $2,290'dır; bunun bedeli CUDA yerine ROCm ve üç site yerine Dallas'tır. 120B satırı aynı formülün bir adım ileri taşınmış halidir; 70B satırının 2.7 GB önbelleğini alır, çünkü hiçbir rehber satırı bu boyutu kapsamaz. 405B satırı sütunun istisnasıdır, çünkü her iki markada da onu sığdıran tek bir kart yoktur ve sığdıran en ucuz düğüm 8× MI300X'tir. FP8'de bir 70B, 8k'de 80 GB'lık bir kartta 5 GB boşluk bırakır ve yalnızca önbelleğin 10.7 GB olduğu 32k'de sığmaz hale gelir.

02 Bant genişliği

LLM çıkarımı için bellek bant genişliği neden TFLOPS'tan daha önemlidir?

Bir token çözmek her ağırlığı bir kez okur. Kart matematikte değil bellekte bekler.

Batch 1'de çözme, her token için tüm ağırlık kümesini VRAM'den akıtır ve parametre başına yaklaşık iki kayan nokta işlemi yapar; bu, BF16'da yüklenen bayt başına bir işlemdir. H100 SXM'in tensör çekirdeklerini meşgul tutmak, 1,979 seyrek FP16 TFLOPS'unu yaklaşık 990 yoğun olarak 3.35 TB/s bant genişliğine karşı koyduğumuzda kabaca 300 gerektirir. Kart geniş bir farkla bellek sınırlıdır; bu nedenle saniyedeki token tavanı, bant genişliğinin token başına okunan ağırlık baytlarına bölümüdür.

BF16'da 8B bir model 16 GB'tır. 1.01 TB/s'de RTX 4090'da tavan saniyede 63 tokendır; 3.35 TB/s'de H100 SXM'de 209'dur. Bunlar veri sayfası tavanlarıdır ve gerçek çözme bunların altında kalır; payı alıntılamayacağız çünkü kaynak gösteremiyoruz. Sıralama geçerlidir. Prefill tersi durumdur, hesaplama sınırlıdır; FP8 tensor çekirdekleri burada hakkını verir.

Tavan, saniyedeki token = bellek bant genişliği ÷ (parametre × parametre başına bayt). Batch işleme, tek istek hızını artırmadan kart başına verimi artırır; çünkü ağırlıklar tüm batch için bir kez okunur.

Tablodan bizim için kötü okunan iki olgu. 2.04 TB/s'deki A100 SXM, H100 PCIe'den daha fazla bant genişliğine sahiptir; 936 GB/s'deki RTX 3090 ise L40S'ten daha fazladır. İkisi de daha iyi çıkarım kartı değildir. Bölüm 03 nedenini söylüyor.

GPU	VRAM	Bant genişliği	Tavan, BF16'da 8B	Aylık	GPU-saat başına
B200Blackwell, HBM3e, 2 GPU minimumu	180 GB	8 TB/s	500 t/s	$3,890/mo	$5.40
MI300XCDNA 3, HBM3	192 GB	5.3 TB/s	331 t/s	$1,590/mo	$2.21
H200 SXMHopper, HBM3e	141 GB	4.8 TB/s	300 t/s	$2,290/mo	$3.18
H100 SXMHopper, HBM3	80 GB	3.35 TB/s	209 t/s	$1,690/mo	$2.35
A100 SXMAmpere, FP8 yok	80 GB	2.04 TB/s	128 t/s	$990/mo	$1.38
H100 PCIeHopper, HBM2e	80 GB	2 TB/s	125 t/s	$1,490/mo	$2.07
RTX 5090Blackwell, GDDR7	32 GB	1.79 TB/s	112 t/s	$540/mo	$0.75
RTX 4090Ada, GDDR6X	24 GB	1.01 TB/s	63 t/s	$390/mo	$0.54
RTX 6000 AdaAda, GDDR6 ECC	48 GB	960 GB/s	60 t/s	$460/mo	$0.64
RTX 3090Ampere, FP8 yok	24 GB	936 GB/s	59 t/s	$230/mo	$0.32
L40SAda, GDDR6 ECC	48 GB	864 GB/s	54 t/s	$520/mo	$0.72
A40Ampere, FP8 yok	48 GB	696 GB/s	44 t/s	$240/mo	$0.33
L4Ada, 72 W	24 GB	300 GB/s	19 t/s	$250/mo	$0.35

Tavan sütunu, bant genişliğinin 16 GB BF16 ağırlığına bölümüdür: veri sayfasından bir üst sınır, ölçülmüş bir sonuç değil. GPU-saat başına, aylık ücretin 720'ye bölümüdür. B200 fiyatı kart başınadır ve kart 8 yollu HGX taban kartı üzerinde satılır; bu nedenle en küçük B200 siparişi iki karttır; iki kartlık indirimden önce ayda $7,780. On beş kartın tamamı GPU kataloğunda.

03 Hassasiyet

FP8 önemli midir ve A100 neden fiyatının ima ettiğinden daha kötü bir çıkarım kartıdır?

FP8 ağırlıkları yarıya indirir. Bu, token başına okunan baytları yarıya indirir ve sığan modeli ikiye katlar.

Hopper, Ada Lovelace ve Blackwell FP8 tensor çekirdeklerine sahiptir: B200, H200, H100 SXM, H100 PCIe, L40S, RTX 6000 Ada, RTX 5090, RTX 4090 ve L4. Ampere sahip değildir. A100, A40, RTX A6000, RTX A5000 ve RTX 3090 FP8 desteklemez ve bu bir sürücü eksiği değil, silikondur.

Dolayısıyla FP8'de 70B bir model 75 GB'tır ve ayda $1,690, GPU-saat başına $2.35 karşılığında tek bir H100 SXM'de çalışır. Ampere'de BF16'da 145 GB olarak çalışır; bu da iki A100 SXM kartı demektir: listede $1,980, %5 iki kart indirimiyle ayda $1,881; bu, uç nokta için saat başına $2.61'a karşılık tek H100 SXM için $2.35'tir ve her token üzerinde tensor-paralel trafik oluşur. Daha ucuz kart, daha pahalı uç noktayı kurar.

Ampere hâlâ kiralanmaya değer

İnce ayar için, 4-bit sunum için ve ayda $1,000 altında 80 GB'ın önemli olduğu yerler için. Üretim token uç noktası için kötü bir varsayılandır ve $990 fiyat etiketi bunu gizler.

MI300X, bilinmeye değer istisnadır. Ayda $1,590'a 5.3 TB/s hızında 192 GB HBM3, BF16'da 70B bir modeli tek kartta, 47 GB boşlukla, niceleme ve parçalama olmadan sığdırır. PyTorch ROCm derlemesiyle ROCm 6.4 şablonumuzu başlatır.

04 Seçimler

Her model boyutu için LLM çıkarımında en iyi GPU hangisidir?

Model boyutuna göre sıralanmıştır. Yukarıdaki aritmetiğe göre her bant için bir kart seçilmiştir.

Sunulan iş	Seçim	VRAM	Haftalık	Aylık	GPU-saat başına
7B–8B, her zaman açık, düşük QPS72 W, tek yuva, FP8	L4	24 GB	$70	$250/mo	$0.35
7B–14B, gecikme önemli1.01 TB/s, stokta 265	RTX 4090	24 GB	$110	$390/mo	$0.54
FP8'de 14B–24B$600 altında en hızlı bellek	RTX 5090	32 GB	$155	$540/mo	$0.75
FP8'de 24B–34BECC, 8 yollu düğümler, RT çekirdekleri	L40S	48 GB	$148	$520/mo	$0.72
BF16'da 32B, niceleme yok350 W'ta Hopper	H100 PCIe	80 GB	$420	$1,490/mo	$2.07
FP8'de 70B, tek kartüretim varsayılanı	H100 SXM	80 GB	$475	$1,690/mo	$2.35
BF16'da 70B, tek kartkart başına en fazla HBM	MI300X	192 GB	$450	$1,590/mo	$2.21
100B–120B veya 128k'de 70BKV önbellek payı	H200 SXM	141 GB	$640	$2,290/mo	$3.18
FP8'de 405B, tek düğüm8 yollu, NVSwitch 1.8 TB/s	8× B200	1,440 GB	$7,850	$28,010/mo	$4.86

GPU-saat başına, aylık ücretin 720'ye bölümüdür; düğüm için 8 kart ve 720 saate bölümüdür. Çoklu GPU indirimleri iki kartta %5, dört kartta %8, sekiz kartta %10'dur; bu nedenle 8× H100 SXM düğümü ayda $12,170, GPU-saat başına $2.11'dir. Stokta: 63 H100 SXM, 100 RTX 5090, 74 L40S, 265 RTX 4090. Bunlar işi çalıştıracağımız kartlardır; VRAM rehberinin arama tablosu yalnızca onu sığdıran en ucuz kartı adlandırır; bu nedenle buradaki bir satır bazen daha pahalı karttır ve nedeni satırdadır. 405B satırı en açık durumdur: rehber, FP8'de 405B'yi sığdıran en ucuz düğümü $11,450'a 8× MI300X olarak verir; bu tablo ise 1.8 TB/s dokusu için 8× B200'ü alır.

Fiyatlar DFW-1 Dallas, IAD-1 Ashburn ve PDX-1 Hillsboro'da aynıdır; bu nedenle bölgeyi gecikmeye göre seçin. MI300X yalnızca Dallas'tadır. Sekiz B200'ün altısı DFW-1'de, ikisi PDX-1'dedir; IAD-1'de hiç yoktur.

05 Sunucu

GPU Rent Hub LLM çıkarım sunucusunda ne alıyorum?

Çıplak donanım, root, sunum yığını önceden kurulu, siz etkinleştirene kadar hiçbir şey dinlemez.

vLLM 0.9 şablonu

Ubuntu 24.04 üzerinde vLLM 0.9 ve kurulu OpenAI uyumlu bir sunucu birimi. Birim devre dışı gelir. Siz etkinleştirir ve porta neyin erişebileceğine siz karar verirsiniz.

Varsayılan olarak hiçbir şey açık değildir.

Ollama şablonu

Ayarlanmış bir sunucu yerine iki dakikada yanıt veren bir model için. Ollama localhost'a bağlıdır ve genellikle WireGuard üzerinden kendiniz açarsınız.

Aynı kural: siz taşıyana kadar localhost.

20 TB çıkış dahil

Akıştaki token başına kabaca 100 bayt JSON ve SSE çerçevelemesiyle bu, ayda yaklaşık 200 milyar token eder. Bir metin uç noktası buna ulaşmaz.

Sonrasında $4/TB. Giriş ölçülmez.

100G port, 10G garantili

10 Gbps tabanlı paylaşımlı 100G uplink, bir IPv4 ve bir IPv6 /64. Ses veya görüntü akışı yaparsanız özel 100G port ayda $220'dir.

Sunucular arasında özel VLAN, $25/mo.

Her zaman açık çıkarım, dönem için en açık durumdur: öngörülemeyen saatlerde yoğun, soğuk başlatmalara tahammülsüz, ölçümlü bir platformun her ölçeklenmede yeniden çekeceği ağırlıkları tutan. Kart, trafik gelse de gelmese de 720 saat sizindir ve öncelik hakkı elinden alınamaz. Başabaş aritmetiği aylık ve saatlik GPU kiralama sayfasında, dağıtım ayrıntısı belgelerde. BTC, ETH, USDT, USDC, XMR, SOL veya LTC ile tek sipariş, tek ödeme: kripto ödeme nasıl çalışır ve KYC'siz GPU barındırma ne anlama gelir.

BTCETHUSDTUSDCXMRSOLLTC

06 Ne zaman kullanılmamalı

LLM çıkarımı için ne zaman özel GPU kiralamamalısınız?

Özel kartın yanlış araç olduğu üç durum; bunu söylemeyi tercih ederiz.

Ayda kabaca 10 milyon tokenın altında, barındırılan bir token API'si kullanın. L4 üzerinde 7B bir model ayda $250 tutar; bu hacimde milyon token başına $25 eder ve karşılaştırılabilir açık bir model için standart token başına ücretler bunun altındadır.

İkincisi, patlamalı trafik. Salı günü yüz isteği yanıtlayan ve sonraki haftaya kadar hiç istek almayan bir uç nokta, kartı dakikalarca meşgul eder ve 720 saatliğine kiralar. Saatlik bir sağlayıcı kullanın. Bizim en kısa dönemimiz yedi gündür ve sayaç yoktur.

Üçüncüsü, işi yapan daha küçük bir kart. 34B bir modeli 4-bit'e nicelerseniz 21 GB'a sığar; ayda $230'a RTX 3090 bunu 936 GB/s ile 3 GB boşlukla sunar; bu, rehberin aynı hücre için adlandırdığı daha ucuz RTX A5000'den daha hızlı bellektir. Modelin adında büyük bir sayı var diye H100 SXM kiralamayın.

Bizden şu durumda kiralayın

Uç nokta her zaman açıksa, token başına faturalama en büyük kaleminiz haline geldiyse, ağırlıklar ve istemler başka kimsenin dokunmadığı donanımda kalmalıysa veya kimlik kontrolü olmadan kriptoyla ödemek istiyorsanız.

Bizden şu durumda kiralamayın

Bir öğleden sonra için karta ihtiyacınız varsa, trafik öngörülemez ve düşükse veya modelin fiyatının dörtte biri olan bir kartta 4-bit'te sığıp sığmadığını henüz ölçmediyseniz.

Eğitim farklı bir boyutlandırma sorunudur ve optimize edici durumlarının egemenliğindedir: bkz. ince ayar için GPU.

07 Sorular

LLM çıkarımı için GPU, açıkça soruldu.

LLM çıkarımı için en iyi GPU hangisidir?

Model boyutuna bağlıdır. 7B ila 14B için ayda $390'a RTX 4090 değer seçimidir. FP8'de 24B ila 34B için $520'a 48 GB'lı L40S. FP8'de 70B için $1,690'a tek H100 SXM; bu GPU-saat başına $2.35 eder. 100B ve üzeri için $2,290'a H200 SXM.

70B bir uç nokta ağırlıkların ötesinde neye ihtiyaç duyar?

Önbelleğe; o da modelden çok eşzamanlılıkla ölçeklenir. Ağırlıklar ve tek akışlık sayı GPU VRAM rehberindedir: 8,192 token ve batch 1'de FP8'de 75 GB. Bu bağlamda eşzamanlı her ek istek 2.7 GB ekler; bu nedenle sekiz uçuşta yaklaşık 22 GB, otuz ikide yaklaşık 85 GB üstüne biner. 80 GB'lık bir kartın 5 GB boşlukla tek akış sunması ile gerçek eşzamanlılığa sahip bir uç noktayı 141 GB'lık H200 veya 192 GB'lık MI300X'in sunması arasındaki fark budur. Önbelleği FP8'e nicellemek bu sayıların her birini yarıya indirir.

vLLM için GPU kiralayabilir miyim?

Evet. Her sunucu Ubuntu 24.04 üzerinde vLLM 0.9 şablonunu başlatır; bu, siz etkinleştirene kadar devre dışı gelen OpenAI uyumlu bir sunucu birimini içerir. Çıplak donanımda root yetkiniz vardır, böylece kendi derlemenizle değiştirebilirsiniz. MI300X, PyTorch ROCm derlemesiyle ROCm 6.4 şablonunu kullanır.

A100 neden iyi bir LLM çıkarım kartı değildir?

Ampere'de FP8 tensor çekirdeği yoktur; bu nedenle 70B bir model BF16'da 145 GB olarak çalışır. Bu da iki A100 SXM kartı gerektirir; listede $1,980, %5 iki kart indirimi uygulandığında ayda $1,881 eder; aynı modeli FP8'de 3.35 TB/s ile sunan tek H100 SXM ise $1,690'dır. A100 yine de iyi bir ince ayar ve 4-bit sunum kartıdır.

Bir GPU saniyede kaç token üretir?

Üst sınır, bellek bant genişliğinin token başına okunan ağırlık baytlarına bölümüdür. BF16'da 8B bir model 16 GB'tır; bu nedenle 1.01 TB/s'de RTX 4090 yaklaşık 63 token/saniye, 3.35 TB/s'de H100 SXM yaklaşık 209 token/saniye ile tavan yapar. Gerçek yığınlar tavanın altında kalır; ne kadar altında kaldığı çekirdeklerinize, batch şekline ve zamanlayıcıya bağlıdır; bu yüzden sınırı yayımlıyor, bir kesirini değil.

Aylık kiralama her zaman açık bir LLM uç noktası için doğru mudur?

Genellikle. Sabit dönem, trafik gelse de gelmese de aynı maliyettedir; bu nedenle öngörülemeyen saatlerde yanıt veren bir uç nokta boşta kalma primi ödemez, soğuk başlatması yoktur ve kapasite için asla kuyruğa girmez. Başabaş fiyatlardan çıkar: bir H100 SXM ayı $1,690 iken, örnek $2.49 ila $3.49 sayaç ücreti 720 saatlik ayın kabaca 480 ila 680 kullanılan saati arasında başa baş olur; bu nedenle bunun altında saatlik bir sağlayıcı daha ucuzdur. Tam hesap aylık-saatlik sayfamızdadır.

Bir token API'si için yeterli bant genişliği dahil mi?

Evet. Her sunucu ayda 20 TB çıkış trafiği içerir; bu, akıştaki token başına kabaca 100 bayt JSON ve SSE çerçevelemesiyle yaklaşık 200 milyar token eder. Giriş ölçülmez; bu nedenle ağırlıkları çekmek ücretsizdir. 20 TB aşıldığında TB başına $4 ve özel 100G port ayda $220'dir.

LLM çıkarım sunucusu kiralamak için kimlik vermem gerekiyor mu?

Hayır. Hesap, e-posta adresi gerektirmeyen bir kullanıcı adı ve paroladır; her dönem için Bitcoin, Ethereum, USDT, USDC, Monero, Solana veya Litecoin ile tek bir transferle ödeme yaparsınız. GPU Rent Hub Compute LLC, 15 Mart 2021'den beri bu şekilde çalışır; DFW-1 Dallas, IAD-1 Ashburn ve PDX-1 Hillsboro'da 6,300 GPU bulunur.

Daha derin boyutlandırma durumları GPU VRAM rehberinde, her kart GPU kataloğunda, dönem indirimleri fiyatlandırma sayfasında.

Uç noktayı başka kimsenin dokunmadığı donanıma koyun.

Yaklaşık doksan saniyede DFW-1, IAD-1 veya PDX-1'de özel bir karta vLLM dağıtın. Tek sipariş, tek ödeme, e-posta yok, kimlik yok.

Hesap oluştur →