Ne kadar VRAM'a ihtiyacım var? Önce hesap, sonra kart.
70B parametreli bir modeli BF16'da sunmak yaklaşık 145 GB, FP8'de 75 GB ve INT4'te 40 GB VRAM gerektirir; GPU Rent Hub bunların her biri için ayrılmış bir kart kiralar: INT4 durumu için 48 GB A40 ile ayda $240, 80 GB H100 PCIe ile FP8 için $1,490, 192 GB MI300X ile BF16 için $1,590; ödeme Bitcoin, Ethereum, USDT, USDC, Monero, Solana veya Litecoin ile kimlik doğrulaması olmadan yapılır. Aşağıdaki her sayı yeniden yapabileceğiniz aritmetiktir. Hiçbiri kıyaslama değildir, çünkü kaynak gösteremeyeceğimiz bir rakamı aktarmayız.
Bir modelin ne kadar VRAM gerektirdiğini nasıl hesaplarsınız?
Üç terim. Ağırlıklar, KV önbelleği, çalışma zamanı ek yükü. Bunlardan ikisini tam olarak hesaplayabilirsiniz.
Boyutlandırma bloğu
Gerekli VRAM = (parametre × parametre başına bayt) + KV önbelleği + yaklaşık 2 GB çalışma zamanı ek yükü. Parametre başına bayt FP32'de 4, BF16 veya FP16'da 2, FP8'de 1 ve INT4'te 0.5'tir. KV önbelleği 2 × katman sayısı × KV kafa sayısı × kafa boyutu × öğe başına bayt × bağlam uzunluğu × yığın boyutudur; baştaki 2 anahtarı ve değeri karşılar. Çalışma zamanı ek yükü CUDA bağlamı, çatı ve ayırıcı parçalanmasıdır; tek bir süreç için 2 GB güvenli bir paydır.
Bir kez çözüldü: FP8'de 8,192 token ve yığın 1'de 70B'lik bir model 70 GB ağırlık, 2.7 GB KV önbelleği ve 2 GB ek yük eder; yani 75 GB, bu da 80 GB'lık bir karta 5 GB boşlukla sığar.
Son gigabayt hakkında tartışmadan önce sabitlenen iki kural.
Milyarlarca parametre ile parametre başına bayt sayısının çarpımı doğrudan gigabayt verir; burada gigabaytın 109 bayt olduğu ondalık kural geçerlidir. Kart kapasiteleri de aynı şekilde verilir. Bunun yerine gibibayt bildiren araçlar buradaki her rakamı yaklaşık %7 küçültür; bu nedenle son gigabayta kadar planlamak yerine boşluk bırakmak gerekir.
Yerleşik parametrelere göre boyutlandırın, etkin olanlara göre değil. Bir uzman-karışımı modeli her uzmanı VRAM'da tutar ve token başına iki uzman çalıştırır: belleği bütünün, hızı parçanındır.
| Hassasiyet | Bayt/param | 7B | 70B |
|---|---|---|---|
| FP32çıkarım için nadiren buna değer | 4 | 28 GB | 280 GB |
| BF16 / FP16referans noktası | 2 | 14 GB | 140 GB |
| FP8Ada, Hopper, Blackwell, CDNA 3 | 1 | 7 GB | 70 GB |
| INT4 / NF4yalnızca ağırlık, her mimari | 0.5 | 3.5 GB | 35 GB |
7B, 13B, 34B, 70B veya 405B bir modeli çalıştırmak için ne kadar VRAM gerekir?
Ağırlıklar artı 8,192 token ve yığın 1'de KV önbelleği, artı 2 GB. Bağlamı değiştirdiğinizde KV sütunu hareket eder, ağırlıklar değil.
| Model | 8k, yığın 1'de KV | BF16 toplam | FP8 toplam | INT4 toplam |
|---|---|---|---|---|
| 7B32 katman, GQA, 8 KV kafası | 1.1 GB | 17 GB | 10 GB | 7 GB |
| 13B40 katman, MHA, GQA yok | 6.7 GB | 35 GB | 22 GB | 15 GB |
| 34B60 katman, GQA, 8 KV kafası | 2.0 GB | 72 GB | 38 GB | 21 GB |
| 70B80 katman, GQA, 8 KV kafası | 2.7 GB | 145 GB | 75 GB | 40 GB |
| 405B126 katman, GQA, 8 KV kafası | 4.2 GB | 816 GB | 411 GB | 209 GB |
13B satırı ilginç olandır: altındaki 70B'den daha büyük bir KV önbelleği taşır. Biçimi 40 anahtar ve değer kafalı çok kafalı dikkat kullanır; daha sonraki modeller gruplu sorgu dikkati ve 8 kafa kullanır. Bu değişiklik önbelleği beş ila sekiz kat azalttı ve uzun bağlamlı sunumu erişilebilir kılan da budur. 2024 öncesinden herhangi bir şeyi boyutlandırırken parametre sayısından önce dikkat şemasını kontrol edin.
Yığın boyutu yalnızca KV önbelleğini çarpar, başka bir şeyi değil. Aynı 70B, yığın 32'de 70 GB ağırlığa 85 GB önbellek ekler; bu nedenle bir uç nokta, tek seferde tek istekten çok daha fazla bellek gerektirir. Servis boyutlandırma LLM çıkarımı için GPU sayfasındadır.
Uzun bağlamda KV önbelleği ne kadar VRAM kullanır?
Token sayısıyla doğrusal ve yığınla doğrusal. 128k'da önbellek ağırlıklardan daha pahalıya mal olabilir.
| Model biçimi | Token başına KV | 8k | 32k | 128k |
|---|---|---|---|---|
| 7B, 32 katman, GQAKV genişliği 1,024 | 0.13 MB | 1.1 GB | 4.3 GB | 17.2 GB |
| 13B, 40 katman, MHAKV genişliği 5,120 | 0.82 MB | 6.7 GB | 26.8 GB | 107.4 GB |
| 34B, 60 katman, GQAKV genişliği 1,024 | 0.25 MB | 2.0 GB | 8.1 GB | 32.2 GB |
| 70B, 80 katman, GQAKV genişliği 1,024 | 0.33 MB | 2.7 GB | 10.7 GB | 42.9 GB |
| 405B, 126 katman, GQAKV genişliği 1,024 | 0.52 MB | 4.2 GB | 16.9 GB | 67.6 GB |
Buranın önem kazandığı yer.
FP8'de bir 70B, 8k'da 80 GB'lık bir karta 5 GB boşlukla sığar. 32k'ya çıkardığınızda yalnızca önbellek 10.7 GB olduğundan sığmaz. Bu nedenle 141 GB H200 SXM ve 192 GB MI300X birer ürün olarak vardır. H100 SXM'den daha fazla bağlam tutarlar; bu, daha hızlı olmaktan farklı bir şeydir.
Bir modeli ince ayar yapmak için ne kadar VRAM gerekir?
Tam ince ayar parametre başına kabaca 16 bayta mal olur. LoRA 2'ye, QLoRA 0.5'e mal olur. Bu üç sayı arasındaki fark bütün karardır.
Adam ile tam ince ayar parametre başına beş şey tutar: BF16 ağırlıklar (2 bayt), BF16 gradyanlar (2), bir FP32 ana kopya (4) ve Adam'ın birinci ve ikinci momentleri (her biri 4). Aktivasyonlardan önce parametre başına 16 bayt eder. LoRA tabanı dondurur; böylece dondurulmuş model için parametre başına 2 bayt ve yalnızca adaptörde, tipik olarak parametrelerin yüzde yarımı kadar, optimize edici durumu için ödeme yaparsınız. QLoRA o dondurulmuş tabanı 4 bite nicemler; böylece parametre başına 0.5 bayta mal olur ve adaptör değişmez.
| Model | Tam FT, ağırlıklar + Adam | Tam FT, aktivasyonlarla | LoRA | QLoRA |
|---|---|---|---|---|
| 7B | 112 GB | 129 GB | 21 GB | 10 GB |
| 13B | 208 GB | 239 GB | 33 GB | 14 GB |
| 34B | 544 GB | 626 GB | 79 GB | 28 GB |
| 70B | 1,120 GB | 1,288 GB | 156 GB | 51 GB |
| 405B | 6,480 GB | 7,452 GB | 856 GB | 249 GB |
Tam ince ayar sütunu saf rakamdır, her şey GPU'larda yerleşiktir. Optimize edici durumunu ana belleğe boşaltan ZeRO aşama 3, GPU tarafı gereksinimini önemli ölçüde azaltır ve 8 yollu düğümlerimiz tam olarak bunun için 2 TB ana RAM taşır. Boşaltma, VRAM karşılığında PCIe bant genişliğini takas eder; yani çalıştırmayı hızlı olmaktan çok mümkün kılar. Yöntem seçimi ince ayar için GPU sayfasındadır.
Son iki sütunu ilkine karşı okuyun. 70B tam ince ayar, $11,450'ya sekiz kartlı bir düğüm ister. Aynı 70B QLoRA altında 51 GB ister; bu da ayda $990'a bir A100 SXM 80GB demektir. Bu, daha kötü ama nadiren on iki kat daha kötü olan bir yöntem için on iki kat farktır. Bu soruyu soran çoğu kişiye tam ince ayar rakamı verilmiştir ve buna ihtiyacı yoktur.
70B veya başka bir boyuttaki model için hangi GPU gerekir?
Kenarda model boyutu, üstte yöntem. Her hücre gereken VRAM'i ve bunu taşıyan filomuzdaki en ucuz şeyi gösterir.
| Model | Çıkarım BF16 | Çıkarım FP8 | Çıkarım INT4 | QLoRA | LoRA | Tam ince ayar |
|---|---|---|---|---|---|---|
| 7B | 17 GBRTX A5000 $190 | 10 GBL4 $250 | 7 GBRTX A5000 $190 | 10 GBRTX A5000 $190 | 21 GBRTX A5000 $190, sıkı | 129 GBMI300X $1,590 |
| 13B | 35 GBA40 $240 | 22 GBL4 $250, sıkı | 15 GBRTX A5000 $190 | 14 GBRTX A5000 $190 | 33 GBA40 $240 | 239 GB4× A100 $3,643 |
| 34B | 72 GBA100 SXM $990 | 38 GBRTX 6000 Ada $460 | 21 GBRTX A5000 $190, sıkı | 28 GBA40 $240 | 79 GBA100 SXM $990, sıkı | 626 GB8× A100 $7,130, sıkı |
| 70B | 145 GBMI300X $1,590 | 75 GBH100 PCIe $1,490 | 40 GBA40 $240 | 51 GBA100 SXM $990 | 156 GBMI300X $1,590 | 1,288 GB8× MI300X $11,450 |
| 405B | 816 GB8× MI300X $11,450 | 411 GB8× MI300X $11,450 | 209 GB8× A40 $1,728 | 249 GB8× A40 $1,728 | 856 GB8× MI300X $11,450 | 7,452 GBbeş düğüm, fiyat teklifiyle |
Bakılacak hücre INT4'te 70B'dir: 40 GB, ayda $240'a A40 48GB tarafından taşınır. Bir hile değil, yalnızca dört bit nicemlemenin ve 48 GB GDDR6'nın satın aldığı şeydir. Bunun için neyi feda ettiğinizi bölüm 07 açıklar. Tek bir 8 yollu düğümü aşan her şey kart değil küme sorusudur ve çoklu GPU küme kiralama sayfasına aittir.
Dolar başına en fazla VRAM'ı hangi GPU verir?
Aylık fiyatın VRAM gigabaytlarına bölümü ve bellek bant genişliğinin aylık fiyata bölümü. İkisini de kimse yayınlamaz. İkisi de bir TFLOPS rakamından daha çok satın almayı belirler.
| GPU | VRAM | Bant genişliği | Aylık | $/GB/ay | GB/s başına $/ay | GPU-saati başına |
|---|---|---|---|---|---|---|
| MI300XHBM3, CDNA 3 | 192 GB | 5.3 TB/s | $1,590/ay | $8.28 | 3.33 | $2.21 |
| B200HBM3e, Blackwell, 2 GPU minimumu | 180 GB | 8 TB/s | $3,890/ay | $21.61 | 2.06 | $5.40 |
| H200 SXMHBM3e, Hopper | 141 GB | 4.8 TB/s | $2,290/ay | $16.24 | 2.10 | $3.18 |
| H100 SXMHBM3, NVLink 900 GB/s | 80 GB | 3.35 TB/s | $1,690/ay | $21.13 | 1.98 | $2.35 |
| H100 PCIeHBM2e | 80 GB | 2 TB/s | $1,490/ay | $18.63 | 1.34 | $2.07 |
| A100 SXMHBM2e, FP8 yok | 80 GB | 2.04 TB/s | $990/ay | $12.38 | 2.06 | $1.38 |
| L40SGDDR6 ECC, FP8 | 48 GB | 864 GB/s | $520/ay | $10.83 | 1.66 | $0.72 |
| RTX 6000 AdaGDDR6 ECC, FP8 | 48 GB | 960 GB/s | $460/ay | $9.58 | 2.09 | $0.64 |
| RTX A6000GDDR6 ECC, FP8 yok | 48 GB | 768 GB/s | $290/ay | $6.04 | 2.65 | $0.40 |
| A40GDDR6 ECC, FP8 yok | 48 GB | 696 GB/s | $240/ay | $5.00 | 2.90 | $0.33 |
| RTX 5090GDDR7, FP8 | 32 GB | 1.79 TB/s | $540/ay | $16.88 | 3.31 | $0.75 |
| RTX 4090GDDR6X, FP8 | 24 GB | 1.01 TB/s | $390/ay | $16.25 | 2.59 | $0.54 |
| L4GDDR6, FP8, 72 W | 24 GB | 300 GB/s | $250/ay | $10.42 | 1.20 | $0.35 |
| RTX 3090GDDR6X, FP8 yok | 24 GB | 936 GB/s | $230/ay | $9.58 | 4.07 | $0.32 |
| RTX A5000GDDR6 ECC, FP8 yok | 24 GB | 768 GB/s | $190/ay | $7.92 | 4.04 | $0.26 |
İki sütunu iki farklı kart kazanır; bu nedenle ikisi de yayınlanır. A40 bir gigabaytı ayda $5.00'a tutar; bu, aynı 48 GB için L40S'in istediğinin yarısından azdır, çünkü arkasında 696 GB/s olan 2020 tarihli bir karttır. RTX 3090 dolar başına 4.07 GB/s verir; bu, H100 SXM'in iki katından fazladır, çünkü hızlı veri yollu ve düşük kiralı eski bir tüketici kartıdır. İkisi de buradaki en iyi kart değildir. İkisi de belirli bir soruyu doğru yanıtlar.
MI300X aykırı değerdir. Gigabayt başına $8.28 ile bir A100, H100 veya H200'den daha ucuz bellektir ve arkasında 5.3 TB/s vardır; yukarıdaki büyük model hücrelerini doldurmasının nedeni budur. Maliyeti CUDA yerine ROCm'dur: vLLM ve PyTorch çalışır, elle yazılmış bir CUDA çekirdeği çalışmaz.
Daha fazla VRAM her zaman doğru cevap mı?
Hayır. Kapasite satın almanın yanlış olduğu üç durum; her biri için hesap.
Darboğaz bellek bant genişliğidir, kapasite değil
Bir token kod çözmek, yerleşik her ağırlığı VRAM'dan bir kez okur. Tek akışta saniye başına token sayısı için sert bir üst sınır elde etmek üzere bant genişliğini modelin yerleşik boyutuna bölün. BF16'da bir 7B 14 GB'tır; bu nedenle 696 GB/s'lik bir A40 saniyede 50 tokenı geçemez ve 1.79 TB/s'lik bir RTX 5090 128'i geçemez. İkisi de modele sığar. Biri bu işte 2.6 kat daha hızlıdır.
Küçük kartta nicemlenmiş model, büyük kartta tam hassasiyeti yener
BF16'da bir 34B toplamda 72 GB'tır ve $990'a bir A100 gerektirir: 68 GB ağırlık üzerinde 2.04 TB/s, saniyede 30 token üst sınırı verir. Aynı 34B INT4'te toplamda 21 GB'tır ve $390'a bir RTX 4090'a sığar: 17 GB ağırlık üzerinde 1.01 TB/s, 59 üst sınırı verir. Daha hızlı ve %61 daha ucuz. Vazgeçtiğiniz şey nicemlenmiş ağırlıklardaki kalitedir; bu da varsaymak yerine değerlendirilecek bir şeydir.
İki ucuz kart, bazen
İki A40, bir A100'ün 80 GB'ına karşılık $990'a karşın $456'ya ayda 96 GB verir. Daha fazla bellek, fiyatın yarısından az. Kart başına bir kopya ile yığın çıkarımı, QLoRA ve düşük eşzamanlılıkta katman-bölmeli sunum için çalışır. Tensör paralelliği altında ve all-reduce içeren herhangi bir eğitim adımında başarısız olur, çünkü kartlar arasındaki bağlantı satın almadığınız parçadır.
NVLink meselesi, kesin olarak ifade edildi.
Bir H100 SXM komşularıyla NVLink üzerinden 900 GB/s ile konuşur. Bir A40 veya RTX A6000 çifti 112 GB/s ile bir NVLink köprüsü alır. L40S'in NVLink'i yoktur ve veriyi PCIe Gen4 eşler arası üzerinde kabaca 32 GB/s hat hızıyla taşır. RTX 5090'ın da NVLink'i yoktur, ancak bağlantısı Gen5 olduğundan kabaca 63 GB/s taşır. Bu fark, tensör-paralel bir çalıştırmada katman başına token başına bir kez ödenir.
Tensör yerine katmanlara göre bölmek bu trafiğin çoğundan kaçınır ve hiçbir şeyi yükseltmez. Token başına yine modelin her baytını okursunuz; tek başına bir kart yerine sıralı olarak iki kartta. İki kartı iki kat bant genişliğine çeviren şey tensör paralelliğidir ve hızlı bağlantıyı tam olarak gerektiren mod da budur. Bütün takas budur.
Örnekli karşılaştırma
- 2× RTX 5090
- 64 GB, toplam 3.58 TB/s, $1,026/ay, PCIe Gen5 eşler arası
- 1× H100 SXM
- 80 GB, 3.35 TB/s, $1,690/ay, tek bellek alanı
- Karar
- Çift kağıt üzerinde kazanır; kart başına 32 GB'a sığmayan her modelde kaybeder
Bu sayfanın sizi başka yere yönlendirmesi gereken durumlar.
En kısa süremiz yedi gündür. Bir 13B'nin 24 GB'a sığıp sığmadığını kontrol etmek için bir öğleden sonraya karta ihtiyacınız varsa saatlik bir sağlayıcı kullanın: orada birkaç saat, burada bir RTX A5000 için $55'lik minimum haftadan daha ucuza gelir. Saat satmıyoruz ve böyle bir planımız yok.
Hız açısından sığma değil de iki kart arasında seçim yapıyorsanız tablo okumayı bırakın ve yığınınızı ikisinde de çalıştırın. Buradaki her şey kapasite aritmetiği ve bant genişliği üst sınırıdır. İkisi de çekirdeklerinizin, yığın biçiminizin ve zamanlayıcınızın ne yapacağını öngörmez; kaynak gösteremeyeceğimiz bir verim rakamıyla aksini iddia etmeyiz.
405B tam ince ayarı için 6,480 GB gerekiyorsa, size bir kiralama sayfası değil; bir küme, bir kumaş ve bir plan gerekir. DFW-1 Dallas, IAD-1 Ashburn veya PDX-1 Hillsboro'daki çok düğümlü kapasite için satışa sorun ve fiyattan önce ara bağlantı hakkında bir konuşma bekleyin.
- Öğrenme, 13B'ye kadar herhangi bir model
- RTX A5000 24 GB, $190/ay
- Üretimde 24B ila 34B sunmak
- L40S 48 GB, $520/ay
- $600 altındaki en hızlı tek kart
- RTX 5090 32 GB, $540/ay
- INT4'te en ucuz 70B
- A40 48 GB, $240/ay
- Tek kartta BF16'da 70B
- MI300X 192 GB, $1,590/ay
- 70B'de uzun bağlam
- H200 SXM 141 GB, $2,290/ay
Bir kez yatırın, yaklaşık doksan saniyede dağıtın; e-posta adresi ve kimlik belgesi gerekmez. Bkz. KYC'siz GPU barındırma ve kripto ödemesi nasıl çalışır.
VRAM soruları, insanların sorduğu şekilde sorulmuş.
70B model çalıştırmak için ne kadar VRAM gerekir?
7B model için ne kadar VRAM gerekir?
KV önbelleği boyutunu nasıl hesaplarım?
24 GB VRAM bir modeli ince ayar yapmak için yeterli mi?
405B model için hangi GPU gerekir?
İki 24 GB kart, tek bir 48 GB kart gibi çalışır mı?
Gigabayt başına en ucuz VRAM hangi GPU'da?
INT4'e nicemlemek çıktı kalitesini düşürür mü?
İş yüküne özel boyutlandırma LLM çıkarımı için GPU ve ince ayar için GPU sayfalarında. Tam özellikler, stok ve fiyatlar GPU kataloğunda.
Sayıyı biliyorsunuz. Şimdi kartı seçin.
DFW-1, IAD-1 ve PDX-1'de on beş model; ayda $190'dan başlar, haftalık veya aylık, yedi koin ile kimlik kontrolü olmadan ödeme.