GPU Rent Hubİnce ayar için GPU

İnce ayar için GPU kiralayın; doğrulayabileceğiniz aritmetikle boyutlandırılmış.

GPU Rent Hub, ince ayar için haftalık veya aylık olarak adanmış NVIDIA ve AMD GPU'larını kiralar; 7B modelde QLoRA çalıştıran 24 GB bir kart için ayda $190'dan, NVLink bağlantılı 8× H100 SXM düğümü için ayda $12,170'e kadar. Ödeme Bitcoin, Ethereum, USDT, USDC, Monero, Solana veya Litecoin ile kimlik doğrulaması olmadan yapılır.

Updated 2026-09-01

112 GB7B tam ince ayar, Adam, aktivasyonlardan önce

10 GBAynı model QLoRA altında

900 GB/sH100 SXM ve H200'de NVLink

72 saÖdenmemiş yenilemede tanınan süre

01 Tanım

İnce ayar gerçekte ne kadar GPU belleği gerektirir?

İnsanların yanlış anladığı kısım burasıdır ve hangi kartı kiralayacağınıza karar veren tek kısımdır.

İnce ayar belleği tek paragrafta. Adam iyileştirici ile tam ince ayar, parametre başına yaklaşık 16 bayta mal olur: BF16 ağırlıklar için 2, gradyanlar için 2, FP32 ana kopya için 4 ve Adam'ın iki moment durumu için 4'er bayt. Bu nedenle 7B'lik bir model, tek bir aktivasyon saklanmadan önce kabaca 112 GB gerektirir; bu ne 24 GB bir karta ne de 80 GB bir karta sığar. LoRA taban ağırlıkları dondurur ve küçük adaptör matrislerini eğitir; böylece fatura, parametre başına 2 bayttan donmuş tabana ve birkaç yüz megabaytlık adaptör ve iyileştirici durumuna düşer: 7B için yaklaşık 21 GB. QLoRA bu donmuş tabanı 4 bite, parametre başına 0,5 bayta nicemler ve aynı adaptörleri eğitir: 7B için yaklaşık 10 GB, 70B için yaklaşık 51 GB.

Bu üç rakam ve aşağıdaki tablodaki her biri, GPU VRAM rehberinin varsayımlarına dayanır: gradyan kontrol noktası açık, dizi uzunluğu 2.048, yığın 1, parametrelerin yaklaşık %0,5'i kadar rank-16 adaptörü ve çalışma zamanı ek yükü payı zaten dahil. Dizi uzunluğunu veya yığını artırın; aktivasyonlar bunun üzerine büyür.

16 nereden geliyor

Bir eğitim döngüsünde hiçbir şey modeli yalnızca bir kez saklamaz. Ağırlıklar, aynı şekle sahip bir gradyan, FP32 ana kopya ve parametre başına Adam'ın ortalama ile varyansı. Hiçbir çerçeve bunu ortadan kaldıramaz.

LoRA neyi kaldırır

Adaptörler dışındaki her şey için gradyanı ve her iki iyileştirici durumunu kaldırır. Donmuş taban yine de bellekte yerleşik olmak zorundadır; bu yüzden BF16 7B üzerinde LoRA, başka her şeyden önce hâlâ 14 GB'tır. QLoRA yerleşikliğe saldırır, iyileştiriciye değil.

02 Boyutlandırma

7B, 13B veya 70B modelde ince ayar için hangi GPU'ya ihtiyacım var?

Model, yöntem ve onu tutan kart karşılaştırması; VRAM değerleri VRAM rehberinden alınmıştır. GPU-saati başına değer, aylık tutarın 720'ye bölümüdür.

Model ve yöntem	Gereken VRAM	Sığan kart	Kart VRAM	Haftalık	Aylık	GPU-saati başına
7B, QLoRA4-bit taban, rank 16	10 GB	RTX A5000	24 GB	$55	$190/ay	$0.26
13B, QLoRA4-bit taban	14 GB	RTX 3090	24 GB	$65	$230/ay	$0.32
7B, LoRAYerleşik tutulan BF16 taban	21 GB	RTX 4090	24 GB	$110	$390/ay	$0.54
34B, QLoRA4-bit taban	28 GB	A40	48 GB	$68	$240/ay	$0.33
13B, LoRABF16 taban	33 GB	L40S	48 GB	$148	$520/ay	$0.72
70B, QLoRA35 GB 4-bit ağırlık	51 GB	A100 SXM	80 GB	$280	$990/ay	$1.38
34B, LoRABF16 taban, tek kart	79 GB	MI300X	192 GB	$450	$1,590/ay	$2.21
7B, tam ince ayarAdam, parametre başına 16 bayt	129 GB	2× A100 SXMNVLink 600 GB/s, en ucuz CUDA yolu	160 GB	$532	$1,881/ay	$1.31
70B, LoRABF16 taban, tek kart	156 GB	1× MI300Xparçalama gerekmez	192 GB	$450	$1,590/ay	$2.21
70B, tam ince ayarDüğüm genelinde ZeRO-3	1,288 GB	8× MI300XInfinity Fabric 896 GB/s	1,536 GB	$3,240	$11,450/ay	$1.99

Gereken VRAM, GPU VRAM rehberinin o model ve yöntem için türettiği değerdir; dizi uzunluğu 2.048, yığın 1, gradyan kontrol noktası açık ve çalışma zamanı ek yükü payı zaten içindedir. İki kartlı fiyat %5 çoklu GPU indirimini içerir; sekiz kartlı rakam düğüm fiyatıdır. GPU-saati başına değer, aylık toplamın 720 saate ve kart sayısına bölümüdür. İki MI300X satırı yalnızca DFW-1 Dallas içindir ve CUDA yerine ROCm çalıştırır. Bunlar işi üzerinde çalıştıracağımız kartlardır; VRAM rehberindeki arama, yalnızca onu tutan en ucuz kartı adlandırır; bu yüzden buradaki bir satır bazen daha pahalı kart olur. İki satır ayrışır ve her ikisinin de bir nedeni vardır. 7B LoRA satırı, aynı 24 GB'ta rehberin RTX A5000'i yerine RTX 4090'ı alır; çünkü 768'e karşı 1.008 GB/s bant genişliği her adımı kısaltır. 7B tam ince ayar satırı, en ucuz CUDA ve NVLink yolu olarak iki A100 SXM alır; oysa tek bir 192 GB MI300X aynı 129 GB'ı ROCm üzerinde ayda $1,590'a tutar. Özellikler GPU kataloğunda.

Sekizinci satırı altıncı satırla karşılaştırın. 7B'nin tam ince ayarı, 70B üzerinde QLoRA'nın maliyetinin yaklaşık iki katıdır. Çoğu insan için yapılması gereken iş bu değildir.

03 Seçim

Yalnızca birini seçecek olsaydınız, eğitim için hangi GPU'yu kiralamalısınız?

Fiyata göre değil, çok haftalı bir çalıştırma için dağıtacağımız şeye göre sıralandı. Stok DFW-1 Dallas, IAD-1 Ashburn ve PDX-1 Hillsboro genelindedir.

GPU	VRAM	Ara bağlantı	Haftalık	Aylık	GPU-saati başına	Şu an boşta
H100 SXM SeçimHBM3, 3.35 TB/s, FP8	80 GB	NVLink 900 GB/s	$475	$1,690/ay	$2.35	63
A100 SXMHBM2e, 2.04 TB/s, FP8 yok	80 GB	NVLink 600 GB/s	$280	$990/ay	$1.38	78
H200 SXMHBM3e, 4.8 TB/s	141 GB	NVLink 900 GB/s	$640	$2,290/ay	$3.18	19
MI300XROCm 6.4, 5.3 TB/s	192 GB	Infinity Fabric 896 GB/s	$450	$1,590/ay	$2.21	8
L40SGDDR6 ECC, FP8	48 GB	PCIe Gen4 eşler arası	$148	$520/ay	$0.72	74
RTX A6000GDDR6 ECC, 768 GB/s	48 GB	NVLink köprüsü 112 GB/s, çiftler	$82	$290/ay	$0.40	65
RTX 3090GDDR6X, 936 GB/s	24 GB	NVLink köprüsü 112 GB/s, çiftler	$65	$230/ay	$0.32	186
RTX A5000GDDR6 ECC, 230 W	24 GB	NVLink köprüsü 112 GB/s, çiftler	$55	$190/ay	$0.26	51

Şu an boşta, son katalog güncellemesinde üç sahadaki rezerve edilmemiş kart sayısıdır. Her fiyata güç, soğutma, 10G garantili 100G uplink, IPv4 ve IPv6 ile ayda 20 TB giden trafik dahildir. Çok kartlı ve ön ödemeli indirimler fiyatlandırma sayfasında.

H100 SXM seçimdir: kiraladığımız, 80 GB HBM3'ü, FP8 tensör çekirdeklerini ve 900 GB/s NVLink'i tek parça numarasında sunan en ucuz kart. A100 SXM 80 GB ise $990'da değer cevabıdır; FP8 yok, aynı NVLink topolojisi, fiyatın %59'u.

04 Ara bağlantı

Neden NVLink tek kartın üzerinde önemlidir?

Çünkü parçalı bir çalıştırma her adımda kartlar arasında gradyanları taşır ve bağlantı, bunun ne kadar hızlı olduğunun tabanıdır.

Tek GPU'da ara bağlantı önemsizdir. ZeRO-2, ZeRO-3 veya tensör paralelliği ile parçaladığınız anda kartlar her adımda gradyanları veya parametre parçalarını değiştirir ve bu trafik model boyutunun sabit bir katıdır. PCIe Gen4 x16 tek yönde yaklaşık 32 GB/s, Gen5 ise yaklaşık 63 GB/s hat hızına sahiptir. H100 SXM üzerindeki NVLink 900 GB/s'dir. Aradaki fark, hesaplamanın arkasına gizlenen bir iletişim adımı ile adımın kendisine dönüşen arasındaki farktır.

Kural: tek kartlı LoRA veya QLoRA yeterli VRAM'e sahip her şeyde çalışır, veri paralel eğitim PCIe'yi tolere eder ve modeli parçalayan her şey NVLink ister. Dört kartın üzerinde NVSwitch ister; bunu çoklu GPU küme kiralama sayfasındaki 8 yollu HGX düğümleri taşır.

RTX 4090 ve RTX 5090'da NVLink yoktur. NVIDIA, Ampere'den sonra tüketici serisinden kaldırdı. Bunlar güçlü tek kart eğitim GPU'larıdır ve tek kartın üzerinde gerçek bir kısıttır; bunu sekiz tane satın aldıktan sonra değil, burada söylemeyi tercih ederiz.

A6000, A40, RTX 3090 ve RTX A5000 NVLink köprüsü alır; ancak yalnızca çiftler hâlinde ve yalnızca 112 GB/s hızında. İki 48 GB kartı 96 GB'a birleştirmek için kullanışlıdır. Bir doku değildir.

Kart	Kartlar arası bağlantı	Bant genişliği	Parçalı eğitim
B2002, 4 veya 8 yollu	NVSwitch ile NVLink 5	1.8 TB/s	Evet, 8 karta kadar
H100 SXM, H200 SXM	NVSwitch ile NVLink	900 GB/s	Evet, 8 karta kadar
A100 SXM	NVSwitch ile NVLink	600 GB/s	Evet, 8 karta kadar
MI300X	Infinity Fabric	896 GB/s	Evet, yalnızca 8 yollu
H100 PCIe	Opsiyonel NVLink köprüsü	600 GB/s	Çiftler
A6000, A40, 3090, A5000	NVLink köprüsü	112 GB/s	Çiftler
L40S, RTX 6000 Ada, L4	PCIe Gen4 eşler arası	~32 GB/s	Yalnızca veri paralel
RTX 4090, RTX 5090	PCIe eşler arası, NVLink yok	~32 / ~63 GB/sGen4 x16 / Gen5 x16	Tek kart

Satıcının yayınladığı GPU başına toplam bağlantı bant genişliği. PCIe rakamları tek yönde x16 bağlantı için hat hızlarıdır; 4090'da Gen4 ve 5090'da Gen5'tir; ölçülen aktarım hızı değildir ve daha düşük gerçekleşir.

05 Vade

Bir eğitim çalıştırması için neden aylık vade doğru biçimdir?

İnce ayar, faturalama modelinin ve işin birbiriyle uyuştuğu iş yüküdür.

Kontrol noktası sıklığı sizindir

Önceliklendirilebilir kapasitede savunmacı kontrol noktaları alırsınız; çünkü aralık tahliyeye karşı bir korunmadır. Vadeli kiralamada bu bir kurtarma kararıdır: kayıp eğrisi hak ediyorsa her bin adımda bir yazın ya da her on bin adımda bir.

H100 SXM'de 2 TB yerel NVMe

Bir ince ayar nadiren tek çalıştırmadır

Öğrenme oranı taraması, veri ablasyonu ve değerlendirme hayal kırıklığından sonra yeniden çalıştırma, tek bir rezervasyonda değil iki haftaya yayılan üç çalıştırmadır daha. Sabit vadede her biri ekstra maliyet getirmez.

Aynı kart, aynı ortam, yeniden sağlama yok

Tahliye edilemez

60. saatte bir tahliye, son kontrol noktasından bu yana geçen süreyi, yeniden kuyruğa girme beklemesini ve veri kümesinin yeniden yüklenmesini kaybettirir. Vade önceliklendirilemez; çünkü kart için kuyrukta başka kimse yoktur.

Tek kiracılı çıplak metal, root erişimi

Veri kümesi yerleşik kalır

Çalıştırmalar arasında çalışma kümesi yerel NVMe'de durur; H100 SXM'de 2 TB, A100'de 1 TB. Böylece ikinci tarama indirme yerine ilk adımdan başlar.

İlkinden sonra soğuk başlatma yok

Sayaçlı kullanıma karşı başabaş hesabı aylık ve saatlik GPU kiralama sayfasındadır; vade almadan önce okumaya değer. Eğitime özgü olan şey, taramaların ve yeniden yüklemelerin de GPU-saati sayılmasıdır; bu yüzden başabaşı test etmeniz gereken kullanım rakamı tek çalıştırma değil, iki haftadır.

06 Kontrol noktaları

Kontrol noktaları nereye gider ve vade sonunda ne kalır?

İyileştirici durumuyla bir 70B kontrol noktası bir terabaytın üzerindedir. Nereye yazılacağına 4.000. adımdan önce karar verin.

Yerel NVMe: Dahildir: H100 SXM ve H200'de 2 TB, A100 SXM'de 1 TB, L40S ve A6000'de 500 GB. Örnek başına LUKS2 ile şifrelenir; vade bitiminden yedi gün sonra silinir.
Ek yerel NVMe: Aylık TB başına $9, düğümde 30 TB'a kadar. Aynı ana bilgisayar, aynı şifreleme.
Ağ birimi: Aylık TB başına $14, bölgede üç kopyalı, birden çok örneğe bağlanabilir, serbest bırakıldıktan sonra kalıcıdır.
Anlık görüntüler: Aylık TB başına $6. Bölgedeki herhangi bir örneğe geri yüklenebilir; bir çalıştırma A100'den H100'e veri kümesini yeniden yüklemeden böyle taşınır.
Dışarı çekmek: Örnek başına ayda 20 TB giden trafik dahildir; sonrasında TB başına $4. Bir adaptör seti bu sınıra asla yaklaşmaz.

Çalıştırma vadeyi aşarsa

Yenileme emri aynı fiyattan 24 saat önce oluşturulur. Ödenmezse örnek vade sonunda durur; BTC, ETH, USDT, USDC, XMR, SOL veya LTC ile öderken yuva 72 saat tutulur. Disk dokunulmaz. Bundan sonra yuva serbest bırakılır ve NVMe anahtarı yok edilir.

Her kontrol noktasını iki kez yazın: hız için yerel NVMe'ye, kalıcılık için ağ birimine. Ağ birimi, vadeden sonra yaşayan tek kopyadır.

BTCETHUSDTUSDCXMRSOLLTC

Donanım DFW-1, IAD-1 ve PDX-1'de bulunur. Hesap bir kullanıcı adı ve paroladır: bkz. KYC'siz GPU barındırma ve kripto ile nasıl ödeme yapılır.

07 Dürüstlük

Bizden ne zaman ince ayar GPU'su kiralamamalısınız?

Üç durum; bunları yazmayı tercih edecek kadar yaygındır.

İş altı saat süren tek bir deneyse saatlik bir sağlayıcı kullanın. En kısa vademiz yedi gündür. Bir öğleden sonralık QLoRA için bir aylık H100 SXM $1,690 tutar ve ödediğiniz $1,690'ın yaklaşık $18'ını kullanırsınız.

İkincisi kartı gereğinden büyük almaktır. Pek çok kişi 10 GB gerektiren QLoRA ile 7B ince ayarı için H100 kiralar. O iş $190'lık RTX A5000'de çalışır; daha yavaştır ama dokuz kat daha yavaş değildir. Bölüm 02'deki tablodan boyutlandırın; eğitiyor olmayı dilediğiniz modelden değil.

Üçüncüsü, iki günlüğüne 32 veya 64 kart gerektiren ve bir daha gerekmeyecek bir çalıştırmadır. Sekiz karta kadar düğüm satıyoruz; ötesinde sayaçlı küme sağlayıcısı daha uygundur.

Şu durumda saatlik kiralayın

Aylık toplamınız kabaca 480 ila 680 GPU-saatinin altındaysa; bu, bir aylık H100 SXM için $1,690'ın örnek olarak $2.49 ila $3.49'luk bir sayaçla buluştuğu noktadır ya da adımınızı sürelemek için A100 SXM ve H100 SXM üzerinde birer saat istiyorsanız.

Şu durumda vadeli kiralayın

Çalıştırma haftalarla ölçülüyorsa, veri kümesini yeniden yüklemek can acıtıyorsa, spot kapasiteden bir kez tahliye edildiyseniz veya kimlik kontrolü olmadan kripto ile ödemek istiyorsanız.

08 Sorular

İnce ayar için GPU kiralamak, açıkça soruldu.

7B bir modelde ince ayar için ne kadar VRAM gerekir?

QLoRA altında yaklaşık 10 GB, BF16 tabanda LoRA altında 21 GB ve aktivasyonlar sayıldığında Adam ile tam ince ayar için 129 GB; yalnızca ağırlıklar, gradyanlar ve iyileştirici durumu için 112 GB. İlk ikisi 24 GB bir karta sığar; yani ayda $190'a bir RTX A5000. Üçüncüsü için NVLink'li iki 80 GB kart ayda $1,881 ile en ucuz CUDA yoludur; 192 GB'lık tek MI300X, ROCm yığını size uyuyorsa aynı 129 GB'ı daha ucuza $1,590'a tutar. Rakamlar GPU VRAM rehberindendir.

70B modelde tek GPU'da ince ayar yapabilir miyim?

QLoRA altında evet. 4-bit 70B taban yaklaşık 35 GB ağırlık ve adaptörler, iyileştirici durumu ve ek yük ile 51 GB'tır; bu, ayda $990'a A100 SXM 80 GB'a sığar. BF16 70B tabanda LoRA 156 GB gerektirir; bu, $1,590'a 192 GB MI300X ise hâlâ tek karttır. Tam 70B ince ayarı yaklaşık 1.288 GB gerektirir ve bir düğüm ister.

GPU belleğinde LoRA ile QLoRA arasındaki fark nedir?

LoRA taban ağırlıkları BF16'da parametre başına 2 bayt olarak dondurur ve küçük adaptör matrislerini eğitir; bu yüzden iyileştirici durumu onlarca gigabayt yerine yüzlerce megabayttır. QLoRA bu donmuş tabanı 4 bite, parametre başına 0,5 bayta nicemler. 7B modelde bu 21 GB'a karşı 10 GB'tır.

Birden çok GPU'da ince ayar için NVLink gerekir mi?

Tek kart için ve küçük modellerde veri paralel çalıştırmalar için gerekmez. Gradyanlar veya parametre parçaları her adımda kartlar arasında geçtiğinde önemlidir. H100 SXM ve H200 900 GB/s, A100 SXM 600 GB/s, B200 1.8 TB/s taşır. RTX 4090 ve RTX 5090'da NVLink yoktur; bu yüzden parçalı eğitim için önermiyoruz.

Eğitim için aylık GPU kiralamak ne kadar tutar?

A100 SXM 80 GB ayda $990'dır; 720 saatlik vadede GPU-saati başına $1.38 eder. H100 SXM $1,690 veya $2.35'tir. NVSwitch'li sekiz kartlı H100 SXM düğümü $12,170 veya $2.11'dir. QLoRA için 24 GB kart $190'dan başlar ve her kart haftalık olarak mevcuttur.

Vade sona erdiğinde kontrol noktalarıma ne olur?

Yerel NVMe vade bitiminden yedi gün sonra silinir ve şifreleme anahtarı yok edilir; bu yüzden saklamak istediğiniz her şey ayda TB başına $14'a ağ biriminde olmalıdır; bölgede üç kopyalıdır ve örnek serbest bırakıldıktan sonra kalıcıdır. Ayrıca her ay dahil olan 20 TB giden trafik üzerinden dışarı çekebilirsiniz.

Kimlik doğrulaması olmadan eğitim GPU'su kiralayabilir miyim?

Evet. Hesap bir kullanıcı adı ve paroladır. E-posta adresi, telefon numarası, kimlik belgesi veya kayıtlı kart yoktur. Vadeyi BTC, ETH, USDT, USDC, XMR, SOL veya LTC ile tek transferle ödersiniz. Örneğinizin içinde hiçbir ajan çalışmaz ve burada kimse veri kümenizi okumaz.

Bir eğitim çalıştırması için aylık GPU kiralamak saatlikten daha mı iyidir?

Haftalarla ölçülen bir çalıştırma için evet. İnce ayar kartı neredeyse her zaman meşgul tutar; bu noktada sabit vade kazanır: H100 SXM'de GPU-saati başına $2.35'e karşılık saatte $2.49 ila $3.49; bu, adı belirtilmiş bir satıcıdan alınan teklif değil, ABD'deki isteğe bağlı sağlayıcılardaki örnek bir aralıktır ve tahliye veya kuyruk yoktur. Tek bir öğleden sonra için saatlik sağlayıcı kullanın.

Boyutlandırma GPU VRAM rehberinde, topolojiler çoklu GPU küme kiralamada, sonucu sunma LLM çıkarımı için GPUda, görüntüler belgelerde.

Kartı boyutlandırın, vadeyi alın, çalıştırmayı başlatın.

24 GB'de QLoRA ayda $190'dan, NVLink H100 SXM $1,690'dan, 8 yollu düğüm $12,170'ten. Tek sipariş, tek ödeme; kimlik yok, kart yok.

Hesap oluştur →