Tek fiziksel makinede 8x H100 küme kiralama.
GPU Rent Hub, sekiz kartın tümü NVSwitch dokusu üzerinde olan tek kiracılı bir HGX sunucusu olan adanmış bir 8× H100 SXM düğümünü aylık $12,170 veya haftalık $3,420 karşılığında kiralar; ödeme kimlik doğrulaması olmadan Bitcoin, Ethereum, USDT, USDC, Monero, Solana veya Litecoin ile yapılır.
Aylık $2,810 olan 8× RTX 4090 kutusundan, $28,010 olan 8× B200 HGX ana kartına kadar dokuz düğüm yapılandırması.
Çok GPU'lu bir düğüm nedir ve bir kümeden farkı nedir?
Küme sözcüğü iki farklı ürün için kullanılır. Bunlardan yalnızca biri kartları aynı doku üzerine koyar.
Çalıştığımız tanım
Çok GPU'lu bir düğüm, tek bir kiracıya kiralanan, tüm GPU'ların tek bir ana kart üzerinde olduğu ve kartlar arasında doğrudan bir doku bulunan tek bir fiziksel sunucudur. GPU Rent Hub 8× H100 SXM düğümü bir NVIDIA HGX H100 ana kartıdır: sekiz kart, 640 GB HBM3, her karta diğer tüm kartlara 900 GB/s veren NVSwitch, 160 vCPU, 2 TB sistem RAM'i, 16 TB yerel NVMe ve iki 100G port; çıplak donanımda root ile birlikte. Ethernet üzerinden birleştirilmiş sekiz örnek değildir ve başka biriyle paylaşılan bir makinenin dilimi değildir.
Ayrım neden önemli
Sanal bir küme size her biri ayrı bir iş çalıştırabilen sekiz kart verir. Gerçek bir düğüm ise bir işi birlikte çalıştırabilen sekiz kart verir; fark, bir modeli parçaladığınız anda ortaya çıkar çünkü parçalama, kartların her katmanda birbiriyle konuşması anlamına gelir.
Düğümdeki her şey sizindir: CPU'lar, RAM, NVMe, her iki uplink ve doku. İşletim sisteminin içinde bize ait hiçbir şey çalışmaz ve stoktaki bir düğüm diğer herhangi bir örnek gibi dağıtılır.
8x H100 küme kiralaması aylık ne kadar?
Sekiz kartlı HGX H100 düğümü için aylık $12,170, GPU-saat başına $2.11. Aralığın geri kalanı, satın alındığı işe göre eşleştirilmiş.
| İş yükü | Düğüm | Toplam VRAM | Haftalık | Aylık | GPU-saat başına |
|---|---|---|---|---|---|
| 70B modellerin tensör paralel sunumu ve tek kartın sığdıramadığı eğitimBuradan başlayın | 8× H100 SXMHGX H100 · NVSwitch | 640 GB | $3,420 | $12,170/ay | $2.11 |
| Adam ile tam ince ayar veya FP8'de 405B modelİkisini de karşılayan düğümlerin en hızlı dokusu | 8× B200HGX B200 · NVSwitch 1.8 TB/s | 1,440 GB | $7,850 | $28,010/ay | $4.86 |
| KV önbelleğin baskın olduğu uzun bağlam çıkarımıKart başına 141 GB, 120B için parçalama yok | 8× H200 SXMHGX H200 · NVSwitch | 1,128 GB | $4,610 | $16,490/ay | $2.86 |
| Dolar başına en fazla HBM, ROCm-yerel yığındaGB-ay başına $7.45 | 8× MI300XInfinity Fabric · 896 GB/s | 1,536 GB | $3,240 | $11,450/ay | $1.99 |
| Bütçeyle çok haftalık eğitim koşularıNVLink nesli geride, fiyatın yarısı | 8× A100 SXM 80GHGX A100 · NVSwitch 600 GB/s | 640 GB | $2,020 | $7,130/ay | $1.24 |
| Dört yollu tensör paralelliği, düğümün yarısıAynı doku, daha küçük taahhüt | 4× H100 SXMNVLink · 900 GB/s | 320 GB | $1,750 | $6,220/ay | $2.16 |
| Sekiz bağımsız çıkarım kopyasıKart başına bir model, FP8 desteği | 8× L40SPCIe Gen4 eşler arası | 384 GB | $1,070 | $3,740/ay | $0.65 |
| Paralel difüzyon ve video kuyruklarıKart başına 1.79 TB/s | 8× RTX 5090PCIe Gen5 eşler arası | 256 GB | $1,120 | $3,890/ay | $0.68 |
| Render çiftliği, kart başına bir toplu işSekiz kart tutmanın en ucuz yolu | 8× RTX 4090PCIe Gen4 eşler arası | 192 GB | $790 | $2,810/ay | $0.49 |
GPU'ların yanında düğümle birlikte ne gelir?
Buradaki her rakam kart başına değil düğüm başınadır ve tamamı size adanmıştır.
| Düğüm | Toplam VRAM | vCPU | RAM | NVMe | Ağ | Bölgeler |
|---|---|---|---|---|---|---|
| 8× B200HGX B200 | 1,440 GB | 224 | 2 TB | 24 TB | 2 × 100G | DFW-1 |
| 8× H200 SXMHGX H200 | 1,128 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1 |
| 8× H100 SXMHGX H100 | 640 GB | 160 | 2 TB | 16 TB | 2 × 100G | DFW-1, IAD-1, PDX-1 |
| 4× H100 SXMYarım ana kart | 320 GB | 80 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× MI300XAMD Instinct platformu | 1,536 GB | 192 | 2 TB | 16 TB | 2 × 100G | DFW-1 |
| 8× A100 SXM 80GHGX A100 | 640 GB | 128 | 1 TB | 8 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× L40SPCIe Gen4 | 384 GB | 128 | 752 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 5090PCIe Gen5 | 256 GB | 96 | 496 GB | 4 TB | 100G | DFW-1, IAD-1, PDX-1 |
| 8× RTX 4090PCIe Gen4 | 192 GB | 64 | 376 GB | 2 TB | 100G | DFW-1, IAD-1, PDX-1 |
NVSwitch düğümü ile PCIe düğümü arasındaki fark nedir?
Yukarıdaki tabloda iki makine grubu var ve aralarındaki fark yaklaşık bire otuz.
NVSwitch ve NVLink
HGX platformlarında her kart, H100 ve H200 düğümlerinde 900 GB/s, B200 düğümünde 1.8 TB/s ve A100 düğümünde 600 GB/s hızla diğer tüm kartlara erişir. MI300X platformu aynı işi 896 GB/s hızla Infinity Fabric ile yapar. Yolda hiçbir CPU oturmaz.
Tensör paralelliğini gerçekçi kılan bu bant genişliğidir. Tek bir modeli sekiz karta bölmek, her katmanda yüzlerce kez ileri geçiş başına bir all-reduce anlamına gelir; bağlantı yavaşsa kartlar zamanlarını aritmetik yerine bu alışverişi bekleyerek geçirir.
PCIe eşler arası
L40S, RTX 5090 ve RTX 4090 düğümlerinde NVLink yoktur. Kartlar PCIe üzerinden konuşur: Gen4 x16 bağlantıda tek yönde yaklaşık 32 GB/s, Gen5'te yaklaşık 63 GB/s; bu, kök kompleksinden geçen diğer her şeyle paylaşılır. Bir H100 SXM kartının 900 GB/s hızına karşılık bu, kabaca bant genişliğinin yirmi sekizde biridir.
Pratikte bu, kart başına bir model anlamına gelir. Veri paralel eğitim, yük dengeleyici arkasında sekiz çıkarım kopyası, sekiz render işi: hepsi uygundur. PCIe düğümünde 8 yollu tensör paralel parça mümkündür ama yavaştır ve duvar saati süresi, düğümün tasarruf ettirdiğinden daha pahalıya mal olur.
Modeliniz için çok GPU'lu bir düğümün ne kadar VRAM'e ihtiyacı var?
Önce parametre başına bayt sayın. Neredeyse her düğüm kararı bu tek sayıdan çıkar.
Boyutlandırma kuralı
Ağırlıklar FP8'de parametre başına 1 bayt, BF16'da 2 bayt yer kaplar. Bir modeli sunmak için KV önbelleği ve yaklaşık 2 GB çalışma zamanı ek yükü ekleyin. BF16'da Adam ile tam ince ayar yapmak için parametre başına yaklaşık 16 bayt ayırın: ağırlıklar için 2, gradyanlar için 2 ve optimize edici durumu ile FP32 ana kopya için 12. VRAM rehberinin rakamlarına göre 70B, FP8'de sunmak için 75 GB, BF16'da 145 GB, LoRA için 156 GB ve aktivasyonlar sayıldığında tam ince ayar için 1,288 GB gerektirir. Bunların yalnızca sonuncusu düğüm boyutunda bir sayıdır.
Bunun size kazandırdığı
BF16'da bir 70B model 145 GB gerektirir, bu yüzden tek bir 80 GB karta sığmaz ancak toplu iş ve KV önbellek için 495 GB boş alanla bir 8× H100 SXM düğümüne oturur. Aynı modelin 1,288 GB ile tam ince ayarı yalnızca 8× B200 veya 8× MI300X üzerinde karşılanır. Buradaki diğer her şey, ince ayar için GPU sayfasında belirtildiği gibi LoRA veya ZeRO yük boşaltma gerektirir.
70B üzerinde LoRA bu işlerden biri değildir. 156 GB ile VRAM rehberi onu tek bir aylık $1,590 MI300X üzerine koyar; yani bir düğüm size yedi kat para ve boşuna bir akşam cihaz haritası uğraşına mal olur.
Dolar başına gigabayta göre sıralama açıktır: MI300X düğümü GB-ay başına $7.45, L40S düğümü $9.74, A100 düğümü $11.14, H100 düğümü $19.02. Ucuz olanların ucuz olmasının nedenleri var: birinde ROCm, diğerinde NVLink yok.
Çok GPU'lu indirim nasıl çalışır ve birleşir mi?
İki kartta %5, dörtte %8, sekizde %10, tek kart fiyatına uygulanır. Ön ödemeli dönem indirimiyle birleşir.
| H100 SXM, tek ana bilgisayar | Liste fiyatı | İndirim | Ödediğiniz | GPU-saat başına |
|---|---|---|---|---|
| 1 kart | $1,690 | yok | $1,690/ay | $2.35 |
| 2 kart | $3,380 | 5% | $3,211/ay | $2.23 |
| 4 kartNVLink, yarım ana kart | $6,760 | 8% | $6,220/ay | $2.16 |
| 8 kartTam HGX düğümü, NVSwitch | $13,520 | 10% | $12,170/ay | $2.11 |
| 8 kart, 3 ay ön ödemeliönce %10 sonra %5 | $40,560 | 14.5% | $34,685toplam | $2.01 |
| 8 kart, 6 ay ön ödemeliönce %10 sonra %10 | $81,120 | 19% | $65,718toplam | $1.90 |
Sekiz NVSwitch'li H100 SXM kartı için taban GPU-saat başına $1.90, aylık döngüde tek kart için $2.35'tir. Ödeme siparişin boyutuyla değişmez: BTC, ETH, USDT, USDC, XMR, SOL veya LTC ile yapılan tek bir transfer işlemi kapatır; kart veya kimlik belgesi gerekmez. Bkz. kripto ile ödeme nasıl çalışır, KYC'siz GPU barındırma ne anlama gelir ve aylık dönemin saatlik sayaçtan neden üstün olduğu.
Birden fazla düğümde 16 ila 64 GPU kiralayabilir misiniz?
Evet, düğümler arasında InfiniBand ile; katalogdan satılmak yerine duruma göre fiyatlandırılır.
Satışa yapıyı söyleyin
GPU sayısı, model, bölge, dönem ve 200 Gb/s HDR veya 400 Gb/s NDR InfiniBand. Satışa yazın.
Teklif ve teslim süresi
16 ila 64 GPU, yukarıdaki düğüm ücretlerine göre fiyatlandırılır. Dokuya bağlı olarak teslim süresi 2 ila 6 haftadır.
Siparişte %50
İlk dönemin yarısı peşin, yedi coin'den herhangi biriyle. Bu donanımı rezerve eder.
Teslimde %50
Kalan, doku devreye alma işlemini geçtikten ve root sizde olduktan sonra ödenir. Hiçbir adımda kimlik kontrolü yoktur.
Bir bölgedeki örnekler arasında ağ
Aynı bölgedeki örnekler özel bir VLAN paylaşabilir: makineleriniz arasında genel bir atlama olmadan katman 2, aylık $25, her 8 yollu düğümde dahildir. Bu, dört 8× A100 düğümünü besleyen bir depolama kutusu için araçtır.
Bu, InfiniBand'ın yerine geçmez. Bir VLAN, diğer her şeyle aynı 100G Ethernet üzerinde ilerler: veri yükleme ve denetim noktaları için uygundur, her adımda gradyan alışverişi için yanlıştır.
Çok GPU'lu bir düğüm ne zaman yanlış bir kiralama olur?
İşiniz tek karta sığıyorsa düğüm para israfıdır. 8× RTX 4090 düğümü aylık $2,810 iken tek kart $390'dır ve FP8'de bir 13B model ağırlıklar, önbellek ve ek yük dahil toplam 22 GB tutar. Sekiz kart yalnızca sekiz iş akışıyla veya sığmayan bir modelle kendini öder.
Sekiz karta iki gün için ihtiyacınız varsa saatlik bir sağlayıcı kullanın: 8× H100 düğümünün bir haftası, ister altı saat ister 168 saat çalıştırın, $3,420'dir. Kısıt aktarım hızı değil de bellekse, tek bir 141 GB'lı H200 veya 192 GB'lı MI300X çoğu zaman düğüm ihtiyacını ortadan kaldırır.
Aşağıdaki durumlarda düğüm kiralayın
Model tek karta sığmıyorsa, koşu haftalarca sürüyorsa, tek adres arkasında sekiz kopyaya ihtiyacınız varsa veya iş parçalanmışsa ve kartlar arasında 900 GB/s gerekiyorsa.
Aşağıdaki durumlarda tek kart kiralayın
İşler bağımsızsa, yük öngörülemezse veya sekize taahhüt vermeden önce bir H100 SXM üzerinde test yapmak istiyorsanız.
Çok GPU'lu ve küme kiralama, açıkça soruldu.
8x H100 küme kiralaması aylık ne kadar?
GPU Rent Hub düğümü gerçek bir makine mi yoksa sanal bir küme mi?
Çok GPU'lu eğitim için NVSwitch ile PCIe arasındaki fark nedir?
8x H100 düğümünün toplam VRAM'i ne kadar?
Çok GPU'lu indirim ön ödemeli dönemlerle birleşir mi?
Tek kümede sekizden fazla GPU kiralayabilir miyim?
KYC olmadan bir HGX düğümü kiralayıp kripto ile ödeyebilir miyim?
70B model ince ayarı için hangi düğümü kiralamalıyım?
Dağıtım ayrıntısı belgelerde, filo durumu durum sayfasında.
Cuma gününe kadar tek dokuda sekiz kart.
Stoktaki düğümler diğer herhangi bir örnek gibi dağıtılır. 16 GPU ve üzeri için satışla görüşün; 2 ila 6 hafta bekleyin.