GPU hosting blogu ve değişiklik günlüğü. Kafesten notlar.

İkinci HGX B200 partisi 19 Ağustos'ta geldi, bir hafta yanma testinden geçti ve bu sabah bekleme listesini temizledi. Sekiz adet 8 yollu düğüm canlı; IAD-1 için iki raf daha siparişte, hedef Kasım. Kısıt arz değil güç: bir B200 düğümü prizden ~10.2 kW çekiyor ve onlar için 4. kafese 415 V bara kanalı eklememiz gerekti.

Tek GPU'lu B200 örnekleri sunabileceğimiz bir şey değil — parçalar yalnızca 8 yollu bir ana kart üzerinde bulunuyor — bu yüzden en küçük birim, her biri $3,890 olan iki karttan 5% iki GPU indirimi düşüldüğünde $7,391/mo tutan 2× (yarım düğüm, NVLink ile bölümlenmiş) birimdir. Bölgeye göre canlı stok B200 kiralama sayfasında.

Her örneğin NVMe'si, sağlama sırasında üretilen ve sunucu TPM'sinde o örnek kimliğine mühürlenmiş olarak tutulan bir anahtara sahip bir LUKS2 birimidir. Örneği serbest bırakmak, TPM'den anahtarı yok etmesini ister — o noktada sürücü içeriği, hiçbir yerde anahtarı olmayan şifreli metindir. Ardından ad alanına blkdiscard uygular ve rastgele 2,000 LBA örnekleyip sıfır okunduğunu doğrulayan 30 saniyelik bir doğrulama taraması çalıştırırız. Ancak bundan sonra slot envantere geri döner. Bu, serbest bırakmaya yaklaşık 90 saniye ekler. Buna değdiğini düşünüyoruz.

İnsanlar bizden emekliye ayrılmış kartları satın almayı sormaya devam etti; biz de bir sürecimiz olmadığı için hayır demeye devam ettik. Artık var: yeni ve filodan emekliye ayrılmış kartların bulunduğu bir donanım sayfası, kendi kafeslerimizde colocation ve bir geri alım oranı. Colocation'lı kartlar kiralamalarla aynı sunucu filosunu ve paneli kullanır — ayrı bir "colo ürünü" yoktur. Kart sizindir ve aylık fatura güç ile alana düşer. Kart başına katmanlar GPU colocation sayfasındadır.

Bir örneği haftalıktan aylığa geçirmek (veya aylık bir örneği ön ödemeli indirimle 3/6 ay uzatmak) artık makineye dokunmuyor. Ayrıca: farklı bir bölgeye anlık görüntü geri yüklemeleri, yeniden oluşturulabilir TOTP kurtarma kodları, yenileme hataları için API web kancaları ve panelin Ukraynaca ile Türkçe çevirileri.

Bir raf, dört düğüm, hepsi bekleme listesine önceden satıldı. İlginç olan: yakma testi için çalıştırdığımız bir FP8 eğitim kıyaslamasında H100'e göre duvar prizinden verimlilik watt başına yaklaşık 2.1×. Daha az ilginç olan: gerektirdiği bara kanalı yükseltmesi.

H200 fiyatında olmayan bir fiyata 192 GB HBM isteyenler için DFW-1'de bir adet 8 yollu MI300X platformu. ROCm 6.4 şablonu dahil. Ve üç bölgeye yayılmış ilk 240 RTX 5090; yalnızca blower modeller, çünkü 575 W üç fanlı perakende kartlar bir rafa ait değil.

H100 düğümlerimizle aynı HGX form faktörü, bu yüzden sağlama olaysızdı. Kart başına 141 GB, BF16'daki bir 70B modelin bir yığın için yer kalacak şekilde iki karta sığması anlamına gelir. Fiyat kart başına $2,290/mo; bu rakam hâlâ H200 kiralama sayfasındaki rakamdır.

Üçüncü bölge. Hidroelektrikle çalışan tesis, serin iklim, Batı Kıyısı ve Asya-Pasifik'e iyi gecikme. L40S, A100 ve 4090 stoğuyla açılıyor; H100 düğümleri 4. çeyrekte gelecek.

API'yi yeniden yazdık, ardından paneli yalnızca genel API'yi kullanacak şekilde yeniden yazdık. Panelde mümkün olan bir şey curl ile de mümkündür. v1, 12 aylık bir kullanımdan kaldırma süresiyle kullanım dışı bırakıldı.

Tahsis, 2023 başlarında elde edilmesi zordu. DFW-1 için elli PCIe kartı aldık; SXM düğümleri on ay sonra geldi. O ilk ellinin her biri hâlâ hizmette.

IAD-1, çoğu A6000 ve A40 olmak üzere 300 GPU ile açılıyor; 3090'lar Dallas'tan taşındı. Bir cross-connect nedeniyle iki gün gecikti; dürüst sürüm için durum sayfasına bakın.

İlk yılımızın en çok talep edilen özelliği. XMR yatırma işlemleri, her şeyde olduğu gibi ilk onaydaki spot kur üzerinden 10 onay sonrasında hesaba geçirilir. Kendi düğümümüzü çalıştırıyoruz ve hâlâ çalıştırıyoruz: bkz. Monero GPU hosting.

Bir raf, bir kafes, bir anahtar (bunu sonradan öğrenecektik), kırk 3090 ve tam olarak bir satırlı bir fiyatlandırma sayfası. Aylık vadeler, çünkü bir GPU'yu böyle kiralamak isterdik. Bitcoin ve Ethereum, çünkü elimizde olan buydu. KYC yok, çünkü siz pasaportunuzu bize vermek istemediğiniz kadar biz de tutmak istemiyoruz. Beş yıl sonra KYC'siz GPU hosting hâlâ tam olarak böyle çalışıyor.