Blog i dziennik zmian hostingu GPU. Notatki z klatki.

Druga transza HGX B200 dotarła 19 August, przez tydzień przechodziła wygrzewanie i dziś rano została zdjęta z listy oczekujących. Osiem węzłów 8-way już działa, dwie kolejne szafy zamówiliśmy do IAD-1 z celem na listopad. Ograniczeniem jest zasilanie, nie dostępność: węzeł B200 pobiera ~10,2 kW z gniazda i musieliśmy dla nich dodać szynę 415 V do klatki 4.

Instancje z pojedynczym GPU B200 nie są czymś, co możemy zaoferować — te części istnieją tylko na płycie bazowej 8-way — więc najmniejszą jednostką jest 2× (pół węzła, partycjonowane przez NVLink) w cenie $7,391/mo, czyli dwie karty po $3,890 minus 5% zniżki za dwa GPU. Bieżące stany magazynowe w regionach znajdują się na stronie wynajmu B200.

NVMe każdej instancji to wolumen LUKS2 z kluczem generowanym podczas aprowizowania i przechowywanym w module TPM hosta, zapieczętowanym dla danego identyfikatora instancji. Zwolnienie instancji nakazuje modułowi TPM zniszczenie klucza — od tego momentu zawartość dysku to szyfrogram bez żadnego klucza. Następnie uruchamiamy blkdiscard na przestrzeni nazw i wykonujemy 30-sekundowe pasmo weryfikacji, które próbkuje 2,000 losowych adresów LBA i potwierdza, że odczytują się jako zera. Dopiero po tym slot wraca do zasobów. Wydłuża to zwolnienie o około 90 sekund. Uważamy, że warto.

Ludzie ciągle pytali o możliwość kupna od nas wycofanych kart, a my ciągle odmawialiśmy, bo nie mieliśmy procesu. Teraz mamy: strona sprzętowa z nowymi kartami i kartami wycofanymi z floty, kolokacją w naszych własnych klatkach oraz stawką odkupu. Karty w kolokacji korzystają z tej samej floty hostów i panelu co wynajem — nie ma osobnego „produktu colo”. Karta jest Twoja, a miesięczny rachunek obejmuje już tylko zasilanie i miejsce. Progi dla poszczególnych kart znajdują się na stronie kolokacji GPU.

Zmiana instancji z tygodniowej na miesięczną (albo przedłużenie miesięcznej o 3/6 miesięcy z rabatem za przedpłatę) nie wymaga już dotykania maszyny. Ponadto: przywracanie migawek do innego regionu, możliwość ponownego generowania kodów odzyskiwania TOTP, webhooki API dla nieudanych odnowień oraz ukraińskie i tureckie tłumaczenia panelu.

Jedna szafa, cztery węzły, wszystkie przedsprzedane osobom z listy oczekujących. Interesujące: efektywność na gnieździe zasilania w porównaniu z H100 w benchmarku treningowym FP8, który uruchamiamy do wygrzewania, wynosi około 2,1× na wat. Mniej interesująca: modernizacja szyny, której wymagała.

Jedna 8-way platforma MI300X w DFW-1 dla osób, które prosiły o 192 GB HBM w cenie, która nie jest ceną H200. W zestawie szablon ROCm 6.4. Oraz pierwsze 240 kart RTX 5090 rozdzielonych między wszystkie trzy regiony; wyłącznie modele z dmuchawą, ponieważ detaliczne karty z trzema wentylatorami o mocy 575 W nie nadają się do szafy.

Ten sam format HGX co nasze węzły H100, więc aprowizowanie przebiegło bez niespodzianek. 141 GB na kartę oznacza, że model 70B w BF16 mieści się na dwóch kartach z miejscem na batch. Cena to $2,290/mo za kartę i nadal jest to kwota na stronie wynajmu H200.

Trzeci region. Obiekt zasilany energią wodną, chłodny klimat, dobre opóźnienia do zachodniego wybrzeża i regionu Azji i Pacyfiku. Otwiera się z zapasem L40S, A100 i 4090; węzły H100 pojawią się w Q4.

Przepisaliśmy API, a następnie przepisaliśmy panel tak, aby korzystał wyłącznie z publicznego API. Jeśli coś jest możliwe w panelu, jest możliwe z użyciem curl. Wersja v1 jest przestarzała i ma 12-miesięczny okres wygaszania.

Przydział na początku 2023 r. był trudny do zdobycia. Udało nam się zdobyć pięćdziesiąt kart PCIe dla DFW-1; węzły SXM pojawiły się dziesięć miesięcy później. Każda z tych pierwszych pięćdziesięciu kart nadal pracuje.

IAD-1 otwiera się z 300 GPU, głównie A6000 i A40, oraz kartami 3090 przeniesionymi z Dallas. Opóźnione o dwa dni przez cross-connect; uczciwą wersję znajdziesz na stronie statusu.

Najbardziej pożądana funkcja naszego pierwszego roku. Wpłaty XMR są księgowane po 10 potwierdzeniach według kursu spot z pierwszego potwierdzenia, tak jak wszystkie inne. Uruchamiamy własny węzeł i nadal to robimy: zobacz hosting GPU za Monero.

Jedna szafa, jedna klatka, jeden przełącznik (o czym mieliśmy się później przekonać), czterdzieści kart 3090 i strona z cenami z dokładnie jednym wierszem. Okresy miesięczne, bo tak sami chcielibyśmy wynajmować GPU. Bitcoin i Ethereum, bo to właśnie mieliśmy. Bez KYC, bo nie chcemy przechowywać Twojego paszportu bardziej, niż Ty chcesz nam go dać. Pięć lat później hosting GPU bez KYC nadal działa dokładnie w ten sposób.