Status i czas pracy GPU Rent Hub. Dziewięć komponentów, trzy centra danych.
GPU Rent Hub publikuje status na żywo i 90-dniowy czas pracy dla mocy obliczeniowej, sieci, panelu i API, wykrywania wpłat kryptowalutowych oraz usługi Tor w DFW-1 Dallas, IAD-1 Ashburn i PDX-1 Hillsboro; kroczący dwunastomiesięczny czas pracy wynosi 99.97%. Aktualizowane automatycznie z tych samych sond, które nas alarmują. Incydenty są opisywane przez inżyniera dyżurującego, nie przez marketing — dlatego niektóre z nich są dosadne.
Last check:
DFW-1 — moc obliczeniowa
czas pracyDFW-1 — sieć
czas pracyIAD-1 — moc obliczeniowa
czas pracyIAD-1 — sieć
czas pracyPDX-1 — moc obliczeniowa
czas pracyPDX-1 — sieć
czas pracyPanel & API
czas pracyWykrywanie wpłat (wszystkie monety)
czas pracyUsługa cebulowa Tor
czas pracyJakie incydenty przydarzyły się GPU Rent Hub od 2021 r.?
Wszystko, co wpłynęło na więcej niż jednego klienta, od pierwszego miesiąca działalności. Okna konserwacyjne są ogłaszane z 7-dniowym wyprzedzeniem w panelu i wymieniane tutaj tylko wtedy, gdy się przedłużyły. Szczegóły dotyczące zasilania, chłodzenia i operatorów dla każdej lokalizacji znajdują się na stronie centra danych w USA.
Przełączenie awaryjne routera brzegowego w IAD-1 Obniżona wydajność
Router brzegowy podstawowy utracił kartę liniową. Przełączenie awaryjne zadziałało; przez 25 minut występowało podwyższone opóźnienie (+30 ms) do niektórych miejsc na Wschodnim Wybrzeżu, podczas gdy router zapasowy ponownie uczył się tras.
Written by RK, on call.
Opóźnienie wykrywania wpłat Monero Obniżona wydajność
Nasz monerod pozostawał w tyle za łańcuchem po ponownym uruchomieniu. Wpłaty zostały zaksięgowane z opóźnieniem (do 2h20), ale wszystkie zaksięgowano według kursu z ich faktycznego pierwszego potwierdzenia, a nie z czasu spóźnionego wykrycia.
Written by MT, on call.
Przecięcie światłowodu upstream w DFW-1 Awaria
Ekipa budowlana przecięła ścieżkę Lumen do DFW-1. Cogent i HE pozostały sprawne, ale nasza rekonwergencja BGP trwała o 14 minut dłużej, niż powinna, z powodu nieaktualnej listy prefiksów na brzegu sieci. Moc obliczeniowa nie została naruszona; klienci odczuwali utratę pakietów na poziomie 30–60% przez łącznie 2h29. Główna przyczyna związana z listą prefiksów została usunięta, a trzecia zróżnicowana ścieżka (Zayo) została zamówiona.
Written by RK, on call.
Wymiana PDU w klatce 2 w DFW-1 przedłużyła się Obniżona wydajność
Planowane 60-minutowe okno trwało 70 minut. 96 instancji A6000/A40 zostało jednokrotnie zrestartowanych zamiast zapowiadanej wymiany bez restartu; przełącznik transferowy zasilania A nie podtrzymał napięcia. Klienci objęci problemem otrzymali 3 dni bonifikaty.
Written by AV, on call.
Opóźnienia API Obniżona wydajność
Percentyl p99 punktu końcowego katalogu przekroczył 4 s po tym, jak zadanie synchronizacji zapasów zablokowało tabelę magazynową. Panel działał wolno; żadna instancja nie została naruszona. Zadanie przeniesiono do repliki tylko do odczytu.
Written by MT, on call.
Alarm pętli chłodzenia w DFW-1 Obniżona wydajność
Awaria jednostki CRAH w obiekcie podniosła temperaturę na wlocie w klatce 4 do 31 °C. Ograniczyliśmy moc węzłów H100/H200 z 8 GPU do 80% na 1h45, zamiast ryzykować wyłączenie termiczne. Bez restartów. Klienci na objętych problemem węzłach otrzymali 2 dni bonifikaty.
Written by RK, on call.
Panel niedostępny Awaria
Błędne wdrożenie panelu zepsuło logowanie wszystkim na 2.5 godziny. API i wszystkie instancje działały poprawnie, co jest marnym pocieszeniem, jeśli potrzebowałeś konsoli o 4 nad ranem. Po tym zdarzeniu dodaliśmy etap canary.
Written by AV, on call.
Niestabilność sieci w PDX-1 Obniżona wydajność
Konserwacja dostawcy (HE) nie została nam przekazana. 25 minut sporadycznych strat w PDX-1.
Written by MT, on call.
Zdarzenie zasilania sieciowego w DFW-1 Awaria
Zasilanie z sieci energetycznej zanikło podczas burzy; generatory uruchomiły się, ale UPS po stronie B nie podtrzymał klatki 3 podczas przełączenia. 412 instancji straciło zasilanie na okres do 4h45 (twardy restart). Nie zgłoszono utraty danych. Obiekt wymienił zestaw UPS; do października 2024 przeszliśmy na UPS 2N we wszystkich klatkach. Przyznaliśmy 7 dni bonifikaty.
Written by RK, on call.
Degradacja łącza upstream w IAD-1 Obniżona wydajność
Ścieżka Zayo była przeciążona; mieliśmy wtedy jednego dostawcę upstream w IAD-1. Drugi operator (Lumen) zaczął działać do marca 2023 r.
Written by AV, on call.
Otwarcie IAD-1 opóźnione Informacja
Pierwsze wdrożenia w IAD-1 zaplanowano na 28 listopada i opóźniły się o dwa dni w oczekiwaniu na cross-connect. Zamówienia przedpremierowe otrzymały tydzień bonifikaty.
Written by MT, on call.
Wstrzymane wykrywanie wpłat Bitcoin Obniżona wydajność
Nasz pierwszy incydent płatniczy. W procesie bitcoind zabrakło miejsca na dysku. Wpłaty zaksięgowano z opóźnieniem, po właściwym kursie. Alarmy dyskowe były, z perspektywy czasu, dobrym pomysłem.
Written by RK, on call.
Awaria przełącznika w DFW-1 Awaria
Jedyny przełącznik top-of-rack w naszym pierwszym racku uległ awarii. Czterdzieści kart RTX 3090 było offline przez 1h45, podczas gdy go wymienialiśmy. Od maja 2021 każdy rack ma nadmiarowe przełączniki ToR.
Written by AV, on call.
Incydent dotyczący wpłat opóźnia zaksięgowanie, nigdy kurs, który otrzymujesz: mechanika jest opisana na stronie płatności za wynajem GPU kryptowalutami, a polityka węzłów stojąca za wpisem z sierpnia 2026 na stronie hosting GPU Monero. Bonifikaty za przestój wynoszą jeden dzień okresu za każdą godzinę powyżej 99.9%, zgodnie z regulaminem świadczenia usług.