GPU Rent Hub durum ve çalışma süresi. Dokuz bileşen, üç veri merkezi.

IAD-1 kenar yönlendirici yedeklemeye geçiş Bozulmuş

Birincil uç hat kartını kaybetti. Yedekleme çalıştı; ikincil rotaları yeniden öğrenirken bazı Doğu Yakası hedeflerine 25 dakika boyunca artmış gecikme (+30 ms).

Written by RK, on call.

Monero yatırma tespiti gecikti Bozulmuş

Yeniden başlatmanın ardından monerod zincirden geride kaldı. Yatırmalar geç kredilendirildi (2 sa 20 dk'ya kadar) ancak tümü, geç tespit zamanına göre değil, gerçek ilk onaylandığı andaki kur üzerinden kredilendirildi.

Written by MT, on call.

DFW-1 yukarı akış fiber kesintisi Kesinti

Bir inşaat ekibi DFW-1'e giden Lumen yolunu kesti. Cogent ve HE çalışır durumda kaldı ancak BGP yeniden yakınsama, uçtaki eski bir prefix listesi nedeniyle olması gerekenden 14 dakika daha uzun sürdü. Hesaplama etkilenmedi; müşteriler toplam 2 sa 29 dk boyunca %30–60 paket kaybı gördü. Prefix listesindeki kök neden düzeltildi ve üçüncü bir çeşitlendirilmiş yol (Zayo) sipariş edildi.

DFW-1 kafes 2 PDU değişimi süreyi aştı Bozulmuş

Planlanan 60 dakikalık pencere 70 dakika sürdü. 96 A6000/A40 örneği, duyurulan sıfır yeniden başlatmalı değişim yerine bir kez yeniden başlatıldı; A-besleme aktarım anahtarı tutmadı. Etkilenen müşterilere 3 gün kredi verildi.

Written by AV, on call.

API gecikmesi Bozulmuş

Stok senkronizasyon işi envanter tablosunu kilitledikten sonra katalog uç noktası p99 4 saniyenin üzerine çıktı. Paneller yavaştı; hiçbir örnek etkilenmedi. İş salt okunur kopyaya taşındı.

Written by MT, on call.

DFW-1 soğutma döngüsü alarmı Bozulmuş

Tesis CRAH ünitesindeki arıza, kafes 4'teki giriş sıcaklıklarını 31 °C'ye çıkardı. Termal kapanma riskine girmek yerine 8 yollu H100/H200 düğümlerini 1 sa 45 dk boyunca %80 güce kıstık. Yeniden başlatma olmadı. Etkilenen düğümlerdeki müşterilere 2 gün kredi verildi.

Written by RK, on call.

Panel kullanılamadı Kesinti

Panelin hatalı bir dağıtımı, herkes için girişi 2,5 saat boyunca bozdu. API ve tüm örnekler sorunsuzdu, ki sabah 4'te konsola ihtiyacınız varsa bu pek teselli değil. Bundan sonra bir kanarya aşaması ekledik.

Written by AV, on call.

PDX-1 ağ dalgalanması Bozulmuş

Yukarı akış (HE) bakımı bize bildirilmedi. PDX-1 için 25 dakika aralıklı kayıp.

Written by MT, on call.

DFW-1 şebeke elektrik olayı Kesinti

Fırtına sırasında şebeke beslemesi düştü; jeneratörler devreye girdi ancak B tarafı UPS, aktarım sırasında kafes 3'ü taşıyamadı. 412 örnek 4 sa 45 dk'ya kadar güç kaybetti (sert yeniden başlatma). Veri kaybı bildirilmedi. Tesis UPS dizisini değiştirdi; Ekim 2024'e kadar tüm kafeslerde 2N UPS'e geçtik. 7 gün kredi verildi.

Written by RK, on call.

IAD-1 yukarı akış bozulması Bozulmuş

Zayo yolu tıkalıydı; o sırada IAD-1'de tek yukarı akışımız vardı. İkinci taşıyıcı (Lumen) Mart 2023'te devreye girdi.

Written by AV, on call.

IAD-1 açılışı gecikti Bildirim

İlk IAD-1 dağıtımları 28 Kasım için planlanmıştı ve bir çapraz bağlantı beklerken iki gün kaydı. Ön siparişlere bir hafta kredi verildi.

Written by MT, on call.

Bitcoin yatırma tespiti durakladı Bozulmuş

İlk ödeme olayımız. bitcoind disk alanını doldurdu. Yatırmalar doğru kur üzerinden geç kredilendirildi. Geriye dönüp bakınca disk alarmları iyi bir fikirmiş.

Written by RK, on call.

DFW-1 anahtar arızası Kesinti

İlk rafımızdaki tek üst raf anahtarı arızalandı. Değiştirirken kırk RTX 3090 1 sa 45 dk boyunca çevrimdışı kaldı. Mayıs 2021'den beri her rafta yedekli ToR anahtarları bulunuyor.

Written by AV, on call.