Статус і аптайм GPU Rent Hub. Дев’ять компонентів, три дата-центри.

Перемикання на резерв граничного маршрутизатора IAD-1 Погіршено

Основний граничний маршрутизатор втратив лінійну плату. Резервування спрацювало; 25 хвилин підвищеної затримки (+30 мс) до деяких напрямків на східному узбережжі, поки вторинний маршрутизатор заново вивчав маршрути.

Написав RK, черговий.

Затримка виявлення депозитів Monero Погіршено

Наш вузол monerod відстав від ланцюга після перезапуску. Депозити були зараховані із запізненням (до 2 год 20 хв), але всі за курсом на момент їх фактичного першого підтвердження, а не пізнього виявлення.

Написав MT, черговий.

Обрив магістрального оптоволокна DFW-1 Аварія

Будівельна бригада перерізала канал Lumen у DFW-1. Cogent і HE залишалися доступними, але наша BGP-перекомутація тривала на 14 хвилин довше, ніж мала б, через застарілий prefix-list на межі мережі. Обчислення не постраждали; клієнти спостерігали втрату пакетів 30–60% загалом протягом 2 год 29 хв. Першопричину в prefix-list виправлено, і замовлено третій незалежний канал (Zayo).

Заміна PDU в клітці 2 DFW-1 перевищила час Погіршено

Заплановане вікно на 60 хвилин тривало 70 хвилин. 96 інстансів A6000/A40 перезавантажилися один раз замість анонсованої заміни без перезавантажень; перемикач живлення A-feed не втримав. Постраждалим клієнтам нараховано 3 дні компенсації.

Написав AV, черговий.

Затримка API Погіршено

p99 ендпоінта каталогу перевищив 4 с після того, як завдання синхронізації запасів заблокувало таблицю інвентарю. Панелі керування працювали повільно; жоден інстанс не постраждав. Завдання перенесено на репліку для читання.

Написав MT, черговий.

Сигнал тривоги контуру охолодження DFW-1 Погіршено

Несправність блоку CRAH на об’єкті підняла температуру вхідного повітря в клітці 4 до 31 °C. Ми знизили потужність 8-way вузлів H100/H200 до 80% на 1 год 45 хв, щоб не ризикувати тепловим вимкненням. Без перезавантажень. Клієнтам на постраждалих вузлах нараховано 2 дні компенсації.

Написав RK, черговий.

Панель керування недоступна Аварія

Невдале розгортання панелі керування зламало вхід для всіх на 2,5 години. API та всі інстанси працювали нормально, що слабка втіха, якщо консоль була потрібна о 4 ранку. Після цього ми додали canary-етап.

Написав AV, черговий.

Мережеві коливання PDX-1 Погіршено

Технічне обслуговування апстріму (HE), про яке нас не повідомили. 25 хвилин періодичної втрати зв’язку для PDX-1.

Написав MT, черговий.

Інцидент з електроживленням DFW-1 Аварія

Під час грози зникло живлення від електромережі; генератори запустилися, але ДБЖ на стороні B не зміг утримати клітку 3 під час перемикання. 412 інстансів втратили живлення на строк до 4 год 45 хв (жорстке перезавантаження). Про втрату даних не повідомлялося. Об’єкт замінив ланцюг ДБЖ; до жовтня 2024 року ми перевели всі клітки на схему 2N ДБЖ. Нараховано компенсацію за 7 днів.

Написав RK, черговий.

Погіршення апстріму IAD-1 Погіршено

Канал Zayo був перевантажений; на той момент у нас був один апстрім в IAD-1. Другий оператор (Lumen) запрацював до березня 2023 року.

Написав AV, черговий.

Відкриття IAD-1 затримано Повідомлення

Перші розгортання в IAD-1 були заплановані на 28 листопада і зсунулися на два дні через очікування крос-конекту. Передзамовникам нараховано тиждень компенсації.

Написав MT, черговий.

Виявлення депозитів Bitcoin призупинено Погіршено

Наш перший платіжний інцидент. У bitcoind закінчилося місце на диску. Депозити були зараховані із запізненням, за правильним курсом. Дискові сповіщення, як тепер зрозуміло, були гарною ідеєю.

Написав RK, черговий.

Відмова комутатора DFW-1 Аварія

Єдиний комутатор top-of-rack у нашій першій стійці вийшов з ладу. Сорок RTX 3090 були офлайн протягом 1 год 45 хв, поки ми його заміняли. З травня 2021 року кожна стійка має резервні комутатори ToR.

Написав AV, черговий.