Статус и аптайм GPU Rent Hub. Девять компонентов, три дата-центра.
GPU Rent Hub публикует живой статус и аптайм за 90 дней для вычислений, сети, панели управления и API, обнаружения криптодепозитов и Tor-сервиса в DFW-1 Даллас, IAD-1 Ашберн и PDX-1 Хилсборо; аптайм за последние двенадцать месяцев — 99.97%. Обновляется автоматически теми же проверками, которые отправляют нам оповещения. Инциденты пишет дежурный инженер, а не маркетинг — поэтому некоторые из них сформулированы прямо.
Последняя проверка:
DFW-1 — вычисления
аптаймDFW-1 — сеть
аптаймIAD-1 — вычисления
аптаймIAD-1 — сеть
аптаймPDX-1 — вычисления
аптаймPDX-1 — сеть
аптаймПанель управления & API
аптаймОбнаружение депозитов (все монеты)
аптаймTor onion-сервис
аптаймКакие инциденты были у GPU Rent Hub с 2021 года?
Всё, что затронуло более одного клиента, начиная с первого месяца работы. Окна технического обслуживания объявляются за 7 дней в панели управления и попадают сюда только если вышли за рамки. Подробности по питанию, охлаждению и операторам связи для каждой площадки — на странице дата-центров в США.
Аварийное переключение пограничного маршрутизатора IAD-1 Деградация
На основном пограничном маршрутизаторе вышел из строя линейный модуль. Переключение на резерв сработало; 25 минут повышенной задержки (+30 мс) до части направлений на Восточном побережье, пока резервный маршрутизатор заново изучал маршруты.
Написал RK, дежурный инженер.
Задержка обнаружения депозитов Monero Деградация
Наш monerod отстал от цепи после перезапуска. Депозиты зачислялись с опозданием (до 2h20), но все были зачислены по курсу на момент их фактического первого подтверждения, а не позднего обнаружения.
Написал MT, дежурный инженер.
Обрыв магистрального оптоволокна DFW-1 Авария
Строительная бригада перерезала трассу Lumen в DFW-1. Cogent и HE продолжали работать, но наша повторная сходимость BGP заняла на 14 минут дольше, чем должна была, из-за устаревшего prefix-list на пограничном маршрутизаторе. Вычисления не пострадали; клиенты видели потерю пакетов 30–60% в общей сложности 2h29. Причина в prefix-list устранена, заказан третий независимый маршрут (Zayo).
Написал RK, дежурный инженер.
Замена PDU в клетке 2 DFW-1 вышла за рамки окна Деградация
Плановое окно на 60 минут продлилось 70 минут. 96 инстансов A6000/A40 перезагрузились один раз вместо обещанной замены без перезагрузки; переключатель ввода A не удержал нагрузку. Пострадавшим клиентам начислено 3 дня.
Написал AV, дежурный инженер.
Задержка API Деградация
p99 каталога превысил 4 s после того, как задача синхронизации склада заблокировала таблицу инвентаря. Панели управления работали медленно; ни один инстанс не пострадал. Задача перенесена на read-реплику.
Написал MT, дежурный инженер.
Сигнал неисправности контура охлаждения DFW-1 Деградация
Неисправность CRAH-установки объекта подняла температуру на входе в клетке 4 до 31 °C. Мы снизили мощность узлов 8-way H100/H200 до 80% на 1h45, чтобы не рисковать тепловым отключением. Без перезагрузок. Клиентам на затронутых узлах начислено 2 дня.
Написал RK, дежурный инженер.
Панель управления недоступна Авария
Неудачный деплой панели управления сломал вход для всех на 2.5 часа. API и все инстансы работали нормально, что слабо утешает, если консоль была нужна в 4 утра. После этого мы добавили стадию canary.
Написал AV, дежурный инженер.
Нестабильность сети PDX-1 Деградация
Технические работы у апстрима (HE), о которых нас не уведомили. 25 минут периодических потерь для PDX-1.
Написал MT, дежурный инженер.
Авария электроснабжения DFW-1 Авария
Во время грозы пропал ввод от электросети; генераторы запустились, но ИБП со стороны B не смог удержать клетку 3 при переключении. 412 инстансов остались без питания на срок до 4h45 (жёсткая перезагрузка). Потери данных не зафиксированы. Объект заменил цепочку ИБП; к октябрю 2024 мы перевели все клетки на схему 2N ИБП. Начислено 7 дней.
Написал RK, дежурный инженер.
Деградация апстрима IAD-1 Деградация
Канал Zayo был перегружен; на тот момент у нас был один апстрим в IAD-1. Второй оператор (Lumen) заработал к марту 2023.
Написал AV, дежурный инженер.
Запуск IAD-1 отложен Уведомление
Первые развёртывания в IAD-1 были запланированы на 28 Nov и сдвинулись на два дня в ожидании кросс-коннекта. Предзаказы получили неделю компенсации.
Написал MT, дежурный инженер.
Обнаружение депозитов Bitcoin приостановлено Деградация
Наш первый инцидент с платежами. У bitcoind закончилось место на диске. Депозиты зачислялись с опозданием, по правильному курсу. Сигналы о заполнении диска, как выяснилось, были хорошей идеей.
Написал RK, дежурный инженер.
Отказ коммутатора DFW-1 Авария
Единственный верхний коммутатор (top-of-rack) в нашей первой стойке вышел из строя. Сорок RTX 3090 были офлайн 1h45, пока мы его меняли. С мая 2021 каждая стойка имеет резервные ToR-коммутаторы.
Написал AV, дежурный инженер.
Инцидент с депозитами задерживает зачисление, но не курс: механика описана на странице оплата аренды GPU криптовалютой, а политика узлов, стоящая за записью от августа 2026, — на странице хостинг GPU на Monero. Компенсация за простой — один день тарифа за каждый час сверх 99.9%, как указано в условиях обслуживания.