GPU Rent Hub 상태 및 가동 시간. 아홉 개 구성 요소, 세 곳의 데이터 센터.
GPU Rent Hub는 DFW-1 Dallas, IAD-1 Ashburn, PDX-1 Hillsboro 전반의 컴퓨팅, 네트워크, 대시보드 및 API, 암호화폐 입금 감지, Tor 서비스에 대한 실시간 상태와 90일 가동 시간을 공개합니다. 최근 12개월 가동 시간은 99.97%입니다. 우리를 호출하는 동일한 프로브에서 자동으로 업데이트됩니다. 사고 기록은 마케팅이 아니라 당직 엔지니어가 작성하기 때문에 일부는 직설적입니다.
Last check:
DFW-1 — 컴퓨팅
가동 시간DFW-1 — 네트워크
가동 시간IAD-1 — 컴퓨팅
가동 시간IAD-1 — 네트워크
가동 시간PDX-1 — 컴퓨팅
가동 시간PDX-1 — 네트워크
가동 시간대시보드 & API
가동 시간입금 감지(모든 코인)
가동 시간Tor onion 서비스
가동 시간GPU Rent Hub는 2021년 이후 어떤 사고를 겪었나요?
둘 이상의 고객에게 영향을 준 모든 사건을 운영 첫 달까지 거슬러 기록합니다. 정비 시간은 대시보드에서 7일 전에 공지하며, 예정 시간을 초과한 경우에만 여기에 나열합니다. 각 사이트의 전력, 냉각, 회선 세부 정보는 미국 데이터 센터 페이지에 있습니다.
IAD-1 에지 라우터 장애 조치 성능 저하
주 에지에서 라인 카드 하나가 고장났습니다. 장애 조치는 작동했고, 보조 장비가 경로를 다시 학습하는 동안 일부 동부 해안 목적지로의 지연 시간이 25분간 증가했습니다(+30 ms).
Written by RK, on call.
Monero 입금 감지 지연 성능 저하
재시작 후 우리 monerod가 체인보다 뒤처졌습니다. 입금은 늦게(최대 2시간 20분) 반영됐지만, 모두 늦은 감지 시각이 아니라 실제 첫 확인 시점의 환율로 반영됐습니다.
Written by MT, on call.
DFW-1 상류 광케이블 절단 중단
공사 인부가 DFW-1로 들어오는 Lumen 경로를 절단했습니다. Cogent와 HE는 계속 작동했지만, 에지의 오래된 prefix-list 때문에 BGP 재수렴이 예상보다 14분 더 오래 걸렸습니다. 컴퓨팅은 영향을 받지 않았지만 고객은 총 2시간 29분 동안 30–60%의 패킷 손실을 겪었습니다. prefix-list의 근본 원인은 수정됐고, 세 번째 별도 경로(Zayo)를 주문했습니다.
Written by RK, on call.
DFW-1 cage 2 PDU 교체 지연 성능 저하
계획된 60분 정비가 70분으로 초과됐습니다. 공지했던 무중단 교체와 달리 A6000/A40 인스턴스 96개가 한 번 재부팅됐습니다. A 전원 전환 스위치가 버티지 못했습니다. 영향을 받은 고객에게는 3일치 크레딧을 지급했습니다.
Written by AV, on call.
API 지연 성능 저하
재고 동기화 작업이 인벤토리 테이블을 잠근 후 catalogue 엔드포인트의 p99 응답 시간이 4초를 넘었습니다. 대시보드가 느려졌지만 인스턴스에는 영향이 없었습니다. 작업은 읽기 전용 복제본으로 옮겼습니다.
Written by MT, on call.
DFW-1 냉각 루프 경보 성능 저하
시설 CRAH 장치 고장으로 cage 4의 흡기 온도가 31 °C까지 올라갔습니다. 열 차단 위험을 피하기 위해 8-way H100/H200 노드를 1시간 45분 동안 전력의 80%로 제한했습니다. 재부팅은 없었습니다. 영향을 받은 노드의 고객에게는 2일치 크레딧을 지급했습니다.
Written by RK, on call.
대시보드 사용 불가 중단
대시보드의 잘못된 배포로 모든 사용자의 로그인이 2시간 30분 동안 중단됐습니다. API와 모든 인스턴스는 정상이었지만, 새벽 4시에 콘솔이 필요했다면 위안이 되지 않았을 겁니다. 이후 카나리 배포 단계를 추가했습니다.
Written by AV, on call.
PDX-1 네트워크 불안정 성능 저하
상류(HE) 정비가 우리에게 공지되지 않았습니다. PDX-1에서 25분간 간헐적 손실이 발생했습니다.
Written by MT, on call.
DFW-1 상용 전원 사고 중단
폭풍우 중에 상용 전원 공급이 끊겼고, 발전기는 가동됐지만 전환 중 B측 UPS가 cage 3을 감당하지 못했습니다. 412개 인스턴스가 최대 4시간 45분 동안 전원을 잃었습니다(하드 재부팅). 데이터 손실은 보고되지 않았습니다. 시설 측에서 UPS 스트링을 교체했고, 2024년 10월까지 모든 cage를 2N UPS로 전환했습니다. 7일치 크레딧을 지급했습니다.
Written by RK, on call.
IAD-1 상류 회선 품질 저하 성능 저하
Zayo 경로가 혼잡했고 당시 IAD-1에는 상류 회선이 하나뿐이었습니다. 두 번째 회선(Lumen)은 2023년 3월까지 개통됐습니다.
Written by AV, on call.
IAD-1 개소 지연 공지
IAD-1 첫 배포가 11월 28일로 예정되어 있었지만 크로스커넥트를 기다리며 이틀 연기됐습니다. 사전 주문 고객에게는 일주일치 크레딧을 지급했습니다.
Written by MT, on call.
Bitcoin 입금 감지 중단 성능 저하
우리의 첫 결제 사고였습니다. bitcoind의 디스크가 가득 찼습니다. 입금은 올바른 환율로 늦게 반영됐습니다. 돌이켜 보면 디스크 알람은 좋은 생각이었습니다.
Written by RK, on call.
DFW-1 스위치 장애 중단
첫 랙에 있던 단일 top-of-rack 스위치가 고장났습니다. 교체하는 동안 RTX 3090 40대가 1시간 45분 동안 오프라인이었습니다. 2021년 5월부터 모든 랙에 ToR 스위치 이중화가 적용됐습니다.
Written by AV, on call.
입금 사고는 반영 시점을 늦출 뿐 적용 환율은 바꾸지 않습니다. 그 원리는 암호화폐로 GPU 렌탈 결제에, 2026년 8월 항목의 노드 정책은 Monero GPU 호스팅에 나와 있습니다. 다운타임 크레딧은 99.9%를 초과한 시간당 1일치 이용 기간이며, 서비스 약관에 명시되어 있습니다.