GPU Rent Hub status en uptime. Negen componenten, drie datacenters.

IAD-1 edge-routerfailover Verminderd

De primaire edge verloor een linecard. De failover werkte; 25 minuten verhoogde latentie (+30 ms) naar sommige bestemmingen aan de oostkust terwijl de secundaire routes opnieuw leerde.

Geschreven door RK, dienstdoend.

Monero-stortingsdetectie vertraagd Verminderd

Onze monerod liep na een herstart achter op de chain. Stortingen werden te laat gecrediteerd (tot 2h20), maar allemaal tegen de koers van hun daadwerkelijke eerste bevestiging, niet tegen het late detectietijdstip.

Geschreven door MT, dienstdoend.

DFW-1 upstream-glasvezelbreuk Storing

Een bouwploeg heeft het Lumen-pad naar DFW-1 doorgesneden. Cogent en HE bleven online, maar onze BGP-herconvergentie duurde 14 minuten langer dan had gemoeten door een verouderde prefixlijst op de edge. Rekenkracht was niet getroffen; klanten zagen pakketverlies van 30–60% gedurende in totaal 2h29. De hoofdoorzaak in de prefixlijst is verholpen en er is een derde divers pad (Zayo) besteld.

DFW-1 kooi 2 PDU-vervanging uitgelopen Verminderd

Het geplande venster van 60 minuten duurde 70 minuten. 96 A6000/A40-instanties zijn eenmaal herstart in plaats van de aangekondigde swap zonder herstart; de A-feed transfer switch hield het niet. Getroffen klanten kregen 3 dagen vergoed.

Geschreven door AV, dienstdoend.

API-latentie Verminderd

De p99 van het catalogus-endpoint ging boven 4 s nadat een stock-syncjob de inventaristabel vergrendelde. Dashboards waren traag; er werd geen enkele instantie getroffen. De job is verplaatst naar een leesreplica.

Geschreven door MT, dienstdoend.

DFW-1 alarm koelcircuit Verminderd

Een storing in een CRAH-unit van het datacenter deed de inlaattemperaturen in kooi 4 stijgen tot 31 °C. We hebben 8-way H100/H200-nodes gedurende 1h45 teruggeschroefd naar 80% vermogen in plaats van het risico te lopen op een thermische uitschakeling. Geen herstarts. Klanten op getroffen nodes kregen 2 dagen vergoed.

Geschreven door RK, dienstdoend.

Dashboard niet beschikbaar Storing

Een slechte deploy van het dashboard maakte inloggen voor iedereen 2.5 uur onmogelijk. De API en alle instanties werkten prima, wat een schrale troost is als je om 4 uur 's nachts de console nodig had. Hierna hebben we een canary-stadium toegevoegd.

Geschreven door AV, dienstdoend.

PDX-1 netwerkflap Verminderd

Onderhoud bij upstream (HE) was niet aan ons gecommuniceerd. 25 minuten intermitterend verlies voor PDX-1.

Geschreven door MT, dienstdoend.

DFW-1 incident met netstroom Storing

De netvoeding viel weg tijdens een storm; generatoren startten, maar de UPS aan de B-zijde kon kooi 3 tijdens de omschakeling niet dragen. 412 instanties verloren tot 4h45 stroom (harde herstart). Er is geen gegevensverlies gemeld. Het datacenter verving de UPS-string; we zijn in oktober 2024 op alle kooien naar 2N UPS overgestapt. 7 dagen vergoed.

Geschreven door RK, dienstdoend.

IAD-1 upstream-degradatie Verminderd

Het Zayo-pad was overbelast; we hadden op dat moment één upstream bij IAD-1. Een tweede carrier (Lumen) was in maart 2023 live.

Geschreven door AV, dienstdoend.

Opening IAD-1 vertraagd Melding

De eerste IAD-1-deployments stonden gepland voor 28 Nov en schoven twee dagen op in afwachting van een cross-connect. Pre-orders kregen een week vergoed.

Geschreven door MT, dienstdoend.

Bitcoin-stortingsdetectie gepauzeerd Verminderd

Ons eerste betalingsincident. bitcoind had geen schijfruimte meer. Stortingen werden te laat gecrediteerd, tegen de juiste koers. Schijfalarmen waren achteraf gezien een goed idee.

Geschreven door RK, dienstdoend.

DFW-1 switchstoring Storing

De enkele top-of-rack-switch in ons eerste rack begaf het. Veertig RTX 3090's waren 1h45 offline terwijl we hem vervingen. Sinds mei 2021 heeft elk rack redundante ToR-switches.

Geschreven door AV, dienstdoend.