Incident Information

Incident Slogan: Problemen met het ontvangen en opzetten van gesprekken
Impact: Critical
Starttijd: 25-04-2024 omstreeks 13:40
Stoptijd: 25-04-2024 omstreeks 16:17

Incident Detail

Inkomende en uitgaand verkeer was gedurende verstoring niet mogelijk waarbij de gesprekken werden afgebroken.

Root Cause Identification

Oorzaak van de verstoring is herleid naar een menselijke aanpassing en fout, waarbij de interne procedures niet zijn gevolgd. De aanpassing was niet gedocumenteerd en werd uitgevoerd tijdens kantoortijden. Door het ontbreken van de vastlegging van de aanpassing heeft de oplossing langer geduurd dan noodzakelijk.

Action Plan

De betreffende afdeling welke verantwoordelijk was voor de aanpassing is gewezen op de interne procedure voor het doorvoeren van aanpassingen. Daarnaast is de procedure geëvalueerd en hierbij hebben we geconcludeerd dat de procedure zoals vastgelegd de verstoring had voorkomen, wanneer deze was gevolgd.

Timeline

13:45: Start ontvangst van monitoringsmeldingen en de eerste meldingen vanuit klanten.
13:51: Time-outs gesignaleerd op alle systemen.
13:58: Intern escalatieproces opgestart door Managing Director NL.
14:05: Hoog verkeer gesignaleerd. Maatregelen werden genomen om het verkeer te reduceren door data center uit te sluiten.
14:20: Geen impact gesignaleerd welke veroorzaakt werd door het verkeer. Vermoeden dat de oorzaak zat in het netwerk of interconnect problemen.
15:00: Om weer een werkende situatie te creëren is er besloten om tijdelijk al het verkeer stop te zetten en de wachtrij van het belverkeer leeg te maken.
15:03: Verkeer kwam langzaam weer tot stand.
15:10: Normale aantallen van verkeer was weer zichtbaar. Er bleven echter veel foutmeldingen zichtbaar. De foutmeldingen werden verder onderzocht naar de oorzaak hiervan.
15:35: Na onderzoek van de foutmeldingen is de oorzaak herleid naar het ontbreken van een codering die de route bepaald. Het ontbreken van deze codering zorgde ervoor dat de gesprekken niet de juiste route konden volgen waardoor deze verkeerd werden afgeleverd.

Workaround ingesteld om het verkeer weer te herstellen. Door de workaround waren de foutmeldingen opgelost en kwam het verkeer langzaam weer tot stand.
15:50: Configuratie van apparatuur is gecontroleerd en hierin werd geconcludeerd dat er een aanpassing is doorgevoerd welke terug te leiden is naar het begin van de verstoring.
16:17: Configuratie is weer volledig hersteld en alle verkeer is weer teruggebracht naar regulier.
16:17: Verstoring opgelost. Enkele gevallen diende nog handmatig hersteld te worden welke door de supportdesk zijn hersteld.