Suoritimme yöllä tarpeellisen reitittimen vaihdon kasvattaaksemme kapasiteettia vastaamaan kasvanneisiin asiakas- ja liikennemääriin. Huolto oli valmisteltu huolellisesti ja se suoritettiin keskiyön jälkeen, jotta se aiheuttaisi mahdollisimman vähän haittaa asiakkaillemme. Puolisen tuntia kestäneen katkoksen jälkeen huolto oli valmis, reititin vaihdettu ja liikennemäärät ja dhcp-leaset vaikuttivat palanneen normaalitasolle, joka toki yöaikaan ei ollut tarkkaan arvioitavissa. Kaikki vaikutti toimivan, joten tässä vaiheessa huoltohenkilöstö vetäytyi yöpuulle.
Aamulla tuli kuitenkin useita vikailmoituksia, jotka liittyivät selvästi vaihdetun laitteen kautta kulkevaan palveluun. Itse laitteessa ei näyttänyt olevan vikaa, siinä oli asiakkaita kiinni ja liikenne soljui, mutta jotain oli pielessä. Melko pian ongelma saatiin rajattua tiettyyn asiakasryhmään. Ongelma koski vain niitä asiakkaita, jotka oli kytketty ennen viime syksyn nielupäivitystä ja jotka olivat valinneet priva-ip reitityksen ja eivät olleet pk-seudulla 09-metro alueella. Tämä yhdistelmä muodosti ketjun, jolla liikennöinti ei onnistunut koko matkalta asiakkaalta reitittimelle. Syyksi paljastui tietoturvamielessä tehty esto yhdessä kytkimessä kahden portin välillä, joka oli paikallaan vanhalla kokoonpanolla, mutta esti osan tarpeellista liikennettä uudella kokoonpanolla.
Kun syy oli paikannettu, korjaus oli helppo ja saatiin nopeasti toteutettua.
Otamme tästä opiksi ja tutkimme jatkossa tarkemmin miten eri liikennevirrat koko verkon läpi kulkee ja mitä vaikutuksia muutoksilla on yksittäisiin liikennevirtoihin.
Pahoittelut katkoksesta.