fotolijn

Verklaring problemen HIT inschrijving zondag 27 januari 2019

Zondag 27 januari 2019 is de inschrijving van de HIT begonnen. Om 10.00 uur ging de inschrijving open en vrijwel direct waren er problemen met inloggen op Scouts Online. Via o.a. Facebook hebben we veel vragen gezien over deze problemen, waar we middels dit bericht antwoord op willen geven. Ook geven we toelichting op wat er vooraf aan voorbereiding is geweest.

Een veelgestelde vraag is: waarom is de inschrijving op zondagochtend opengegaan, in plaats van de vertrouwde 12.00 uur ’s nachts. Dan wordt het toch alleen maar nog drukker?

Het klopt dat de verwachte drukte op zondag groter is dan in de nacht, echter is het voor de vrijwilligers die onze servers beheren makkelijker om overdag toezicht hierop te houden, en te zoeken naar wat nu de oorzaak is van de problemen. Ook wilden we het de deelnemers besparen om lang wakker te moeten blijven om zich in te schrijven voor de HIT.

Een andere vraag die we veel voorbij hebben zien komen: dit moet toch beter kunnen?

Ja, dat moet inderdaad beter kunnen. De hoeveelheid mensen die Scouts Online bezoeken is echter nooit zo groot als bij de inschrijving van de HIT. Hierdoor is het moeilijk om vooraf goed te kunnen testen. We dachten goed voorbereid te zijn, dit bleek niet het geval.

Een aantal voorbereidingen die we hebben getroffen hebben betrekking op de programmatuur van Scouts Online. Na de inschrijving van HIT 2018 zijn we op onderzoek uitgegaan hoe de inschrijving beter kon en hebben we diverse zaken verbeterd. Zo hebben we wat ‘oude’ code uit gefaseerd die niet efficiënt geschreven was, en hebben we speciaal voor de HIT koppelingen geschreven waarmee ze statistieken op kunnen vragen over de inschrijving. Al deze verbeteringen hebben flinke positieve invloed gehad op de prestaties van Scouts Online.

Naast de programmatuur zijn we ook bezig geweest op het gebied van serverbeheer. Na de problemen met de inschrijving voor de HIT in 2018 is er het afgelopen jaar veel in het werk gesteld om deze problemen in 2019 voor te zijn. Zo zijn de onderliggende servers van een grote upgrade voorzien. Voorafgaand aan de inschrijving zijn de achterliggende database servers van meer processorkracht en geheugen voorzien.

De ochtend van de opening van de HIT inschrijving zaten beheerders klaar om snel in te kunnen grijpen bij problemen. Helaas bleek al snel dat er iets niet helemaal goed ging. Het speurwerk kon beginnen. De servers waar Scouts Online en de loginpagina op draaien bleken erg druk te zijn, veel drukker dan verwacht. In hoog tempo zijn de servers om de beurt uitgezet, van nog meer geheugen en processorkracht voorzien, en weer aangezet. Aanvankelijk leek dit te werken, echter bleek al snel dat er meer aan de hand was.

De servers bleven een erg grote belasting houden (Voor de techneuten een load van 120). Het vreemde was dat er geen processorkracht gebruikt werd. Ook het geheugen was meer dan genoeg. Hierna zijn verschillende handelingen uitgeprobeerd om de omgeving weer in de lucht te krijgen. Om overzicht te houden zijn de loginomgeving en Scouts Online gescheiden van elkaar en bleken de problemen te zitten in de loginomgeving.

Na meerdere uren van continu onderzoek, door het team wat inmiddels is uitgebreid met een aantal programmeurs van Scouts Online, was er een mogelijke oorzaak. Het probleem bleek in de opslag van de sessie-informatie te zitten. Hierin staat informatie wie er ingelogd is in de Scouting omgeving. Na het verplaatsen van de bestanden waarin deze informatie opgeslagen staat, naar een lokaal bestand in plaats van een centrale server, bleek de snelheid aanzienlijk te verbeteren en daalde de belasting aanzienlijk.

Een indicatie van hoe druk het zondag 27 januari was ten opzichte van een normale zondag:

 normale zondag zondag 27 januari 
 Normale zondag  Zondag 27 januari

 

Het netwerk verkeer van de SOL servers:

WhatsApp Image 2019 01 28 at 15.17.45

Zoals je ziet gaat iets voor 10.00uur de hoeveelheid netwerkverkeer al omhoog maar nog niet extreem. Iets voor 15.00uur is het probleem eindelijk gevonden en word de login portal beter bereikbaar. Daar zie je vervolgens een flinke piek in de netwerkbelasting.

Uiteraard hebben we weer veel geleerd van deze problemen en gaan we ook de komende tijd aan de slag om in de toekomst deze problemen te voorkomen. We hopen dat iedereen die goed is ingeschreven voor de HIT vooral een leuke HIT gaat beleven en dat we volgend jaar de problemen voor kunnen zijn.