Wateroverlast 28 augustus 2016

Op zondag 28 augustus rond 9u30 ontvingen we de eerste meldingen dat onze systemen op batterij waren overgeschakeld omdat er problemen bleken te zijn met de stroomtoevoer. Hierop werd contact opgenomen met één van onze sleutelhouders om ter plekke te gaan. Omdat slechts één van onze twee stroomkringen problemen leek te hebben, werd gedacht aan een probleem met de zekering of een kortsluiting. Vervolgens liepen de batterijen van onze UPS volledig leeg om 10u, terwijl onze medewerker onderweg was naar onze serverruimte. Van op afstand hadden we nog net de databases uit kunnen zetten voor dit gebeurde, om de kans op corruptie te minimaliseren.

Eens ter plaatse bleek er veel meer aan de hand dan enkel een simpel probleem met de elektriciteit. Al verschillende medewerkers van de technische dienst van de KU Leuven waren via permanentie opgeroepen vanwege een grootschalig lek in de residentie waaronder onze serverruimte gevestigd is. Tussen de eerste en tweede verdieping was, om een tot op heden nog steeds onbekende reden, een toevoerbuis van water naar enkele koten gesprongen. Het water was vervolgens doorheen de muren gesijpeld naar de koten van de eerste verdieping en daarna naar de kelderverdieping. Doordat er slechts weinig bewoners in residentie Holleberg aanwezig waren, was er een sterk vermoeden dat het lek al enkele uren of zelfs dagen eerder was ontstaan.

Op het moment dat onze medewerker ter plaatse kwam, was gelukkig de toevoer naar de bewuste buis toe reeds afgesloten en werd op verschillende plekken al water weggepompt door de KU Leuven. Vervolgens stelde hij vast dat er ongeveer 5cm water stond in onze serverruimte. Onze tweede stroomvoorziening, zowel als de elektriciteit voor onze koeling, bleken geen last te ondervinden van het lek. Toch werd er besloten om alle stroomvoorziening tijdelijk uit te schakelen voor de veiligheid. Ook bleek er geen enkel toestel beschadigd (na een eerdere overstroming 5 jaar geleden werden alle servers immers op 10cm hoogte geplaatst).

Doorheen de rest van de voormiddag en middag werden leden van ULYSSIS en medewerkers van de technische dienst opgetrommeld om de gehele kelderverdieping leeg te pompen. Rond 12u werd vastgesteld dat er water in één van onze stroomkringen gelekt zou zijn. Daarom besloten we enkele servers uit te schakelen en onze diensten tijdelijk beschikbaar te maken vanaf één stroomkring. Ook de koeling en de stroomvoorziening van het lokaal van ICTS werden door onze medewerkers opnieuw ingeschakeld.

Uiteindelijk werd op woensdag 31 augustus de tweede stroomkring zonder problemen opnieuw ingeschakeld. We blijven in overleg met de technische dienst van de KU Leuven om eventuele werken of veranderingen naar aanleiding van deze situatie op te volgen.

Sponsors

Workshop Mailinglijst

Blijf op de hoogte van onze workshops door je in te schrijven op onze mailinglijst.

Twitter

Op 16 en 17 september voeren we onderhoudswerken uit aan onze servers. Meer informatie vind je op onze website en als accounthouder ook in je mailbox. https://ulyssis.org/2020/serveronderhoud-16-en-17-september/

Ons netwerk en dat van CWlab (beide KULnet zone X) ondervonden daarnet een korte storing van ongeveer 10 minuten door netwerkproblemen bij @ICTS_KULeuven die na telefonisch contact verholpen werden.

Load More...