De technische dienst van de KU Leuven heeft besloten na de overstroming van de kelder van residentie Holleberg haar 5-jaarlijkse controle van de elektriciteit te vervroegen naar maandag 19 september. Hun verwachting is dat er onderbrekingen zullen zijn van 6u tot 9u ‘s morgens. Vanaf 6u zullen er ULYSSIS medewerkers ter plaatse zijn om ervoor te zorgen dat het uitschakelen van de servers vlot verloopt en de downtime zo veel mogelijk beperkt wordt.

Op zondag 28 augustus rond 9u30 ontvingen we de eerste meldingen dat onze systemen op batterij waren overgeschakeld omdat er problemen bleken te zijn met de stroomtoevoer. Hierop werd contact opgenomen met één van onze sleutelhouders om ter plekke te gaan. Omdat slechts één van onze twee stroomkringen problemen leek te hebben, werd gedacht aan een probleem met de zekering of een kortsluiting. Vervolgens liepen de batterijen van onze UPS volledig leeg om 10u, terwijl onze medewerker onderweg was naar onze serverruimte. Van op afstand hadden we nog net de databases uit kunnen zetten voor dit gebeurde, om de kans op corruptie te minimaliseren.

Eens ter plaatse bleek er veel meer aan de hand dan enkel een simpel probleem met de elektriciteit. Al verschillende medewerkers van de technische dienst van de KU Leuven waren via permanentie opgeroepen vanwege een grootschalig lek in de residentie waaronder onze serverruimte gevestigd is. Tussen de eerste en tweede verdieping was, om een tot op heden nog steeds onbekende reden, een toevoerbuis van water naar enkele koten gesprongen. Het water was vervolgens doorheen de muren gesijpeld naar de koten van de eerste verdieping en daarna naar de kelderverdieping. Doordat er slechts weinig bewoners in residentie Holleberg aanwezig waren, was er een sterk vermoeden dat het lek al enkele uren of zelfs dagen eerder was ontstaan.

Op het moment dat onze medewerker ter plaatse kwam, was gelukkig de toevoer naar de bewuste buis toe reeds afgesloten en werd op verschillende plekken al water weggepompt door de KU Leuven. Vervolgens stelde hij vast dat er ongeveer 5cm water stond in onze serverruimte. Onze tweede stroomvoorziening, zowel als de elektriciteit voor onze koeling, bleken geen last te ondervinden van het lek. Toch werd er besloten om alle stroomvoorziening tijdelijk uit te schakelen voor de veiligheid. Ook bleek er geen enkel toestel beschadigd (na een eerdere overstroming 5 jaar geleden werden alle servers immers op 10cm hoogte geplaatst).

Doorheen de rest van de voormiddag en middag werden leden van ULYSSIS en medewerkers van de technische dienst opgetrommeld om de gehele kelderverdieping leeg te pompen. Rond 12u werd vastgesteld dat er water in één van onze stroomkringen gelekt zou zijn. Daarom besloten we enkele servers uit te schakelen en onze diensten tijdelijk beschikbaar te maken vanaf één stroomkring. Ook de koeling en de stroomvoorziening van het lokaal van ICTS werden door onze medewerkers opnieuw ingeschakeld.

Uiteindelijk werd op woensdag 31 augustus de tweede stroomkring zonder problemen opnieuw ingeschakeld. We blijven in overleg met de technische dienst van de KU Leuven om eventuele werken of veranderingen naar aanleiding van deze situatie op te volgen.

We hebben jammer genoeg gemerkt dat onze communicatie bij de downtime van 2014 bij sommige kringen en organisaties niet altijd goed is doorgegeven aan de webmasters van daaropvolgende academiejaren. Ook konden ze niet op tijd ingaan op onze herinnering van enkele weken voor de downtime van deze zomer. Daardoor bleken een aantal websites nog gebruik te maken van php_mysql of andere elementen van PHP die al een tijdje verouderd zijn en waarvan was aangegeven door de ontwikkelaars van PHP dat ze gingen verdwijnen. (deprecated). Intussen zijn deze elementen ook verwijderd.

Om gebruikers die het slachtoffer zijn geworden van miscommunicatie eenvoudiger te kunnen helpen, hebben we daarom besloten tijdelijk een PHP 5.5-webserver online te plaatsen. Met deze server kunnen websites die niet werken met PHP 7 tijdelijk bezocht worden. Het is de bedoeling dat op die manier installaties van WordPress, Drupal of Joomla kunnen geüpdatet worden, alsook de plugins, modules, extensies of themas die mogelijk niet werken met PHP 7.

Gebruikers die eigen code gebruiken of een systeem dat niet kan worden geüpdatet, kunnen hun gegevens afhalen via de tijdelijke PHP 5.5-webserver en overzetten naar iets wat wel met PHP7 werkt.

Instructies hoe de PHP 5.5-webserver te gebruiken, vind je op https://docs.ulyssis.org/Temporary_PHP_5.5_server
Let op: de PHP 5.5-webserver zal maar beschikbaar blijven tot 31 juli 2016.

Tijdens het weekend van 25 en 26 juni voerden we upgrades op bijna al onze servers uit van Ubuntu 14.04 LTS naar 16.04. Zo schakelden we over naar systemd als init-systeem en namen we PHP7, MariaDB 10.0 en PostgreSQL 9.5 in gebruik. Vele programmeertalen werden ook geüpgradet.

Bekende problemen en hun oplossing:

• De upgrade van PHP 5.5 naar PHP 7.0 brengt enkele grote veranderingen met zich mee. De al gedurende lange tijd als verouderd gemarkeerde onderdelen zoals php_mysql en ereg zijn eindelijk verwijderd. Deze elementen logden al 2 jaar E_DEPRECATED errors.
• Verschillende users hebben problemen gemeld met SSH en SFTP. Na verder onderzoek bleken er veranderingen te zijn aan PAM/NSS waardoor correcte logins verkeerd werden gelogd. Hierdoor werden connecties toch geblokkeerd door fail2ban na enkele pogingen. Fail2ban werd uitgeschakeld en we werken aan een configuratiewijziging.
• Enkele zeer oude accounts ondervinden problemen met MariaDB 10.0. Concreet gaat het over errors over authenticatie, de password hash of een malformed packet. Al deze errors worden veroorzaakt door hetzelfde onderliggend probleem. Zeer oude accounts die al zeer lang hetzelfde MySQL wachtwoord gebruiken hebben zo een oude password hash in de database server dat MySQL weigert connecties te aanvaarden voor die user. De oplossing is om je wachtwoord opnieuw in te stellen via UCC, zodat de hash wordt vervangen. Je kan hetzelfde of een ander wachtwoord gebruiken.
• De upgrade van Python 3.4 naar Python 3.5 kan problemen meebrengen met paden en virtual environments. Pas dus je paden aan als je python3.4 had gehardcode. Gebruik je een venv? Probeer dan je venv te updaten naar 3.5 paden met python3.5 -m venv –upgrade ENV_NAME. Als dat niet werkt zal je de virtual environment moeten heraanmaken (inclusief dependencies).
• Verschillende andere programmeertalen en stukken software kregen een update. Merk je toch nog een ander probleem op, stuur ons dan zeker een bericht op ulyssis@ulyssis.org

Updates en toekomstmuziek:

• ULYSSIS biedt al enkele jaren toegang tot het ULYSSIS/Kotnet IRC netwerk via webirc.ulyssis.org. De oude software, qwebirc, was sterk verouderd en werd vervangen door The Lounge WebIRC.
• phpMyAdmin werd bijgewerkt naar versie 4.6
• Er staat een update gepland naar GitLab 8.9. Daardoor kan gitlab.ulyssis.org mogelijks kort ontoegankelijk zijn.
• We zijn druk in de planfase van ons nieuw controlepaneel dat het verouderde UCC zal vervangen.  We hebben al heel wat feedback van verschillende gebruikers gebundeld. Heb je toch nog een bepaalde suggestie of vraag? Laat ons iets weten op ulyssis@ulyssis.org