Het is woensdagmiddag rond de klok van 3 uur als de telefoon gaat. Jorg belt en vraagt of ik even tijd heb. Zijn server in Amsterdam had er geen zin meer in. Ik probeer in te loggen maar dat lukte al niet meer. Dan van afstand maar een reboot geven en hopen dat alles weer terug komt. Toen dit tien minuten later nog niet het geval was, belde ik een engineer in het datacentrum. Die was zo vriendelijk om even een monitor aan de server te hangen een diagnose te stellen: kernelproblemen en een netwerkkaart die het niet deed. Dat werd dus een ritje naar Amsterdam.

Rustig pak ik nog een kop koffie en begin de tas in te pakken om vervolgens de bus in te stappen naar het station. Snel even een hapje bij mijn favoriete Burger King en de trein in naar Amersfoort en dan verder naar Amsterdam Sloterdijk, om het laatste stukje de metro te pakken naar de Isolatorweg. Jawel, dis is maar een halte maar het scheelt je toch een kwartier lopen, zo lui als ik ben ik deze kou. Aangekomen bij het DCG datacentrum zie ik allemaal errors van kernelmodules die niet geladen kunnen worden. Ik kijk nog eens een keer en zie echt 2.6.9.x modules. Een kernel die al zeker twee jaar niet meer in gebruik is.

Ik start de server op in single user mode en zie dat de netwerkdrivers niet werken. Ai, dat is lastig omdat je dan ook handmatig geen nieuwe kernel kunt downloaden. Een Ubuntu cd-rom erin en daarvan opstarten dan maar. Ik configureerde netwerkkaart en helaas, de eerste ethernetpoort is ook echt overleden, de tweede werkt wel. Dan de omgeving maar chrooten. Ubuntu mist LVM2-drivers dus die installeer ik handmatig even met apt-get. Maar he, de raidcontroller is ook krak. Wel zie ik de twee disken (/dev/sda en /dev/sdb) rechtstreeks door de raid-controller heen. Iets dat niet zou mogen gebeuren.

De disken rechtstreeks op het moederbord aansluiten was geen optie: Een Supermicro P4SCi bord met een Intel Pentium 4, 2400 Mhz processor is vrij oud, maar diende toch goed als back-ups server voor mij en als Gelre FM web- en streamserver. Deze server schreef de back-ups eens per week weg naar een offsite locatie. Gezien de leeftijd van de server en de problemen heb ik maar besloten om deze niet meer te herstellen, maar de back-ups te restoren op een andere server binnen mijn VMware cluster in Doetinchem. Maar nu komt het probleem: Circa 40 Gbyte aan back-ups uploaden vanaf een 1 Mbit SDSL lijn gaat niet snel. Ik begin maar met het kopieren van de twee belangrijkste websites, die van de Arctic Challenge tour die over enkele dagan van start gaat en die van Gelre FM.

Terwijl de back-ups – inmiddels een week oud van 5 januari – langzaam worden teruggeschreven duik ik thuis mijn bed in. De volgende dag begin ik met de oude server om deze data toegangkelijk te maken, om zo de data tussen 5 januari (de laatste back-up) en 13 januari (de crash) te herstellen. Het gaat hier om databases, een paar afbeeldingen en wat e-mailberichten. Inmiddels is de upload van de twee websites klaar en kan ik deze herstellen, al is het inmiddels 24 uur later. Deze twee zijn weer bereikbaar. De oude server komt ook weer tot leven en ik sync de databases. Op wat downtime na lijkt er voor de buitenwereld verder niets aan de hand.

Toch staat er nog ca. 30 Gbyte aan data klaar en om dat te uploaden op een 1 Mbit DSL lijn is geen succes. Ik besluit de back-up server maar op te halen in Lichtenvoorde en sluit deze thuis aan op mijn Glasnet-aansluiting. Dat gaat toch iets sneller. De data wordt gekopieerd en ik kan mijn bed weer induiken, om de volgende dag deze websites ook te herstellen. Zo gezegd, zo gedaan. Inmiddels zijn we wel twee nachten verder en schrijf ik dit bvericht op zaterdagmiddag. Nu leg ik de laatste hand aan enkele afbeeldingen die nog missen en om enkele e-mails te herstellen.

Ik denk nog even terug aan het belletje van Jorg, of ik ‘even’ tijd had. Even is ruim 24 uur geworden, voornamelijk in de nacht en onsite in Amsterdam en Lichtenvoorde, naast mijn gewone werkzaamheden door. Is het toeval, dat dit 24 uur duurde en dat er ook 24 flesjes bier in een krat Grolsch zitten? Want zo worden deze vriendendienstjes meestal afgerekend. Het leermoment: zet geen back-ups op een thuis of kantoorlokatie, wanneer deze te groot zijn. Herstellen duurt dan een eeuwigheid. Inmiddels heeft Stijn een server opgeleverd in het i3D datacentrum in Rotterdam. Hoewel deze dienst moet doen als fallback-mailserver blijft er meer dan voldoende ruimte over om de back-ups hierheen te schrijven. Stijn bedankt voor de snelle service. Jorg, die krat bier drinken we leeg als je terugkomt van de Noordpoolcirkel. Nu eerst heerlijk weekend houden!