SPOEDONDERHOUD: Router reboot om 9.30 uur

Vanmorgen om 8.15 is er een incident opgetreden op onze verbinding naar onze transitprovider en NL-IX. Om onduidelijke redenen is het bgp-proces op de aangesloten router een paar minuten later gecrasht. Op dit moment ondervindt ons netwerk daar niet direct problemen van, maar om dit te voorkomen zullen wij om 9.30 vanmorgen de router rebooten.

Dit kan tot gevolg hebben dat de verbinding naar uw server/dienst gedurende enkele minuten niet, of minder goed, functioneert.

Na de reboot zou alles weer als vanouds moeten doordraaien. Onze excuses voor de overlast.


De router in kwestie wil niet booten, waarschijnlijk door een probleem met de disk.

Alle taken zijn overgenomen door de andere router. Mocht u nog problemen ondervinden, dan willen we u vriendelijk verzoeken een e-mail te sturen naar support@tuxis.nl, of even te bellen naar 0318 200208.

Nogmaals onze excuses voor de overlast.


Op zaterdag 14 maart tussen 0.00 en 1.00 uur zal deze router weer in productie genomen worden. We hebben van deze onfortuinlijke situatie gebruik gemaakt om de machine direct van de nieuwste software te voorzien. Bij het opnieuw in gebruik nemen van de router voorzien we geen noemenswaardige onderbrekingen in de diensten. Wel zullen we van deze gelegenheid gebruik maken om de router direct op onze nieuwe switches aan te sluiten.

Storing: iscsi wegvallen

Door een probleem met iscsi is vanmorgen rond ongeveer 8.00 uur is van een aantal virtuele servers van zowel Tuxis als klanten de iscsi-storage weggevallen.

Voor de meeste betrokken machines betekent dit dat ze niet meer beschikbaar zijn. Alle machines werden rond 9.00 uur nagelopen om ze weer 100% up en running te krijgen.

Om 9.45 uur waren alle machines gecontroleerd en weer helemaal ok.

Actiepunt: De monitoring voor dergelijke storingen zal verder aangescherpt worden.

Onze excuses voor de overlast.

Onderhoud: backup.tuxis.nl

Zometeen zal Tuxis onderhoud uitvoeren aan backup.tuxis.nl. Normaliter doen we onderhoud ’s nachts, maar omdat deze server vooral ’s nachts zijn werk moet doen kiezen we voor dit moment.

De machine zal worden voorzien van nieuwe hardware, zodat we de huidige en toekomstige groei makkelijk aan kunnen. We verwachten dat de machine voor 18.00 uur weer up-and-running is.

Storing: Webhostingplatform

Op dit moment ervaren wij slechte performance op het webhosting platform. We zijn op zoek naar de oorzaak van dit probleem. Meer nieuws volgt.


Update 12.26: De oorzaak is gevonden en afgesloten. We ondervinden echter nog problemen van de nasleep.


Update 12.45: De webhostingdienst is weer functioneel. Vannacht volgt waarschijnlijk spoedonderhoud om alle functionaliteit weer mogelijk te maken.

Excuses voor de eventuele overlast die deze storing veroorzaakt heeft.

Aankondiging onderhoud VPS Cluster 5 februari 2015

Op 5 februari 2015 zal Tuxis tussen 0.00 en 4.00 uur onderhoud uitvoeren aan het VPS Cluster. In dit onderhoud zal het cluster op nieuwe switches aangesloten worden, die in de komende weken de oude switches zullen vervangen.

De netwerkconfiguratie van de clusternodes zal aangepast worden, waardoor ze redundant op de switchstack aangesloten worden. Hierdoor zal een storing aan een van de switches minder overlast veroorzaken aan het VPS cluster.

Daarnaast zal de storage voor het VPS cluster uitgebreid worden. Er zal 10TB extra storage aangesloten worden.

De overlast door dit onderhoud zal geminimaliseerd worden door de VPS’en heen en weer te migreren tussen de verschillende nodes. Mogelijk ondervind u enkele minuten downtime aan uw VPS door de wijzigingen aan de storageserver.

Aankondiging onderhoud servers 4 februari 2015

Op woensdag 4 februari zal Tuxis onderhoud uitvoeren op vrijwel alle diensten. In verband met het GHOST-lek dat vorige week ontdekt is zullen alle servers van de laatste updates worden voorzien.

Ook alle klantenmachines die voorzien zijn van een onderhoudscontract zullen woensdagochtend geupdated worden, inclusief alle Kerio in de Cloud machines. Dit is een week eerder dan normaal, deze updateronde zal dan ook de ronde van volgende week vervangen.

Dit onderhoud zal tussen 0.00 en 5.00 uur uitgevoerd worden. Mogelijk hebt u gedurende enkele minuten geen beschikking over onze dienstverlening.

Storing webhosting-platform

Door een probleem met de Mysql Clustering is er op dit moment een storing op het webhosting-platform. Op dit moment wordt het Mysql-cluster opnieuw opgestart, naar verwachting zal om 19.00 alles weer naar behoren functioneren.

Onze excuses voor de overlast.

Onderhoud bestandonline en storageserver

Op woensdag 12 november 2014 tussen 0.00 en 5.00 uur zal Tuxis onderhoud uitvoeren. In dit onderhoud zullen een aantal zaken uitgevoerd worden:

  • Alle bestandonline-gebruikers zullen gemigreerd worden naar een nieuwe server. Hierdoor zal de dienst Bestandonline gedurende het onderhoud niet beschikbaar zijn.
  • De nieuwe storageserver die vorige maand in gebruik is genomen zal getweaked worden om de performance nog verder te verhogen. Hierbij wordt geen downtime verwacht.
  • Van een aantal klantenmachines zal de opslag verhuisd worden naar de nieuwe storageserver. Ook hierbij wordt geen downtime verwacht.
  • Na de storing van vorige week moeten er nog een aantal puntjes op de i gezet worden. Ook hier wordt geen downtime verwacht.

Mocht u vragen hebben over dit onderhoud, schroomt u dan niet om contact met ons op te nemen via support@tuxis.nl.

RFO Netwerkstoring 31 oktober 2014

8:30: We constateren dat een groot gedeelte van onze diensten niet bereikbaar waren. Direct is er onderzocht waar het probleem lag. Wat opviel is dat beide locaties (BIT-1 en BIT-2) wel bereikbaar waren vanaf een aantal plekken op het internet, maar dat BIT-1 en BIT-2 elkaar niet konden bereiken.
De symptomen leken op de symptomen van de storing aan het OpenPeering netwerk vorige week, waardoor we even op het verkeerde been stonden. Na de constatering dat BIT-1 en BIT-2 elkaar niet konden bereiken zijn we direct naar het datacenter gereden.

8.45: Aangekomen in het datacenter blijkt dat een van de switches uitstaat. De oorzaak zal hoogstwaarschijnlijk de voeding zijn. Een poging om de switch uit- en weer inschakelen van de switch geeft geen solaas.
De switch in kwestie verzorgt naast de connectivity van een heel aantal servers ook de verbinding tussen BIT-1 en BIT-2. Doordat deze verbinding wegviel ontstond een zogenaamde ‘split-brain’-situatie. Beide locaties (BIT-1 en BIT-2) ‘werken’ op zich, maar trekken beide verkeer naar zich toe waar ze vervolgens niet helemaal mee uit de voeten kunnen. Op verzoek van Tuxis zijn de verbindingen op BIT-1 verbroken om de split-brain situatie te stoppen. Een gedeelte van de diensten op BIT-2 is toen weer gaan functioneren.

8.55: De enige oplossing: De switch moet vervangen worden. Een grote bundel kabels moet ook na de vervanging weer op de juiste plek aangesloten worden. Terwijl Ronald aan de slag gaat met het fysiek vervangen van de switch, begint Mark met het overnemen van de configuratie op de nieuwe switch.

10.00: Het gros van de poorten is weer actief en functioneert weer naar behoren. Wij verplaatsen ons naar kantoor om de configuratie helemaal af te ronden en te controleren of alles weer naar behoren functioneert.

Vragen die u wellicht hebt

  • Waarom geeft het wegvallen van een switch zo’n groot probleem?

    Bij het opzetten van het netwerk is een kosten-baten analyse gemaakt op basis van risico’s en de gevolgen van calamiteiten. Voor deze situatie is besloten een extra switch op voorraad te hebben (Cold Standby) die in geval van problemen ingezet kan worden. We kunnen constateren dat dit volgens planning gefunctioneert heeft. Binnen 2 uur was alles weer operationeel.

  • Zijn mijn servers herstart?

    Nee. Een gedeelte van de machines is welliswaar zijn opslag even ‘kwijt’ geweest, maar dat heeft geen gevolgen gehad voor de werking van de servers. Nadat de storage weer terugkwam is alles weer gaan functioneren.

  • Wat hebben jullie hiervan geleerd?
    • We zijn in staat om snel te analyseren wat het probleem is en daarop snel te acteren. De geplande oplossing voor dit specifieke probleem voldeed.
    • De split-brain situatie heeft meer kapot gemaakt dan nodig was. We gaan onderzoeken hoe we dit beter op kunnen lossen zodat klanten die op twee locaties diensten afnemen geen problemen ondervinden als zich op een van de twee locaties een dergelijke storing voordoet.
    • We zijn blij dat we een datacenter buiten de randstad en in de buurt van ons kantoor hebben. De aanrijtijd van 5 minuten is een grote bijdrage aan de snelle oplostijd van deze storing.

Aankonding onderhoud aan storage en klantenmachines

Op woensdag 8 oktober zal Tuxis tussen 0.00 en 5.00 uur onderhoud uitvoeren. Er staan een aantal acties op de planning:

1: In de afgelopen weken is een nieuwe storageserver in gebruik genomen. Langzaam maar zeker zijn meer virtuele servers van Tuxis overgezet naar deze nieuwe server. Tijdens dit onderhoud zal de server met een tweede poort op het netwerk aangesloten worden waardoor betere performance mogelijk gemaakt wordt.
2: Ook de laatste virtuele servers van Tuxis zullen overgezet worden naar de nieuwe storageserver.
3: De opslag van de Kerio in de Cloud-servers zal overgezet worden naar de nieuwe storageserver.
4: De ‘oude’ storageserver zal op een andere manier aangesloten worden op het netwerk.
5: Alle servers van klanten met een onderhoudscontract zullen worden geüpgraded.
6: Alle Kerio in de Cloud-servers zullen worden geüpgraded.

Alle servers die geüpgrade worden, zullen worden gereboot. Hierdoor wordt voor deze servers een downtime van een aantal minuten verwacht.

De Kerio in de Cloud-servers die Kerio Connect draaien zullen gedurende ongeveer één uur geen diensten leveren, vanwege het overzetten van de opslag.

Er wordt verder geen aanzienlijke downtime verwacht.

Mocht u vragen hebben over dit onderhoud, schroomt u dan niet om contact met ons op te nemen via support@tuxis.nl.