Een storage node van ons Ceph cluster had vannacht een storing. Hierdoor had het virtualisatiecluster geen storage. De meeste VPS-en bleven wachten tot de storage weer werkte en waren snel weer up. De Kerio Connect en Operator servers hadden er meer last van. Een flink aantal Connect servers en alle Operator servers gingen daardoor in storing.
Onderhoud netwerk
Aanstaande nacht, woensdag 22 juni 2016 tussen 0.00 en 3.00 uur, zal Tuxis onderhoud uitvoeren aan het netwerk. Een aantal onderdelen zullen geüpgraded of uitgebreid worden.
Uitbreiding 10Gbit Ring
In verband met de groei van het aantal benodigde poorten zal onze 10Gbit ring uitgebreid worden met een extra switch. Hiervoor wordt de ring tijdelijk onderbroken, waarna de nieuwe switch in de ring wordt opgenomen. Dit zou geen onderbreking in de dienstverlening moeten veroorzaken.
Upgrade firewall
De firewall die een heel aantal machines van externe connectivity voorziet zal worden voorzien van de laatste versie van de software. Dit zal mogelijk een onderbreking van enkele minuten voor ons webhostingplatform tot gevolg hebben.
Upgrade router
Een van de twee routers die het netwerk van Tuxis met de buitenwereld verbindt zal worden voorzien van de laatste versie van de software. Dit zal mogelijk een aantal onderbrekingen van een paar seconden tot gevolg hebben.
Mocht u vragen hebben naar aanleiding van deze aankondiging, dan kunt u contact met ons opnemen via de chat, 0318 200208, of info@tuxis.nl.
Storing iscsi laag
Vanavonpd om 23:35 is op een van onze VPS nodes een storing opgetreden naar de storage toe. Door deze storing sprongen een aantal VPS’en op deze node naar een read-only disk, waardoor ze een reboot nodig hadden.
We hebben alle machines die op de node draaiden voor zover mogelijk gecontroleerd of ze weer helemaal in orde waren. Mocht er onverhoopt toch nog een probleem met uw VPS zijn, dan kijken we daar graag naar.
Onze excuses voor de eventuele overlast die deze storing voor u veroorzaakt heeft.
Storing VPS node
Vanmorgen tussen is om 5:57 uur op een van onze VPS nodes een storing opgetreden naar de storage toe. Door deze storing sprongen een groot deel van de VPS’en op deze node naar een read-only disk, waardoor ze een reboot nodig hadden.
We hebben alle machines die op de node draaiden voor zover mogelijk gecontroleerd of ze weer helemaal in orde waren. Mocht er onverhoopt toch nog een probleem met uw VPS zijn, dan kijken we daar graag naar.
Uiteraard wordt de oorzaak van deze storing onderzocht en zullen passende maatregelen genomen worden om een herhaling te voorkomen. Onze excuses voor de eventuele overlast die deze storing voor u veroorzaakt heeft.
Disk defect in één van de nodes
De disk is inmiddels vervangen en aan het resyncen.
Aankondiging onderhoud, BIT-1 verhuizing
Aanstaande nacht, woensdag 21 oktober 2015 tussen 0.00 en 5.00 uur, zullen we ons halve rack op BIT-1 verhuizen naar een heel rack op diezelfde locatie. In de afgelopen weken hebben we voorbereidingen getroffen voor een 10Gbit ring tussen BIT-1, BIT-2A en BIT-2C. De laatste stap in dat traject is het verhuizen van het rack.
backup.tuxis.net en onze Diskbay Online server zullen tussen 22.00 en 0.00 verhuisd worden, aangezien die vooral vanaf middernacht aan het werk gaan.
Na dit onderhoud kunnen wij u colocatie aanbieden op drie locaties; BIT-1, BIT-2A en BIT-2C.
Aankondiging spoedonderhoud
In verband met de storingen van vanmorgen en gisterenmorgen, en naar aanleiding van een kleine issue die bij het onderhoud vannacht is opgetreden zal Tuxis aanstaande nacht tussen 0.00 en 2.00 uur wederom onderhoud uitvoeren.
1: Op de verbinding tussen de nieuwe switches en een van de routers zal een andere poort op de router in gebruik genomen worden. Hierbij wordt geen downtime verwacht.
2: De verbinding tussen de iscsi-storage en de rest van het cluster zal anders ingericht worden. Het vermoeden bestaat dat er in het OS op de storageserver een bug bestaat, waardoor de verbinding sporadisch gedurende enkele minuten wegvalt, wat de downtime aan de VPS’en veroorzaakt. Vannacht zullen alle VPS’en die gebruik maken van deze netwerkopslag preventief uitgeschakeld worden. Na het opnieuw configureren van de verbindingen zal iedere VPS weer ingeschakeld worden.
Rest ons om u onze excuses aan te bieden voor de overlast die de storingen de afgelopen twee dagen hebben veroorzaakt. We zijn hard op zoek naar de oorzaak van het probleem en hopen de vinger snel op de zere plek te krijgen.
Aankondiging netwerk onderhoud
Op woensdag 1 april zal Tuxis onderhoud uitvoeren aan het netwerk. De nieuwe switches die in januari in gebruik zijn genomen voor de eigen infrastructuur zal voor alle klanten beschikbaar gemaakt worden. Deze nieuwe switches zijn in een `stack`-configuratie opgenomen, zodat de switches elkaars taken over kunnen nemen in geval van uitval van een van de stack-leden. Hierdoor kan het voor u extra interessant zijn om een dubbele uplink af te nemen.
Vanaf 0.00 uur zullen alle machines losgekoppeld worden van de huidige switches en aangesloten worden op de nieuwe switches. Hiervan kunt u een aantal minuten downtime ondervinden. We hopen het hele onderhoud om 4.00 afgerond te hebben.
Ook de verbinding tussen BIT-1 en BIT-2 zal gedurende enkele minuten onderbroken worden. Als u synchronisatie tussen de twee locaties doet, let u er dan op dat dit ook na deze ‘split-brain’-situatie weer naar behoren werkt!
De router op BIT-1 zal gedurende dit onderhoud losgekoppeld worden van externe partijen, om te voorkomen dat er verkeer binnenkomt dat niet afgehandeld kan worden. Na het in gebruik nemen van de nieuwe switches zal de router op BIT-1 geupgradet worden naar de laatste versie van de routersoftware.
Overigens zullen we begin mei onze verbinding met NL-IX/JointTransit upgraden naar 1 Gbit, om in de groeiende vraag naar bandbreedte te voorzien.
Onderhoud: Aanpassing iscsi-instellingen
Op woensdag 18 maart tussen 0.00 en 1.00 uur zal Tuxis onderhoud uitvoeren aan de iscsi-instellingen van onze virtualisatieservers. Naar aanleiding van de storing van afgelopen zondag zullen een aantal instellingen gewijzigd worden waardoor korte downtime aan het storagenetwerk geen extra impact op de dienstverlening heeft.
Door dit onderhoud verwachten we geen onderbrekingen in de dienstverlening.
Onderbreking storage
Vanmiddag is tussen 12.06 en 12.17 uur een onderbreking geweest in de netwerkconnectivity van onze storageserver. De reden hiervan is onduidelijk, zowel de switch als de server zelf hebben er niets over gelogd.
Na 12.17 uur hebben alle betrokken onderdelen zichzelf weer helemaal hersteld, maar helaas is de onderbreking lang genoeg geweest om ervoor te zorgen dat veel VPS’en in paniek geraakt zijn of hun disken read-only gemount hebben. Dit is een nieuw verschijnsel, sinds we eind vorig jaar begonnen zijn met de overstap naar iScsi voor ons storageplatform. Deze week zullen we in een nachtonderhoud een aantal instellingen wijzigen waardoor een onderbreking van de iScsi service niet dergelijke grote gevolgen heeft.
Deze storing heeft van 12.06 tot 14.05 geduurd. Onze excuses voor de eventuele overlast die deze storing veroorzaakt heeft.
Origineel bericht:
Zojuist om 12.20 uur is er een onderbreking van de storage server geweest.
Dit is inmiddels opgelost. Sommige servers hebben nog last van deze onderbreking. Deze worden nu herstart.
Update 13:15
Alle klant VPS-en en Kerio in de Cloud en Tuxis Cloud diensten draaien weer. Het sharedhosting platform is het enige dat nog niet beschikbaar is.