Frontpage

Rolling back-ups van VM’s met Proxmox

In de afgelopen weken is Tuxis bezig geweest met het testen van Proxmox als vervanger van Archipel, wat op dit moment gebruikt wordt om de VM’s van klanten aan te maken en te bedienen. Proxmox is een product dat al meer ontwikkelingstijd heeft en goed geschikt is om complete clusters mee te beheren. Daarnaast zouden klanten ook zelf een login kunnen krijgen om op die manier op eenvoudige wijze hun VM te bedienen.

Proxmox heeft ook back-upfunctionaliteit ingebouwd. De back-ups worden niet gemaakt vanuit de VM, wat Tuxis Online Back-up wel doet, maar de back-up wordt van de gehele disk gemaakt, zonder dat dat te merken is in de VM zelf. Voor dagelijkse back-ups heeft dit wat nadelen. Zo kun je geen losse files restoren, waardoor je eigenlijk de complete disk terug moet zetten. Online back-up blijft dus nog steeds een belangrijk onderdeel van de dienstverlening van Tuxis (u krijgt bij iedere VM die u afneemt, 10GB back-upopslag tot uw beschikking). Maar voor disaster-recovery is de back-up van de gehele disk (en de configuratie van de VM voor Proxmox) wel heel erg handig!

Proxmox laat je instellen wanneer je back-ups wilt maken, en waarvan. Maar in de praktijk houdt dat in dat je zelf moet bijhouden wie je back-upt, en wanneer. Je kunt ook niet aangeven wanneer de back-up moet stoppen met draaien. En dat kan weer (negatieve) gevolgen hebben voor de snelheid van de centrale storage. Daarom heeft Tuxis pmrb geschreven.

Wat doet pmbr?

pmbr staat voor “ProxMox Rolling Backups”. Het is de bedoeling dat het script op iedere machine die Proxmox draait geinstalleerd en geconfigureerd wordt zodat het door Cron op gezette tijden gedraaid wordt.
root@proxmox1-1:~# pmrb --help

This script will provide you with rotating backups of your VMs. It will make
sure to create backups if the oldest backup is too old. However, it will not
start new backups if it is too late to avoid performanceissues with your
storage.

Options:
pmrb [--dry-run] [--verbose] [--notafter <HH:MM>] [--maxage <weeks>] [--storage <pool>] [--email <emailaddress>]
--dry-run Don't actually run the backup. Just show which machines would be backed up
--verbose Add some extra output
--notafter Do not start a backup after HH:MM
--maxage Run new backups if the last VM-backup is older than <weeks> weeks
--storage Don't autodetect any storagepool that allows backups, use <pool>
--email Send an email to <emailaddress> for each backup
--help This help

Het accepteert een aantal opties waardoor het z’n doel bereikt: Zorg dat we van iedere VM een diskimage hebben van maximaal X-weken oud, maar voorkom onnodige load op de productiestorage op productiemomenten.

Als je pmbr start, gaat het twee dingen doen:

  1. Bepaal in welke Proxmox storagepool we de back-ups gaan plaatsen
  2. Inventariseer welke VM’s er op deze machine draaien en zet die in een lijst
  3. Sorteer de volgorde van te back-uppen machines op basis van deze voorwaarden
    • Als er een back-up van de VM is die jonger is dan <weeks>, haal de machine dan uit de lijst van te back-uppen machines
    • Als er nog geen back-up van de VM is, zorg dan dat deze bovenaan het lijstje van te back-uppen machines komt te staan
    • Sorteer de rest van de machines op basis van ‘hoe jonger de back-up, hoe lager op de lijst’
  4. Begin met het maken van back-ups, maar alleen als het niet later is dan <HH:MM>

Je kunt pmbr dagelijks draaien. Het gaat namelijk niets doen op het moment dat de back-ups jong genoeg zijn. Zodra er een nieuwe VM op het platform bijkomt, zal deze automatisch bij de eerst volgende run geback-upt worden. Als een back-up wel te oud is, zal er een nieuwe back-up gemaakt worden. Omdat het (in de meeste gevallen) niet zal lukken om alle machines in één run te back-upppen, ontstaat er vanzelf een verdeling van de load van het back-uppen over de verschillende momenten dat pmbr draait.

Cool, hoe kom ik aan pmbr?!

Je kunt pmbr downloaden via Tuxis z’n publieke HG-repository. Tips en feature-requests zijn natuurlijk altijd welkom. 🙂

Algemeen

Makkelijk back-ups maken voor Ubuntu met Déjà Dup

Hoewel Tuxis niet 100% overtuigt is van de nieuwe interface van Ubuntu (Unity), heeft Ubuntu 11.10 wel wat anders dat een flinke verbetering is: Déjà Dup

Déjà Dup kan naadloos aansluiten op de online back-updienst van Tuxis. Door deze twee producten te combineren ontstaat een extreem eenvoudige manier om je Ubuntu desktop veilig te back-uppen.

Déjà Dup is eigenlijk een grafische schil om het programma Duplicity. Duplicity maakt (als dat gewenst is) versleutelde back-ups. Het is mogelijk om volledige back-ups te maken, maar ook incrementele. En dat scheelt in de hoeveelheid dataverkeer die nodig is.

Met Déjà Dup hoef je hier niet over na te denken, die maakt af en toe een volledige back-up en regelmatig incrementele. Hiermee voorkomt het dat je grote problemen hebt als je (enige) volledige back-up corrupt is.

Configuratie

Het configureren van Déjà Dup is een makkie. Als je een standaard desktop van Ubuntu 11.10 voor je hebt, klik je in de balk aan de linkerkant van het scherm op ‘System Settings’.

In het scherm dat dan verschijnt staat links onderin een icoontje met het onderschrift ‘Backup’. Ook hier klikken we op.
We krijgen nu het overzichtsscherm van Déjà Dup. We kunnen kiezen uit het herstellen van bestanden die al in de back-up staan, of het instellen van de back-up. Omdat we nog geen instellingen hebben gedaan, klikken we natuurlijk op ‘Just show my backup settings’.

We krijgen een overzichtsscherm waar we de huidige instellingen zien. Standaard wil Ubuntu natuurlijk naar Ubuntu One back-uppen, dus dat gaan we aanpassen. We klikken op ‘Storage’.

Bij ‘Backup location’ klikken we op het pijltje aan de rechterkant, en kiezen we ‘FTP’. (Om de een of andere reden lijk je dit twee keer te moeten doen). We kunnen nu de instellingen van Tuxis Online Back-up invoeren:

  • Server: backup.tuxis.nl
  • Port: 21
  • Folder: /
  • Username: je Tuxis Back-up gebruikersnaam

Als je wilt kun je in het scherm ‘Folders’ nog wat specifieker instellen welke mappen je wilt back-uppen, of welke juist niet. Standaard wordt de je hele gebruikersmap exclusief ‘Trash’ en ‘Downloads’ geback-upt.

Terug naar het schermpje ‘Overview’ zie je nu dat de instellingen aangepast zijn. Door op het schuifje bij ‘Automatic backups’ te klikken kun je zorgen dat Déjà Dup wekelijks back-ups maakt zonder dat je ernaar om hoeft te kijken. Wil je vaker back-uppen? Pas dan de instellingen in het scherm ‘Schedule’ aan.

Als je erop klikt, zal er links in de taakbalk een icoontje gaan schommelen, vragend om aandacht. Als je daarop klikt word je om een wachtwoord gevraagd. Het gaat hier om het wachtwoord voor FTP-toegang bij Tuxis.

De volgende vraag is een verzoek om een wachtwoord voor de versleuteling. ONTHOUDT DIT WACHTWOORD GOED, ZONDER DIT WACHTWOORD KUN JE GEEN BESTANDEN HERSTELLEN! Déjà Dup maakt nu z’n eerste back-up!

Bestanden herstellen

Makkelijk bestanden kunnen back-uppen is natuurlijk leuk, maar vaak niet echt het probleem. Het herstellen van verloren/beschadigde bestanden moet zo makkelijk mogelijk zijn. Déjà Dup slaagt er goed in dit erg makkelijk te maken.

Zoals je ziet wordt het bestand ‘hallowereld.odt’ verwijderd. En dat terwijl het een enorm belangrijk bestand is! ;).

Het herstellen van dit bestand is kinderlijk eenvoudig. In het scherm waar het bestand stond, klikken we met de rechter muisknop en kiezen we de optie ‘Restore missing files’. Déjà Dup gaat scannen in de back-up en vergelijkt de huidige directory met de directory in de back-up. Hij ziet vrij snel dat ‘hallowereld.odt’ niet meer in de huidige directory staat en dit bestand kunnen we dan ook selecteren om te herstellen. Na een klik op ‘Forward’ gaat Déjà Dup aan de slag en laat weten dat de restore gelukt is.

Terug naar een vorige versie

Het is ook mogelijk om terug te gaan naar een vorige versie van een bestand. Het bestand ‘hallowereld.odt’ is even aangepast zodat hij anders is dan de vorige keer en er is een nieuwe back-up gemaakt. Als we met de rechter muisknop klikken op het bestand, zien we de optie ‘Revert to Previous Version…’. Déjà Dup vraagt je waarvandaan het herstellen gedaan moet worden, in de meeste gevallen zal een klik op ‘Forward’ voldoende zijn. Vervolgens gaat Déjà Dup op zoek naar back-ups waar dit bestand in zit en daar kun je dan uit kiezen. Klik op ‘Forward’, bekijk in de samenvatting of alles klopt en klik op ‘Restore’. Déjà Dup doet z’n ding, en je bestand zoals je hem wilde hebben is weer terug.

Conclusie

Ubuntu heeft er goed aan gedaan om Déjà Dup als standaard back-upprogramma in Ubuntu 11.10 te stoppen. Het werkt goed, je bestanden zijn veilig en het is kinderlijk eenvoudig om bestanden terug te zetten. Helaas is het nog niet zo makkelijk om ditzelfde truukje in Ubuntu 10.04 (de LTS-versie) te doen. Het maken van een back-up is daar in principe net zo makkelijk, maar Déjà Dup zit daar nog niet zo in de filemanager verwerkt. Het restoren van individuele bestanden moet dan nog via een terminal. Nog steeds niet erg ingewikkeld voor sommige gebruikers, maar voor de massa sub-optimaal. Laten we hopen dat dit wel in een update gestopt wordt.