🗑️ 👨🏽‍💻 👩🏿‍🤝‍👩🏼 Sauvegarde des données à l'aide d'un tas de FreeFileSync et 7-zip 😞 ♣️ 🕕

Anamnèse, pour ainsi dire:

serveur Fujitsu rx300 s6, RAID6 de 6 1 To de disques, XenServer 6.2 est en marche, plusieurs serveurs tournent, dont Ubunta avec plusieurs boules, 3,5 millions de fichiers, 1,5 To de données, tout cela grandit et gonfle progressivement.

Tâche: configurer la sauvegarde des données du serveur de fichiers, partiellement quotidiennement, partiellement hebdomadaire.
Nous avons une machine de sauvegarde Windows avec RAID5 (en termes de pauvreté, une unité système standard avec un contrôleur RAID intégré à la mère) plus un disque séparé de 2 To pour la copie intermédiaire de l'état actuel des fichiers. Vous pouvez utiliser n'importe quelle distribution Linux, mais cette machine était déjà en stock avec une baie RAID et une licence Windows.

Nous installons FreeFileSync sur le serveur de sauvegarde , configurons le «miroir» de tout dans une rangée de toutes les billes du serveur de fichiers une fois par jour dans la soirée après 18 heures en exécutant le planificateur.

Un point important: lors de l'enregistrement d'une tâche batch, il est obligatoire de cocher «Fermer la fenêtre de tâche à la fin», sinon les processus se multiplieront et se multiplieront.

Nous jetons des fichiers temporaires dans des exceptions de masque: * .dwl, * .dwl2, * .tmp.

FreeFileSync utilise très bien le réseau, la copie prend plusieurs flux, la vitesse atteint 80 Mb / s lors de la copie de gros fichiers, aucun branchement n'a été détecté sur les petits fichiers.

Nous effectuerons déjà l'archivage sur le serveur de sauvegarde local, au lieu du TheCopier utilisé précédemmentavec archivage sur un réseau. Au fait, TheCopier est super! Mais avec de tels volumes, il n'a tout simplement pas le temps de tout transférer, malgré l'interface de 1 Go sur la sauvegarde et de 2 Go sur l'interface de fichier (le lien de deux cartes réseau). SyncToy était

également utilisé auparavant , mais avec le nombre de fichiers de plus de 1,5 à 2 millions, il a cessé de fonctionner normalement, ne pouvait tout simplement pas faire face. Pour archiver les dossiers nécessaires, nous écrivons un fichier batch pour 7-zip : set now =% TIME: ~ 0, -3% set now =% now :: =.% Set now =% now: = 0% set now =% DATE: ~ - 4%.% DATE: ~ 3,2%.% DATE: ~ 0,2% _% maintenant% C: \ "Program Files" \ 7-Zip \ 7z.exe a -tzip -mx = 1 -mmt = on -mtc = off -ssw D: \ backups \ All \% now% _10-04.zip E: \ 10-04

C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\35-110
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta

:: a —
:: -tzip -t7z — ( zip 1.5-2 )
:: -mx=1 — (1 , 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on —
:: -mtc=off — ( , ..)
:: -ssw — ,
:: -xr!.Sync* — BtSync ,

La construction de set now =% et ainsi de suite vous permet d'enregistrer le format d'enregistrement de l'heure dans le nom de fichier sans les problèmes survenus lorsque le jour ou le mois était inférieur à 10, c'est-à-dire que nous substituons le zéro.

Commentaire -xr! .Sync * est le reste résiduel du BTSync utilisé à l' origine .

Jusqu'à 500 Go et 700 à 800 000 fichiers, BTSync ne fonctionnait toujours pas, synchronisé à la volée, mais aux volumes actuels, il consommait de la mémoire et des ressources processeur à la fois sur le serveur de fichiers ubunt et sur la sauvegarde Windows où il a été lancé par le service, et aussi simplement violé un système de disque avec lecture-écriture constante.

Bien que l'archiveur soit également 7-zip, nous l'archivons au format zip au lieu du 7z natif, car il est beaucoup plus rapide et il n'y a pratiquement aucune différence de compression avec mx = 1, il a été testé par de nombreuses expériences.

Les archives sont exécutées tour à tour.

Le nettoyage du dossier d'archivage s'effectue également via la tâche planifiée à l'aide de l'utilitaire fpurge, ne laissant les archives que depuis une semaine.
En conséquence, nous avons une copie des fichiers de la veille, ainsi que des archives de la semaine dernière, FreeFileSync met les fichiers supprimés à la poubelle.

Sauvegarde des données à l'aide d'un tas de FreeFileSync et 7-zip

More articles: