🔆 👋🏽 📮 Copia de seguridad de datos usando un montón de FreeFileSync y 7-zip 💩 🧚🏼 🏔️

Anamnesis, por así decirlo:

servidor Fujitsu rx300 s6, RAID6 de 6 1TB de discos, XenServer 6.2 está activo, varios servidores están girando, entre ellos Ubunta con varias bolas, 3.5 millones de archivos, 1.5 TB de datos, todo esto crece y se hincha gradualmente.

Tarea: configure la copia de seguridad de los datos del servidor de archivos, parcialmente diariamente, parcialmente semanalmente.
Tenemos una máquina de respaldo de Windows con RAID5 (en términos de pobreza, una unidad de sistema normal con un controlador RAID integrado en la madre) más un disco separado de 2TB para la copia intermedia del estado actual de los archivos. Podría usar cualquier distribución de Linux, pero esta máquina ya estaba en stock con una matriz de incursiones y una licencia de Windows.

Instalamos FreeFileSync en el servidor de respaldo , configuramos el "espejo" de todo en una fila de todo el servidor de archivos una vez al día por la tarde después de 18 horas ejecutando el programador.

Un punto importante: al guardar una tarea por lotes, es obligatorio tener en cuenta "Cerrar la ventana de tareas al finalizar", de lo contrario, los procesos se multiplicarán y se multiplicarán.

Lanzamos archivos temporales en excepciones de máscara: * .dwl, * .dwl2, * .tmp.

FreeFileSync utiliza la red extremadamente bien, la copia toma varias transmisiones, la velocidad alcanza 80 Mb / s cuando se copian archivos grandes, no se detectó ningún tapón en archivos pequeños. Realizaremos

el archivo ya en el servidor de respaldo local, en lugar del TheCopier utilizado anteriormentecon archivado en una red. Por cierto, TheCopier es genial! Pero con tales volúmenes, simplemente no tiene tiempo para transferir todo, a pesar de la interfaz de 1GB \ s en la copia de seguridad y 2GB \ s en la interfaz de archivo (enlace de dos tarjetas de red). SyncToy

también se usaba anteriormente , pero con la cantidad de archivos de más de 1.5-2 millones, dejó de funcionar normalmente, simplemente no pudo hacer frente. Para archivar las carpetas necesarias, escribimos un archivo por lotes para 7-zip : set now =% TIME: ~ 0, -3% set now =% now :: =.% Set now =% now: = 0% set now =% DATE: ~ - 4%.% DATE: ~ 3.2%.% DATE: ~ 0.2% _% now% C: \ "Program Files" \ 7-Zip \ 7z.exe a -tzip -mx = 1 -mmt = on -mtc = off -ssw D: \ backups \ All \% now% _10-04.zip E: \ 10-04

C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\35-110
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta

:: a —
:: -tzip -t7z — ( zip 1.5-2 )
:: -mx=1 — (1 , 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on —
:: -mtc=off — ( , ..)
:: -ssw — ,
:: -xr!.Sync* — BtSync ,

La construcción de set now =% y así sucesivamente le permite guardar el formato de registro de tiempo en el nombre del archivo sin los problemas que ocurrieron cuando el día o mes era inferior a 10, es decir, sustituimos el cero.

Comentario -xr! .Sync * es el vestigio remanente del BTSync utilizado originalmente .

Hasta 500 GB y 700-800 mil archivos, BTSync todavía no funcionaba, sincronizado sobre la marcha, pero a los volúmenes actuales estaba consumiendo recursos de memoria y procesador tanto en el servidor de archivos ubunt como en la copia de seguridad de Windows donde fue lanzado por el servicio, y también simplemente violó Un sistema de disco con lectura y escritura constantes.

Aunque el archivador también es 7-zip, lo archivamos en formato zip en lugar del 7z nativo, porque es mucho más rápido y prácticamente no hay diferencia en la compresión con mx = 1, ha sido probado por muchos experimentos.

Los archivos se ejecutan a su vez.

La limpieza de la carpeta de archivo también se realiza a través de la tarea programada utilizando la utilidad fpurge, dejando archivos no anteriores a una semana.
Como resultado, tenemos una copia de los archivos del día anterior, así como los archivos de la última semana, FreeFileSync pone los archivos eliminados en la papelera.

Copia de seguridad de datos usando un montón de FreeFileSync y 7-zip

More articles: