النسخ الاحتياطي للبيانات باستخدام مجموعة من FreeFileSync و 7-zip

Anamnesis ، إذا جاز التعبير:

خادم Fujitsu rx300 s6 ، RAID6 من 6 1 تيرابايت من الأقراص ، XenServer 6.2 ، العديد من الخوادم تدور ، من بينها Ubunta مع العديد من الكرات ، 3.5 مليون ملف ، 1.5 تيرابايت من البيانات ، كل هذا ينمو ويتضخم تدريجيًا.

المهمة: تكوين النسخ الاحتياطي للبيانات من خادم الملفات ، يوميًا جزئيًا ، جزئيًا أسبوعيًا.
لدينا جهاز نسخ احتياطي لـ Windows مع RAID5 (من حيث الفقر ، وحدة نظام عادية مع وحدة تحكم RAID مدمجة في الأم) بالإضافة إلى قرص 2 تيرابايت منفصل للنسخ المتوسط ​​للحالة الحالية للملفات. يمكنك استخدام أي توزيعة لينكس ، ولكن هذا الجهاز كان بالفعل في المخزون مع مجموعة غارات وترخيص Windows.

نقوم بتثبيت FreeFileSync على خادم النسخ الاحتياطي ، وتهيئة "المرآة" لكل شيء على التوالي من كل كرة خادم الملفات مرة واحدة يوميًا في المساء بعد 18 ساعة من خلال الجري عبر المجدول.

نقطة مهمة: عند حفظ مهمة المجموعة ، من الضروري وضع علامة على "إغلاق نافذة المهمة عند الانتهاء" ، وإلا ستتضاعف العمليات وتتضاعف.

نرمي الملفات المؤقتة في استثناءات القناع: * .dwl ، * .dwl2 ، * .tmp.

يستخدم FreeFileSync الشبكة بشكل جيد للغاية ، ويستغرق النسخ عدة تدفقات ، وتصل السرعة إلى 80 ميجا بايت / ثانية عند نسخ الملفات الكبيرة ، ولم يتم اكتشاف أي توصيل على الملفات الصغيرة.

سنقوم بإجراء الأرشفة بالفعل على خادم النسخ الاحتياطي المحلي ، بدلاً من TheCopier المستخدم سابقًامع الأرشفة على الشبكة. بالمناسبة ، TheCopier رائع! ولكن مع مثل هذه المجلدات ، فإنه ببساطة ليس لديه الوقت لنقل كل شيء ، على الرغم من واجهة 1 جيجا بايت على النسخة الاحتياطية و 2 جيجا بايت على واجهة الملف (رابطة بطاقتي شبكة). تم

استخدام SyncToy سابقًا أيضًا ، ولكن مع عدد الملفات التي تزيد عن 1.5-2 مليون ، توقفت عن العمل بشكل طبيعي ، ولم تستطع التعامل معها.

لأرشفة المجلدات الضرورية نكتب ملف دفعي لـ 7-zip :

set now =٪ TIME: ~ 0، -3٪
set now =٪ now :: =.٪
Set now =٪ now: = 0٪
set now =٪ DATE: ~ - 4٪.٪ DATE: ~ 3.2٪.٪ DATE: ~ 0.2٪ _٪ الآن٪
C: \ "Program Files" \ 7-Zip \ 7z.exe a -tzip -mx = 1 -mmt = on -mtc = off -ssw D: \ backups \ All \٪ now٪ _10-04.zip E: \ 10-04
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\35-110
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta

:: a —
:: -tzip -t7z — ( zip 1.5-2 )
:: -mx=1 — (1 , 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on —
:: -mtc=off — ( , ..)
:: -ssw — ,
:: -xr!.Sync* — BtSync ,


يتيح لك إنشاء المجموعة الآن =٪ وما إلى ذلك حفظ تنسيق سجل الوقت في اسم الملف دون المشاكل التي حدثت عندما كان اليوم أو الشهر أقل من 10 ، أي أننا استبدلنا الصفر.

التعليق -xr! .Sync * هو البقايا الأثرية من BTSync المستخدم أصلاً .

ما يصل إلى 500 جيجا بايت و 700-800 ألف ملف ، BTSync لا يزال لا يعمل شيئًا ، متزامنًا بسرعة ، ولكن في الأحجام الحالية ، كان يأكل الذاكرة وموارد المعالج على كل من خادم ملفات أوبونت وعلى النسخ الاحتياطي لـ Windows حيث تم إطلاقه من قبل الخدمة ، كما تم اغتصابه ببساطة نظام قرص مع القراءة والكتابة المستمرة.

على الرغم من أن برنامج الأرشفة هو أيضًا 7-zip ، فإننا نقوم بأرشفته بتنسيق zip بدلاً من 7z الأصلي ، لأنه أسرع بكثير ، ولا يوجد فرق عمليًا في الضغط باستخدام mx = 1 ، فقد تم اختباره من قبل العديد من التجارب.

يتم تنفيذ المحفوظات بدورها.

يحدث تنظيف مجلد الأرشيف أيضًا من خلال المهمة المجدولة باستخدام أداة fpurge ، مما يجعل الأرشيف لا يتجاوز تاريخه أسبوعًا.
نتيجة لذلك ، لدينا نسخة من الملفات لليوم السابق ، بالإضافة إلى أرشيفات الأسبوع الماضي ، FreeFileSync يضع الملفات المحذوفة في سلة المهملات.

Source: https://habr.com/ru/post/undefined/


All Articles