👂 🌪️ ⚗️ Cadangan data menggunakan banyak FreeFileSync dan 7-zip 👴 🏴‍☠️ 👨🏼‍🌾

Anamnesis, bisa dikatakan:

server Fujitsu rx300 s6, RAID6 dari 6 1TB disk, XenServer 6.2 sudah habis, beberapa server berputar, di antaranya Ubunta dengan beberapa bola, 3,5 juta file, data 1,5 TB, semua data ini secara bertahap tumbuh dan membengkak.

Tugas: mengkonfigurasi cadangan data dari server file, sebagian harian, sebagian mingguan.
Kami memiliki mesin cadangan Windows dengan RAID5 (dalam hal kemiskinan, unit sistem reguler dengan pengontrol RAID yang terintegrasi dengan ibu) plus disk 2TB terpisah untuk menyalin kondisi file saat ini. Anda dapat menggunakan distribusi Linux apa pun, tetapi mesin ini sudah tersedia dengan raid raid dan lisensi Windows.

Kami menginstal FreeFileSync pada server cadangan , mengkonfigurasi "mirror" dari segala sesuatu dalam satu baris dari semua bola server file sekali sehari di malam hari setelah 18 jam dengan menjalankan melalui penjadwal.

Poin penting: saat menyimpan tugas batch, wajib untuk menandai "Tutup jendela tugas saat selesai", jika tidak proses akan berlipat ganda dan berlipat ganda.

Kami membuang file sementara ke dalam pengecualian mask: * .dwl, * .dwl2, * .tmp.

FreeFileSync menggunakan jaringan dengan sangat baik, menyalin membutuhkan beberapa aliran, kecepatan mencapai 80 Mb / s saat menyalin file besar, tidak ada plugging terdeteksi pada file kecil.

Kami akan melakukan pengarsipan di server cadangan lokal, alih-alih TheCopier yang digunakan sebelumnyadengan pengarsipan di jaringan. Omong-omong, TheCopier hebat! Tetapi dengan volume seperti itu, sama sekali tidak punya waktu untuk mentransfer semuanya, meskipun antarmuka 1GB pada cadangan dan 2GB pada antarmuka file (ikatan dua kartu jaringan). SyncToy

juga sebelumnya digunakan , tetapi dengan jumlah file lebih dari 1,5-2 juta, berhenti bekerja secara normal, tidak bisa mengatasinya. Untuk mengarsipkan folder yang diperlukan, kami menulis file batch untuk 7-zip : atur sekarang =% TIME: ~ 0, -3% atur sekarang =% sekarang :: =.% Atur sekarang =% sekarang: = 0% atur sekarang =% TANGGAL: ~ - 4%.% TANGGAL: ~ 3,2%.% TANGGAL: ~ 0,2% _% sekarang% C: \ "Program Files" \ 7-Zip \ 7z.exe a -tzip -mx = 1 -mmt = pada -mtc = off -ssw D: \ backups \ All \% now% _10-04.zip E: \ 10-04

C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\35-110
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta

:: a —
:: -tzip -t7z — ( zip 1.5-2 )
:: -mx=1 — (1 , 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on —
:: -mtc=off — ( , ..)
:: -ssw — ,
:: -xr!.Sync* — BtSync ,

Konstruksi set now =% dan seterusnya memungkinkan Anda untuk menyimpan format catatan waktu dalam nama file tanpa masalah yang terjadi ketika hari atau bulan kurang dari 10, yaitu, kami mengganti nol.

Komentar -xr! .Sync * adalah sisa sisa BTSync yang awalnya digunakan .

Hingga 500 GB dan 700-800 ribu file, BTSync masih tidak bekerja apa pun, disinkronkan dengan cepat, tetapi pada volume saat ini memakan memori dan sumber daya prosesor baik pada server file ubunt dan pada cadangan Windows di mana diluncurkan oleh layanan, dan juga hanya diperkosa sistem disk dengan baca-tulis konstan.

Meskipun pengarsipan juga 7-zip, kami mengarsipkannya dalam format zip bukan asli 7z, karena jauh lebih cepat, dan praktis tidak ada perbedaan dalam kompresi dengan mx = 1, itu telah diuji oleh banyak percobaan.

Arsip dieksekusi pada gilirannya.

Membersihkan folder arsip juga terjadi melalui tugas yang dijadwalkan menggunakan utilitas fpurge, meninggalkan arsip tidak lebih dari seminggu.
Sebagai hasilnya, kami memiliki salinan file untuk hari sebelumnya, serta arsip untuk minggu terakhir, FreeFileSync menempatkan file yang dihapus di tempat sampah.

Cadangan data menggunakan banyak FreeFileSync dan 7-zip

More articles: