使用一堆FreeFileSync和7-zip进行数据备份

可以说是

Anananesis Fujitsu rx300 s6服务器,6个1TB磁盘的RAID6,XenServer 6.2已启动,数台服务器正在旋转,其中包括数个球,350万个文件和1.5 TB数据的Ubunta,所有这些都在逐渐增长和膨胀。

任务:配置文件服务器的数据备份,部分每天,部分每周。
我们有一台Windows备份机,带有RAID5(就贫困程度而言,这是在母体中内置RAID控制器的常规系统单元)以及单独的2TB磁盘,用于中间复制文件的当前状态。您可以使用任何Linux发行版,但该计算机已备有RAID阵列和Windows许可证。

我们在备份服务器上安装FreeFileSync通过调度程序运行它,每天18天晚上在晚上之后,每天一次配置每个文件服务器中所有内容的“镜像”。

重要一点:保存批处理任务时,必须注意“完成时关闭任务窗口”,否则过程将成倍增加。

我们将临时文件放入掩码异常中:* .dwl,* .dwl2,* .tmp。

FreeFileSync使用网络非常好,复制需要多个流,复制大文件时速度达到80 Mb / s,在小文件上未检测到堵塞。

我们将已经在本地备份服务器上进行归档,而不是之前使用的TheCopier在网络上存档。顺便说一句,TheCopier很棒!但是有了这样的卷,尽管备份上有1GB \ s接口和文件接口上有2GB \ s接口(两个网卡的绑定),它根本没有时间传输所有内容。SyncToy

以前也曾使用过,但是文件数超过1.5-2百万,它停止了正常工作,只是无法应付。 为了存档必要的文件夹,我们为7-zip写了一个批处理文件:立即设置=%时间:〜0,-3%立即 设置=%现在:: =。%立即 设置=%现在:= 0%立即 设置=%日期:〜- 4%。%日期: 〜3.2 %。%日期:〜0.2 %_%现在%% C:\“程序文件” \ 7-Zip \ 7z.exe -tzip -mx = 1 -mmt = on -mtc =关闭-ssw D:\备份\全部\%现在%% _10-04.zip E:\ 10-04








C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\35-110
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza
C:\«Program Files»\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta

:: a —
:: -tzip -t7z — ( zip 1.5-2 )
:: -mx=1 — (1 , 9 x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on —
:: -mtc=off — ( , ..)
:: -ssw — ,
:: -xr!.Sync* — BtSync ,


现在从set =%的构造开始,依此类推,您可以将时间记录格式保存在文件名中,而不会出现当日或月小于10时发生的问题,也就是说,我们用零代替。

注释-xr!.Sync *是最初使用的BTSync的残留痕迹

BTSync高达500 GB和700-800,000个文件时,仍然无法正常工作,无法即时同步,但在当前卷上,它正在消耗ubunt文件服务器和服务启动Windows备份的内存和处理器资源,还被强奸了具有持续读写功能的磁盘系统。

尽管存档器也是7-zip,但我们以zip格式而不是本机7z存档,因为它速度更快,并且mx = 1时的压缩率实际上没有差异,它已经通过许多实验进行了测试。

归档将依次执行。

还可以使用fpurge实用程序通过计划任务来清理存档文件夹,使存档不超过一周。
结果,我们有了前一天的文件副本以及上周的档案,FreeFileSync将已删除的文件放入垃圾箱。

Source: https://habr.com/ru/post/undefined/


All Articles