मुफ़्त उपकरणों के साथ हजारों आभासी मशीनों के लिए बैकअप

नमस्ते, मैं हाल ही में बड़ी संख्या में ब्लॉक उपकरणों के बैकअप के लिए भंडारण को कॉन्फ़िगर करने के लिए एक दिलचस्प काम कर रहा हूं।

हर हफ्ते हम अपने क्लाउड में सभी वर्चुअल मशीनों का बैकअप लेते हैं, इसलिए आपको हज़ारों बैकअप बनाए रखने में सक्षम होना चाहिए और इसे जितनी जल्दी हो सके और कुशलता से करना चाहिए।

दुर्भाग्य से, इस मामले में RAID5 , RAID6 के मानक विन्यास हमें सूट नहीं करेंगे क्योंकि इतने बड़े डिस्क पर रिकवरी प्रक्रिया के रूप में हमारा दर्द लंबे समय तक रहेगा और सबसे अधिक संभावना कभी खत्म नहीं होगी।

आइए विचार करें कि विकल्प क्या हैं:

इरेज़र कोडिंग - RAID5 का एक एनालॉग, RAID6, लेकिन एक कस्टम समता स्तर के साथ। इस स्थिति में, बैकअप ब्लॉक द्वारा ब्लॉक नहीं किया जाता है, लेकिन प्रत्येक ऑब्जेक्ट के लिए अलग से। मिटा कोडिंग की कोशिश करने का सबसे आसान तरीका मिनियो को तैनात करना है ।

DRAID — ZFS. RAIDZ DRAID parity block , .

Fujitsu Primergy RX300 S7 c Intel Xeon CPU E5-2650L 0 @ 1.80GHz, Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9), Supermicro SuperChassis 847E26-RJBOD1, Dual LSI SAS2X36 Expander 45 Seagage ST6000NM0115-1YZ110 6TB .

- .

. minio, S3- .

minio erasure coding vs software raid parity , : RAID6, RAIDZ2 DRAID2.

: minio - , minio S3- S3-. minio , Erasure Coding, .

minio 16 , 2 parity. .. .

16 6TB 1MB, , .

s3bench minio . .

:

, minio erasure coding , minio RAID6, RAIDZ2 DRAID2 .

minio ext4 vs XFS. , XFS ext4.

Mdadm ZFS, gmelikov , ZFS :

xattr=sa atime=off recordsize=1M

ZFS .

DRAID RAIDZ, .

(special) ZIL (log) SSD. , ZIL SSDSC2KI128G8 100% , . , SSD-, , , , .

DRAID , .

DRAID2 c distributed spares:

# zpool status data
  pool: data
 state: ONLINE
  scan: none requested
config:

    NAME                 STATE     READ WRITE CKSUM
    data                 ONLINE       0     0     0
      draid2:3g:2s-0     ONLINE       0     0     0
        sdy              ONLINE       0     0     0
        sdam             ONLINE       0     0     0
        sdf              ONLINE       0     0     0
        sdau             ONLINE       0     0     0
        sdab             ONLINE       0     0     0
        sdo              ONLINE       0     0     0
        sdw              ONLINE       0     0     0
        sdak             ONLINE       0     0     0
        sdd              ONLINE       0     0     0
        sdas             ONLINE       0     0     0
        sdm              ONLINE       0     0     0
        sdu              ONLINE       0     0     0
        sdai             ONLINE       0     0     0
        sdaq             ONLINE       0     0     0
        sdk              ONLINE       0     0     0
        sds              ONLINE       0     0     0
        sdag             ONLINE       0     0     0
        sdi              ONLINE       0     0     0
        sdq              ONLINE       0     0     0
        sdae             ONLINE       0     0     0
        sdz              ONLINE       0     0     0
        sdan             ONLINE       0     0     0
        sdg              ONLINE       0     0     0
        sdac             ONLINE       0     0     0
        sdx              ONLINE       0     0     0
        sdal             ONLINE       0     0     0
        sde              ONLINE       0     0     0
        sdat             ONLINE       0     0     0
        sdaa             ONLINE       0     0     0
        sdn              ONLINE       0     0     0
        sdv              ONLINE       0     0     0
        sdaj             ONLINE       0     0     0
        sdc              ONLINE       0     0     0
        sdar             ONLINE       0     0     0
        sdl              ONLINE       0     0     0
        sdt              ONLINE       0     0     0
        sdah             ONLINE       0     0     0
        sdap             ONLINE       0     0     0
        sdj              ONLINE       0     0     0
        sdr              ONLINE       0     0     0
        sdaf             ONLINE       0     0     0
        sdao             ONLINE       0     0     0
        sdh              ONLINE       0     0     0
        sdp              ONLINE       0     0     0
        sdad             ONLINE       0     0     0
    spares
      s0-draid2:3g:2s-0  AVAIL   
      s1-draid2:3g:2s-0  AVAIL   

errors: No known data errors

, , . , :

Benji Backup — Backy2, , Ceph. diff' . , S3. - . : python, cli.

Borg Backup — Attic, , . scp. --special, : , , , .

Restic — , go, , , scp, S3 . , rest-server restic, . . stdin. , :

• , ( Benji) , , .. restic . borg, . . , , - . borg backup.\

  
  

  , path , stdin , --stdin-filename, --parent.

  
  

• , stdout . .

  
  

• , master, .. 0.9.6 .

  
  

/ , (21 GB). , , / .

Borg Backup , .

Restic Benji Backup, stdout, , , .

restic rest-server .

इस स्क्रीनकेस्ट में आप देख सकते हैं कि एक साथ चलने वाले कई बैकअप ऑपरेशन के दौरान 10-गीगाबिट चैनल का पूरी तरह से कैसे उपयोग किया जाता है। यह ध्यान देने योग्य है कि डिस्क उपयोग 30% से ऊपर नहीं बढ़ता है।

मेरे द्वारा प्राप्त समाधान से मैं अधिक संतुष्ट था!