वाल-जी से बैकअप। 2019 में क्या है? एंड्रे बोरोडिन

मैं आंद्रेई बोरोडिन द्वारा 2019 की शुरुआत की रिपोर्ट के डिकोडिंग से परिचित होने का प्रस्ताव करता हूं "वाल-जी से बैकअप। 2019 में क्या है?"

सभी को नमस्कार! मेरा नाम एंड्री बोरोडिन है। मैं यैंडेक्स में एक डेवलपर हूं। डेवलपर्स के साथ बात करने के बाद, 2016 के बाद से मुझे PostgreSQL में दिलचस्पी रही है, और उन्होंने कहा कि सब कुछ सरल है - आप स्रोत कोड लेते हैं और संकलन करते हैं, और सब कुछ काम करेगा। और तब से मैं रुक नहीं सकता - मैं सभी प्रकार की अलग-अलग चीजें लिख रहा हूं।

मैं जो कुछ कर रहा हूं, वह वाल-जी बैकअप सिस्टम है । सामान्य तौर पर, यैंडेक्स में हम बहुत लंबे समय से PostgreSQL में बैकअप सिस्टम कर रहे हैं। और आप इंटरनेट पर छह रिपोर्टों की एक श्रृंखला पा सकते हैं कि हम बैकअप सिस्टम कैसे बनाते हैं। और हर साल वे थोड़ा विकसित होते हैं, थोड़ा विकसित होते हैं, अधिक विश्वसनीय होते हैं।

लेकिन आज यह रिपोर्ट न केवल हमारे द्वारा किए गए कार्यों के लिए समर्पित है, बल्कि यह भी है कि यह कितना सरल है और यह क्या है। आपमें से कितने लोग मेरी वाल-जी रिपोर्ट देख चुके हैं? यह अच्छा है कि काफी लोगों ने नहीं देखा, क्योंकि मैं सबसे सरल चीज से शुरू करूंगा।

यदि अचानक आपके पास एक PostgreSQL क्लस्टर है, और मुझे लगता है कि हर किसी के पास एक जोड़ी है, और अचानक कोई बैकअप सिस्टम अभी तक नहीं है, तो आपको कोई भी S3 संग्रहण या Google क्लाउड संगत संग्रहण प्राप्त करने की आवश्यकता है।

, Yandex Object Storage, S3 .

Bucket. .

.

C aws-s3-key.

WAL-G.

? . , , , . . , - , , . . , . . .

, WAL-G, «backup list», . Object Storage, , . , , . , . , .

. WAL-G «backup-push» WAL-G pgdata . , , PostgreSQL , , «archive-mode».

, «archive_mode = on» «archive_command», WAL-G. - - WAL-G. , . , WAL-G. - , GitHub. WAL-G , , archive_command.

WAL-G High Availability Database management.

. Yandex Object Storage.

– Point in time recovery. . .

. ? , . . pg_basebackup , . , , .

. -, .

• , , pg_basebackup .
• . , , .
• , . - , .
• , . , contribution WAL-G. WAL-G, : « , - ?». WAL-G.
• , , . .
• .
• .

. , PostgreSQL. - , - , - .

, WAL-G. . .

, – , WAL-G .

WAL-G 4 . :

WAL-PUSH – .

WAL-FETCH – .

BACKUP-PUSH – .

BACKUP-FETCH – .

, WAL-G , . . listing , .

– -.

- , , . , WAL. WAL-, - . , , , - fail, 4 - 10 WAL. , - .

LSN-based – , , LSN LSN , , . , , -.

, .

API PostgreSQL . PostgreSQL WAL- WAL-. WAL- «WAL-FETCH», «WAL-PREFETCH», 8 , .

, archive_status WAL-. WAL . , WAL. , , , API PostgreSQL. PostgreSQL archive_status , WAL-. , , . PostgreSQL, , .

LSN-based WAL- , mode-time . , . , WAL-.

, WAL , , , . , . , delta-.

Delta- WAL-, , WAL. delta- .

, , , , WAL, , , , .

_delta_partial . , , WAL , , .

, , , , , , , LSN-based .

, WAL-G. , , , - – , . ( https://github.com/wal-g/wal-g/tree/master/internal/walparser)

. delta-. , , delta- , . , . delta-.

. . LSN-based, . , LSN-based delta- . . WAL-delta 20. . . , .

, , – PostgreSQL, «pg_prefaulter»

, , Stand-by restore command, WAL-G WAL-. , WAL . , SSD . WAL , . page-. , . WAL-G, , WAL . , . SSD-, , , , .

, .

, .

, WAL-delta . , . WAL-delta , . WAL-delta , . , . «instant WAL-delta».

, , , , . . . WAL, PostgreSQL , .

. , - , . . . WAL-delta. , , , - - , delta pg_basebackup, .

. . . - , , , .

, , .

WAL-G. , . , API MySQL . MySQL PITR WAL-, binlog. MySQL, - , binlog . - cron – - ?

MySQL restore command, , - -. , , , . , . , , - . (: MySQL )

, WAL-G .

, WAL-G . , . , WAL-G. - , High Availability , .

, WAL-G WAL-E. , WAL-G WAL-E , WAL-E. wal-push, . WAL-G , WAL-E . WAL-E archive-status, , , , WAL- , PostgreSQL .

WAL-G? PostgreSQL , , PostgreSQL , , mode-time md5 PostgreSQL – OK, , , .

WAL-E , archive command, WAL-G, WAL-E .

, , WAL-G , .

-, . , . , . , . . , WAL-G , smoke-: pg_dumpall /dev/null amcheck .

WAL-G WAL. . . . , , , . : « , ». WAL-G . ( — . — backup-mark https://github.com/wal-g/wal-g/blob/master/PostgreSQL.md)

PITR.

Google Summer of Code. , - Go «G», . , . , .

, . .

, WAL-G , . , , . pg_control . , - . , , . , .

offline-. , . . LSN, . LSN control . . . .

. . . - Go , bucket. pull request.

, , , , . . , , . , , PostgreSQL 9.4-9.5. , PostgreSQL, , . , , .

WAL-G , Database management. .

TODO. , , pull request, .

! ! , WAL-delta, , , full-page writes. , ? . , FPW ?

Full-page writes , . . . , , . , , , . FPW . , .

! . – ?

pull request. SSD NMVE . , . , . , , , . , pull request. ( 0.2.13)

. , WAL-G , . . ?

, , . , , . , . , , – Go.

! ! WAL-G GPG . , . - ? .

GitHub, .

. . ?

, WAL-G , , : « , ?». , . . . , , . GPG , . GPG, open PGP, WAL-G, . Libsodium ( 0.2.15). , , – , . - . (PGP encryption without external GPG — v0.2.9)

! ! . , pg_basebackup WAL log , . . . - ?

, .

, .

. . , issue GitHub?

, .

, Google Summer of Code, , , .

. issue GitHub. , -, . restore. , . issues. , . . , .

, - (CEPH) , . ? retry . . - , , . , , . retry — exponential backoff. , , . . . , . ? , , . , , , .

SLA? , ?

, , , . . . Amazon Google Cloud, Yandex Object Storage .

?

. - , , WAL-G. , . Object Storage, - listing . , folder. WAL-G – - , , , , . . . , , Object Storage - , .

Mail .

reproduce…

…

reproduce, , , retry , , . , , . , . . 16 , retry 8 , 4 , 2 . . - 7,5 , 7,5 . .

! workflow WAL-G? , , . , . , , . - delta- , . . - ?

API delta- . – max delta steps, . . , , backup-push, . , , 3, , backup-push, . , 3 .

. . , WAL-G, ?

, WAL-G, , .

, , pg_basebackup?

, , . Pg_basebackup . WAL-G , . warning, .

Pg_basebackup .

, . Pg_basebackup . , , , . pg_basebackup . , , .

, CephFS. Object Storage .

, , , . .

! . remote storage, , - -?

– . , , . . . , . 0.2. , . . . WAL-E, . delta-backup. . , , Google Cloud, S3- storage.

, . , WAL-G – - barmen? ?

, . WAL-G , , . , . , - , . , , . WAL-G . - , .

, storage. , , , , . , - . . , , . , - . . , , . - , , – , .

PS एक नया संस्करण 0.2.15 जारी किया गया है , जिसमें आप .walg.json कॉन्फ़िगरेशन फ़ाइल का उपयोग कर सकते हैं, जो कि पोस्टग्रेज होम डायरेक्ट्री में डिफ़ॉल्ट रूप से स्थित है। आप बैश स्क्रिप्ट से बाहर निकल सकते हैं। .Walg.json का एक उदाहरण इस अंक में है https://github.com/wal-g/wal-g/issues/545

वीडियो: