рд╡рд╛рд▓-рдЬреА: рдирдИ рд╕реБрд╡рд┐рдзрд╛рдПрдБ рдФрд░ рд╕рд╛рдореБрджрд╛рдпрд┐рдХ рд╡рд┐рд╕реНрддрд╛рд░ред рдЬрд┐рдпреЛрд░реНрдЧреА рд░рд╛рдпрд▓реЛрд╡

рдореЗрд░рд╛ рд╕реБрдЭрд╛рд╡ рд╣реИ рдХрд┐ рдЖрдк рдЕрдкрдиреЗ рдЖрдк рдХреЛ 2020 рдХреА рд╢реБрд░реБрдЖрдд рдХреА рд░рд┐рдкреЛрд░реНрдЯ рдХреЗ рдЯреНрд░рд╛рдВрд╕рдХреНрд░рд┐рдкреНрдЯ рдХреЗ рд╕рд╛рде рдЬрд┐рдпреЛрд░реНрдЬреА рд░рд╛рдЗрд▓реЛрд╡ "рд╡рд╛рд▓-рдЬреА: рдирдП рдЕрд╡рд╕рд░реЛрдВ рдФрд░ рд╕рдореБрджрд╛рдп рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░" рд╕реЗ рдкрд░рд┐рдЪрд┐рдд рдХрд░рд╛рдПрдВ


рдУрдкрди-рд╕реЛрд░реНрд╕ рдореЗрдВрдЯреЗрдирд░ рдмрдврд╝рдиреЗ рдХреЗ рд╕рд╛рде рдХрдИ рд╕рдорд╕реНрдпрд╛рдПрдВ рд╣реИрдВред рдЕрдзрд┐рдХ рд╕реЗ рдЕрдзрд┐рдХ рдЖрд╡рд╢реНрдпрдХ рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЛ рдХреИрд╕реЗ рд▓рд┐рдЦреЗрдВ, рдЕрдзрд┐рдХ рд╕реЗ рдЕрдзрд┐рдХ рдореБрджреНрджреЛрдВ рдХреЛ рдареАрдХ рдХрд░реЗрдВ рдФрд░ рдЕрдзрд┐рдХ рд╕реЗ рдЕрдзрд┐рдХ рдкреБрд▓ рдЕрдиреБрд░реЛрдзреЛрдВ рдХреЛ рджреЗрдЦрдиреЗ рдХрд╛ рдкреНрд░рдмрдВрдзрди рдХрд░реЗрдВ? рдЙрджрд╛рд╣рд░рдг рдХреЗ рддреМрд░ рдкрд░ Wal-G (PostgreSQL рдХреЗ рд▓рд┐рдП рдмреИрдХрдЕрдк-рдЯреВрд▓) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, рдореИрдВ рдЗрд╕ рдмрд╛рд░реЗ рдореЗрдВ рдмрд╛рдд рдХрд░реВрдВрдЧрд╛ рдХрд┐ рд╣рдордиреЗ рд╡рд┐рд╢реНрд╡рд╡рд┐рджреНрдпрд╛рд▓рдп рдореЗрдВ рдУрдкрди-рд╕реЛрд░реНрд╕ рдбреЗрд╡рд▓рдкрдореЗрдВрдЯ рдкрд░ рдПрдХ рдХреЛрд░реНрд╕ рд╢реБрд░реВ рдХрд░рдХреЗ рдЗрди рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЛ рдХреИрд╕реЗ рд╣рд▓ рдХрд┐рдпрд╛ рд╣реИ, рд╣рдордиреЗ рдХреНрдпрд╛ рд╣рд╛рд╕рд┐рд▓ рдХрд┐рдпрд╛ рд╣реИ рдФрд░ рд╣рдо рдХрд╣рд╛рдВ рдЖрдЧреЗ рдмрдврд╝реЗрдВрдЧреЗред



рд╕рднреА рдХреЛ рдлрд┐рд░ рд╕реЗ рдирдорд╕реНрдХрд╛рд░! рдореИрдВ рдпреЗрдХрд╛рддреЗрд░рд┐рдирдмрд░реНрдЧ рд╕реЗ рдПрдХ рдпреИрдВрдбреЗрдХреНрд╕ рдбреЗрд╡рд▓рдкрд░ рд╣реВрдВред рдФрд░ рдЖрдЬ рдореИрдВ рд╡рд╛рд▓-рдЬреА рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдмрд╛рдд рдХрд░реВрдВрдЧрд╛ред


рд░рд┐рдкреЛрд░реНрдЯ рдХреЗ рд╢реАрд░реНрд╖рдХ рдиреЗ рдпрд╣ рдирд╣реАрдВ рдмрддрд╛рдпрд╛ рдХрд┐ рдпрд╣ рдмреИрдХрдЕрдк рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдХреБрдЫ рдерд╛ред рдХреНрдпрд╛ рдХрд┐рд╕реА рдХреЛ рдирд╣реАрдВ рдкрддрд╛ рдХрд┐ рдПрдХ рд╡рд╛рд▓-рдЬреА рдХреНрдпрд╛ рд╣реИ? рдпрд╛ рд╕рдмрдХреЛ рдкрддрд╛ рд╣реИ? рдЕрдкрдирд╛ рд╣рд╛рде рдЙрдард╛рдУ, рдХреМрди рдирд╣реАрдВ рдЬрд╛рдирддрд╛ред Ofiget, рдЖрдк рд░рд┐рдкреЛрд░реНрдЯ рдореЗрдВ рдЖрдП рдФрд░ рдпрд╣ рдирд╣реАрдВ рдЬрд╛рдирддреЗ рдХрд┐ рдпрд╣ рдХрд┐рд╕ рдмрд╛рд░реЗ рдореЗрдВ рд╣реИред


, . , . , , , , .



, . . WAL-G .


clck.ru/F8ioz тАФ https://www.highload.ru/moscow/2018/abstracts/3964


clck.ru/Ln8Qw тАФ https://www.highload.ru/moscow/2019/abstracts/5981


, , , , . , .



WAL-G , Citus Data. . .


WAL-G :


  • .
  • .
  • WAL-Delta .
  • .

WAL-G .



2020- . , :


  • 1 000 GitHub.
  • 150 .
  • 15 PR.
  • .
  • issues . , , - .


, , , - Managed Databases .


- 2018- . , - , , . , . - - . , . , .


. . - . , , , , , . тАУ . , . , , . , . , , , , , . . . тАУ , .


PR


  • . CI.
  • 2 . .
  • , , , . end-to-end , .

Open Source



- , , , .


:


  • .
  • , .

?


, , , , , .


. :


  • Open Source.
  • CV.
  • .
  • GSoC.
  • +1 , .

, . , WAL-G . Odyssey, PostgreSQL ClickHouse.


, .


?


, , , . ? , . request, .


, .



tablespaces. Tablespaces WAL-G , , WAL-G, WAL-G WAL-E, tablespaces.


, . , Postgres , . , Postgres.


Tablespaces , Postgres, . , tablespacтАЩ .



Postgres? pg_tblspc. , Postgres .



, - . . . - tablespace , . , . , - . тАУ . tablespace. , .


, WAL-E, , WAL-G, . .



, , catchup. catchup , , , Oracle, Postgres.


, . - . . , write-ahead log. LSN . - . . -.


? , , . , . - .


тАУ , , . , 10 TB тАУ - . , . catchup.


Catchup -, . LSN catchup , - LSN LSN, . , .



. . . Yandex Postgres, MySQL, MongoDB, Redis, ClickHouse, - , point-in-time recovery MySQL, .


- , WAL-G. , .


. , - . , тАУ postgresтАЩ, WAL-G. - . . . Postgres MySQL, MySQL, Postgres.



, , , extensions PostgreSQL. , , MySQL - .


. Postgres, Postgres . MySQL , Postgres MySQL. - . , , .


Postgres, MySQL, MongoDB, Redis


, , тАУ . , , API, WAL-G.



, тАУ , . . . , - , , - .



. . .


MySQL, WAL-G .


MongoDB production, . , . - . , production.


, backup tools . . , point-in-time recovery . - , . backup tools, - , WAL-G, . point-in-time recovery.



? WAL-G Libsodium.


. . - .



?


100 . , тАУ . . 100 . - , 30 .


, , . - - . .


14 issues, 10 . , , - .


. 12 . 6 ┬л5┬╗. , , .



?


-requests, . :


  • HA-. WAL-G . , , , .
  • WALтАЩ .
  • , WAL-G , .


? , , 4- , , , . , . WAL-G WAL-G , .



qr- . . , - . - , - , . .




! ! WAL-G, Postgres. WAL-G MySQL -. CentOS yum install MySQL, MariDB. 10.3 - , MariDB-. ?


MariDB. FoundationDB, , , , . , .


! ! . WAL-G , ?


?


.


, .


() , ! . . тАФ . , Storages. , Storoges . Storage , , , . pull request. , . Go, 50 . WAL-G .


! . тАУ , . , , , ?


. , . . unit-. , . . тАУ , cron, . . . .


. ?


, . . . , , , , - , , . . . , .


! , archive_command WAL-G . - , , . ?


? , , ? ?


() , WAL-G shell-. - , , WAL-G. , , , . тАУ . . , . !


(: shell- issue)


! ! catchup, . , . WAL-G .


рдХреИрдЪрдЕрдк рд╡рд╕реНрддреБрддрдГ 20 рдЬрдирд╡рд░реА 2020 рдХреЛ рджрд┐рдЦрд╛рдИ рджрд┐рдпрд╛ред рдкреНрд░рд▓реЗрдЦрди рдереЛрдбрд╝реА рджреЗрд░ рдХреЗ рд▓рд┐рдП рд╣реЛ рд╕рдХрддрд╛ рд╣реИред рд╣рдо рдЦреБрдж рдЗрд╕реЗ рд▓рд┐рдЦрддреЗ рд╣реИрдВ рдФрд░ рдЗрддрдирд╛ рд╕реБрдкрд░-рдмрд┐рд▓реНрдХреБрд▓ рдирд╣реАрдВ рд▓рд┐рдЦрддреЗ рд╣реИрдВред рдФрд░ рд╢рд╛рдпрдж рдЫрд╛рддреНрд░реЛрдВ рд╕реЗ рдпрд╣ рдорд╛рдВрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд╛рдпрдХ рд╣реИ рдХрд┐ рд╡реЗ рдЗрд╕реЗ рд▓рд┐рдЦреЗрдВред


рдХреНрдпрд╛ рд╡рд╣ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рд░рд┐рд╣рд╛ рд╣реИ?


рдкреБрд▓ рдЕрдиреБрд░реЛрдз рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдЬрдореЗ рд╣реБрдП рд╣реИ, рдпрд╛рдиреА рдореИрдВрдиреЗ рдЗрд╕реЗ рдЪреЗрдХ рдХрд┐рдпрд╛ рд╣реИред рдореИрдВрдиреЗ рдПрдХ рдкрд░реАрдХреНрд╖рдг рдХреНрд▓рд╕реНрдЯрд░ рдкрд░ рдпрд╣ рдХреЛрд╢рд┐рд╢ рдХреАред рдЕрдм рддрдХ, рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдРрд╕реА рд╕реНрдерд┐рддрд┐ рдирд╣реАрдВ рд╣реИ, рдЬрд╣рд╛рдВ рд╣рдо рдЗрд╕рдХрд╛ рд╕реИрдиреНрдп рдЙрджрд╛рд╣рд░рдг рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд░ рд╕рдХреЗрдВред


рдХрдм рдЙрдореНрдореАрдж рдХрд░реЗрдВ?


рдореБрдЭреЗ рдирд╣реАрдВ рдкрддрд╛ред рдПрдХ рдорд╣реАрдиреЗ рддрдХ рдкреНрд░рддреАрдХреНрд╖рд╛ рдХрд░реЗрдВ, рд╣рдо рдирд┐рд╢реНрдЪрд┐рдд рд░реВрдк рд╕реЗ рдЬрд╛рдВрдЪ рдХрд░реЗрдВрдЧреЗред


All Articles