Ich schlage vor, dass Sie sich mit dem Protokoll des Berichts von Anfang 2020 von Georgy Rylov "WAL-G: Neue Möglichkeiten und Erweiterung der Gemeinschaft" vertraut machen.
Open-Source-Betreuer haben viele Probleme, wenn sie wachsen. Wie schreibe ich mehr und mehr erforderliche Funktionen, behebe immer mehr Probleme und schaffe es, immer mehr Pull-Anfragen zu sehen? Am Beispiel von WAL-G (Backup-Tool für PostgreSQL) werde ich darüber sprechen, wie wir diese Probleme gelöst haben, indem wir einen Kurs über Open-Source-Entwicklung an der Universität gestartet haben, was wir erreicht haben und wo wir weitermachen werden.
Hallo nochmal an alle! Ich bin ein Yandex-Entwickler aus Jekaterinburg. Und heute werde ich über WAL-G sprechen.
Der Titel des Berichts besagte nicht, dass es sich um Backups handelte. Weiß jemand nicht, was ein WAL-G ist? Oder weiß es jeder? Hebe deine Hand, wer weiß es nicht. Ofiget, Sie sind zu dem Bericht gekommen und wissen nicht, worum es geht.
, . , . , , , , .
, . . WAL-G .
clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964
clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981
, , , , . , .
WAL-G , Citus Data. . .
WAL-G :
WAL-G .
2020- . , :
- 1 000 GitHub.
- 150 .
- 15 PR.
- .
- issues . , , - .
, , , - Managed Databases .
- 2018- . , - , , . , . - - . , . , .
. . - . , , , , , . – . , . , , . , . , , , , , . . . – , .
PR
- . CI.
- 2 . .
- , , , . end-to-end , .
Open Source
- , , , .
:
?
, , , , , .
. :
- Open Source.
- CV.
- .
- GSoC.
- +1 , .
, . , WAL-G . Odyssey, PostgreSQL ClickHouse.
, .
?
, , , . ? , . request, .
, .
tablespaces. Tablespaces WAL-G , , WAL-G, WAL-G WAL-E, tablespaces.
, . , Postgres , . , Postgres.
Tablespaces , Postgres, . , tablespac’ .
Postgres? pg_tblspc. , Postgres .
, - . . . - tablespace , . , . , - . – . tablespace. , .
, WAL-E, , WAL-G, . .
, , catchup. catchup , , , Oracle, Postgres.
, . - . . , write-ahead log. LSN . - . . -.
? , , . , . - .
– , , . , 10 TB – - . , . catchup.
Catchup -, . LSN catchup , - LSN LSN, . , .
. . . Yandex Postgres, MySQL, MongoDB, Redis, ClickHouse, - , point-in-time recovery MySQL, .
- , WAL-G. , .
. , - . , – postgres’, WAL-G. - . . . Postgres MySQL, MySQL, Postgres.
, , , extensions PostgreSQL. , , MySQL - .
. Postgres, Postgres . MySQL , Postgres MySQL. - . , , .
Postgres, MySQL, MongoDB, Redis
, , – . , , API, WAL-G.
, – , . . . , - , , - .
. . .
MySQL, WAL-G .
MongoDB production, . , . - . , production.
, backup tools . . , point-in-time recovery . - , . backup tools, - , WAL-G, . point-in-time recovery.
? WAL-G Libsodium.
. . - .
?
100 . , – . . 100 . - , 30 .
, , . - - . .
14 issues, 10 . , , - .
. 12 . 6 «5». , , .
?
-requests, . :
- HA-. WAL-G . , , , .
- WAL’ .
- , WAL-G , .
? , , 4- , , , . , . WAL-G WAL-G , .
qr- . . , - . - , - , . .
! ! WAL-G, Postgres. WAL-G MySQL -. CentOS yum install MySQL, MariDB. 10.3 - , MariDB-. ?
MariDB. FoundationDB, , , , . , .
! ! . WAL-G , ?
?
.
, .
() , ! . . — . , Storages. , Storoges . Storage , , , . pull request. , . Go, 50 . WAL-G .
! . – , . , , , ?
. , . . unit-. , . . – , cron, . . . .
. ?
, . . . , , , , - , , . . . , .
! , archive_command WAL-G . - , , . ?
? , , ? ?
() , WAL-G shell-. - , , WAL-G. , , , . – . . , . !
(: shell- issue)
! ! catchup, . , . WAL-G .
Catchup erschien buchstäblich am 20. Januar 2020. Die Dokumentation könnte eine Weile wert sein. Wir selbst schreiben es und schreiben nicht so super perfekt. Und vielleicht lohnt es sich, von den Schülern zu verlangen, dass sie es schreiben.
Ist sie schon in der Freilassung?
Die Pull-Anfrage ist bereits eingefroren, d. H. Ich habe sie überprüft. Ich habe dies in einem Testcluster versucht. Bisher hatten wir keine Situation, in der wir dies anhand eines militärischen Beispiels testen könnten.
Wann ist zu erwarten?
Ich weiß nicht. Warten Sie einen Monat, wir werden es auf jeden Fall überprüfen.