Je vous suggère de lire la transcription du rapport de début 2020 de Georgy Rylov "WAL-G: nouvelles opportunités et élargissement de la communauté
Les mainteneurs open source ont de nombreux problèmes à mesure qu'ils grandissent. Comment écrire de plus en plus de fonctionnalités requises, résoudre de plus en plus de problèmes et réussir à regarder de plus en plus de pull demandes? En utilisant WAL-G (outil de sauvegarde pour PostgreSQL) à titre d'exemple, je vais vous expliquer comment nous avons résolu ces problèmes en lançant un cours sur le développement Open-source à l'université, ce que nous avons accompli et où nous allons aller.
Bonjour à tous! Je suis un développeur Yandex d'Ekaterinbourg. Et aujourd'hui, je vais parler de WAL-G.
Le titre du rapport ne dit pas qu'il s'agissait de sauvegardes. Quelqu'un ne sait-il pas ce qu'est un WAL-G? Ou est-ce que tout le monde le sait? Levez la main, qui ne sait pas. Ofiget, vous êtes venu au rapport et vous ne savez pas de quoi il s'agit.
, . , . , , , , .
, . . WAL-G .
clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964
clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981
, , , , . , .
WAL-G , Citus Data. . .
WAL-G :
WAL-G .
2020- . , :
- 1 000 GitHub.
- 150 .
- 15 PR.
- .
- issues . , , - .
, , , - Managed Databases .
- 2018- . , - , , . , . - - . , . , .
. . - . , , , , , . – . , . , , . , . , , , , , . . . – , .
PR
- . CI.
- 2 . .
- , , , . end-to-end , .
Open Source
- , , , .
:
?
, , , , , .
. :
- Open Source.
- CV.
- .
- GSoC.
- +1 , .
, . , WAL-G . Odyssey, PostgreSQL ClickHouse.
, .
?
, , , . ? , . request, .
, .
tablespaces. Tablespaces WAL-G , , WAL-G, WAL-G WAL-E, tablespaces.
, . , Postgres , . , Postgres.
Tablespaces , Postgres, . , tablespac’ .
Postgres? pg_tblspc. , Postgres .
, - . . . - tablespace , . , . , - . – . tablespace. , .
, WAL-E, , WAL-G, . .
, , catchup. catchup , , , Oracle, Postgres.
, . - . . , write-ahead log. LSN . - . . -.
? , , . , . - .
– , , . , 10 TB – - . , . catchup.
Catchup -, . LSN catchup , - LSN LSN, . , .
. . . Yandex Postgres, MySQL, MongoDB, Redis, ClickHouse, - , point-in-time recovery MySQL, .
- , WAL-G. , .
. , - . , – postgres’, WAL-G. - . . . Postgres MySQL, MySQL, Postgres.
, , , extensions PostgreSQL. , , MySQL - .
. Postgres, Postgres . MySQL , Postgres MySQL. - . , , .
Postgres, MySQL, MongoDB, Redis
, , – . , , API, WAL-G.
, – , . . . , - , , - .
. . .
MySQL, WAL-G .
MongoDB production, . , . - . , production.
, backup tools . . , point-in-time recovery . - , . backup tools, - , WAL-G, . point-in-time recovery.
? WAL-G Libsodium.
. . - .
?
100 . , – . . 100 . - , 30 .
, , . - - . .
14 issues, 10 . , , - .
. 12 . 6 «5». , , .
?
-requests, . :
- HA-. WAL-G . , , , .
- WAL’ .
- , WAL-G , .
? , , 4- , , , . , . WAL-G WAL-G , .
qr- . . , - . - , - , . .
! ! WAL-G, Postgres. WAL-G MySQL -. CentOS yum install MySQL, MariDB. 10.3 - , MariDB-. ?
MariDB. FoundationDB, , , , . , .
! ! . WAL-G , ?
?
.
, .
() , ! . . — . , Storages. , Storoges . Storage , , , . pull request. , . Go, 50 . WAL-G .
! . – , . , , , ?
. , . . unit-. , . . – , cron, . . . .
. ?
, . . . , , , , - , , . . . , .
! , archive_command WAL-G . - , , . ?
? , , ? ?
() , WAL-G shell-. - , , WAL-G. , , , . – . . , . !
(: shell- issue)
! ! catchup, . , . WAL-G .
Catchup est apparu littéralement le 20 janvier 2020. La documentation peut valoir un certain temps. Nous l'écrivons nous-mêmes et nous n'écrivons pas si parfaitement. Et peut-être que cela vaut la peine de commencer par les étudiants pour exiger qu'ils l'écrivent.
Est-elle déjà en liberté?
La demande de tirage est déjà gelée, c'est-à-dire que je l'ai vérifiée. J'ai essayé cela sur un cluster de test. Jusqu'à présent, nous n'avons pas eu de situation où nous pourrions tester cela avec un exemple militaire.
Quand attendre?
Je ne sais pas. Attendez un mois, nous allons vérifier pour sûr.