Gestion de la charge PostgreSQL, lorsqu'un seul serveur ne suffit pas. Andrey Salnikov

Je propose de me familiariser avec le décodage du rapport du début 2019 par Andrey Salnikov, "Gérer la charge sur PostgreSQL, quand un serveur ne suffit déjà pas"

Points clés:
1) Pratiques d'équilibrage de charge standard PostgreSQL. Tout d'abord, nous discutons des raisons de la charge élevée sur la base de données. L'étape suivante consiste à considérer ces méthodes d'équilibrage de charge.
2) Des questions seront discutées sur l'organisation de la réplication dans PostgreSQL, quelles sont les différences entre les répliques synchrones et asynchrones et comment configurer correctement les répliques.

, . – Data Egret. . . HeadHunter, Lamoda. DBA PostgreSQL. DBA – . . , .

, - , .

Postgres open source’ community, . , Postgres.

, RDBMS . – enterprise: Oracle MSSQL, open source: MySQL Posgres, .

- . . . – Postgres .

– .

, - . , , , . . . Postgres, , , . , , .

. ? , . , -, .

, .

, , . . , , , , , , .

. , ? , raid 1 raid 0. . -. , , . , . , .

, , – 20 000-30 000. 40 000, , - . .

, . 50 000 . .

, , - - . . – , . . , . , . . . , , - , , , . .

. . , , . . , . .

, . – «exclusive», «share».

20 000 ( ), , - .

: HH Lamoda. , ? 10-20-50 , .

. , .

, , . , , . - . , , , , , , . .

, , Postgres , . . Postgres Posix, , , . – . , , : «, » sleep. , . , . , .

. .

timestamps.

, 30 . . . . RDBMS , . , - . , . , . .

-. , . .

, – idle-. Idle- , - pool connection. , , . , , , , , , , . overhead, , -, .

– . – , .

– , . - , : , . .

– - , . , , , .

? . .

, . ? -, . -, - Postgres ( MVCC), . update/delete, , , , .

idle in transaction , , Postgres . , . . , . , . , . - ( ), 10 , 300 , 400 . . Postgres, .

– waiting. , - . , , . , , .

, . . : - , . , Ruby, Python. , . , , - , . idle in transaction.

instances , . . - . . . , .

-. , pool connection . pools, . Hibernate pools. , pool. , pool .

, . , , idle-. . . , . , , , . , . , . . .

, , .

, , , . , .

.

, . . , , – . , - .

, , , . . , .

, 2,5 . 2 – transaction log. . , . , . . . 1,5 . : « . ». 0,5 . 2,5 0,5 . , .

. , . , , . .

. ORM-. . , , , . .

, , 2 , , 490 , . 490 , , . - . .

, , . , , , , , .

. , , , . . , - . , , , - , .

, , . , , . , . . , , . . , , – 3-4 , .

. . , .

? , . , , - . , : , , . , , « , ». , , , . , , , .

. Json, , . . . - Json . . , .

. , , , , . . . . , , , . , Json, . Json, . , .

. , join. . , , , , , .

Java , hibernate . Hibernate, , . . , 2 , . , . 2 – , .

, , Python, 490 , . . 5 . . . , . , - , , .

2 . , , . .

, , , . . , , , , . . , , . . . LEFT JOIN, DISTINCT , , - .

GROUP BY – DISTINCT. . . , . .

– COUNT, MAX, MIN , . . , , . , , . , . . . - . . , MIN, MAX . . .

, . «WHERE id IN (SELECT id FROM)», . «NOT EXISTS». id, , .

, . SELECT ids. id , – .

NOT EXISTS , . , : «, id, ». WHERE, . , WHERE , , , .

– . . , - , , . cron- ( ) , , , . , .

. , -, , . - . , , . PIDs . , , .

, HH , cron …, . . cron . , , – .

. . , : Kafka, RabbitMQ, ZeroMQ, .

, . . Skype SkyTools PGQ. . . . . 20 000-30 000 .

– . , . , , .

. . DBA, , Postgres. .

. , , idles. , .

idle-. . . , 10 , 15, 15 , . . idle 15 . , , .

pgbouncer . . , .

PgBouncer transaction-, . . : start transaction commit rollback. , … – . – . , , , .

Pgpool-II, , .

PgBouncer , . . Odyssey. . , . . . . -, , , - Odyssey Pgbouncer. PgBouncer – .

. , COUNT 200 , 200 . MIN , .

200 , 100 . . .

– , . . . , . , , , . , .

, . ? , 100 , 2 200 . , . , 90 % 10 % . 200 , .

. . Oracle, partition. «» . - – .

. .

?

. , , .

. , : , , , . , . , , . , , . , , . , .

. , , , , .

– . , , , : HDD SSD. NVMe . – , . , NVMe, .

? WHERE , , , .

, - . . .

– . – , . – , , . . – drop table, .

. - , , . - . , – Coca-Cola, Pepsi, Nike, Adidas . . , . . . .

, , , . . . , . . . . , . , , .

, , , 4 , 2 , 2 , , : « ?».

, - . , . , RDBMS .

. , , , .

: .

– , . INSERT. INSERT INSERT’ . DELETE DELETE SQL . .

. INSERT . , . . . . , .

, .

9.4 . . 9.6 . 10-11 . , , , , .

Postgres . , – , . .

Postgres, , , , . – . INSERTS DELETES.

, . Slony, Londiste Burcado.

Burcado – . – Slony. Londiste – , . , .

, , SQL? . , , . , - . , .

, Postgres , . .

? .

– -, , -. -, . , -. - .

. , -. Postgres , Postgres , , , , , , .

. . .

, , , , , , .

. , . , , 10-20 .

. , , .

? -, . , -, 20 , , , , . - . . , . -.

. . , Postgres, . .

. delayed . , . , 8 , 8 , . , 6 , . . . , . . . , 200 – .

. . . . , , - , , . . . – . , . . , , .

. ?

wal_keep_segments. , . - , , , wal- – 16 . . . 1 000 , , 1,5 . , .

, …, , -, , , . , «0» . , .

Max_standby_streaming_delay. . ? , . , - . , , . , , , .

, , , , . , Postgres , .

Synchronous_standby_names. - . . . . . . . . . .

Hot_standby_feedback. , , . , , , . .

, - : « , -. , , ». .

. . Hot_standby_feedback , -, . , . .

Recovery_min_apply_delay. CI/CD , , - , . 6 . 6 , . 8 .

, . , .

.

Postgres , . .

, full story , -, - . -. .

? , , . , COUNT, MAX - , , .

. 20 , . . . , , - . Join, .

- , KPI -. . , . max_standby_streaming_delay. , 4 , .

, 2 , . . . OLAP-, , -, , . , OLAP-. .

, , HeadHunter , . - . . , , . .

RDBMS , , , RDBMS, . , ClickHouse, .

. , latency. , , , , - . , . , . . . , . , , , .

, - , . - . , . .

, , , , . . . .

Le schéma «Last Addiction Stage» sur HeadHunter ressemble à ceci. Là, ils ont 11 serveurs en cascade pour le service principal. Et il fonctionne. Ils ont un monolithe si fou qui fonctionne sans problème comme une horloge. En partie dû au fait que leur équipe de support a une prime qui dépend de la durée du temps d'arrêt. Ils ont des temps d'arrêt autorisés. Et combien ils ont économisé de ce temps alloué, donc ils ont un bon bonus. Et ils essaient. Ils ont un temps d'arrêt.

J'ai tout sur ce sujet. C'est plus panoramique, mais je pense que ce sera utile.

Vidéo: