PostgreSQL लोड प्रबंधन, जब एक सर्वर पर्याप्त नहीं है। एंड्रे सालनिकोव

मैं एंड्री सलनिकोव द्वारा 2019 की शुरुआत की रिपोर्ट के डिकोडिंग से परिचित होने का प्रस्ताव करता हूं, "जब एक सर्वर पहले से ही पर्याप्त नहीं है, तो पोस्टग्रेक्यूएल पर लोड का प्रबंधन करना"

मुख्य बिंदु:
1) पोस्टग्रेएसक्यूएल मानक लोड संतुलन प्रथाओं। सबसे पहले, हम डेटाबेस पर उच्च भार के कारणों पर चर्चा करते हैं। अगला कदम उन लोड संतुलन विधियों पर विचार करना है।
2) प्रश्नों पर चर्चा की जाएगी कि पोस्टग्रेसीक्यू में प्रतिकृति का आयोजन कैसे किया जाता है, सिंक्रोनस और अतुल्यकालिक प्रतिकृति के बीच अंतर क्या हैं, और प्रतिकृतियों को सही तरीके से कैसे कॉन्फ़िगर किया जाए।

, . – Data Egret. . . HeadHunter, Lamoda. DBA PostgreSQL. DBA – . . , .

, - , .

Postgres open source’ community, . , Postgres.

, RDBMS . – enterprise: Oracle MSSQL, open source: MySQL Posgres, .

- . . . – Postgres .

– .

, - . , , , . . . Postgres, , , . , , .

. ? , . , -, .

, .

, , . . , , , , , , .

. , ? , raid 1 raid 0. . -. , , . , . , .

, , – 20 000-30 000. 40 000, , - . .

, . 50 000 . .

, , - - . . – , . . , . , . . . , , - , , , . .

. . , , . . , . .

, . – «exclusive», «share».

20 000 ( ), , - .

: HH Lamoda. , ? 10-20-50 , .

. , .

, , . , , . - . , , , , , , . .

, , Postgres , . . Postgres Posix, , , . – . , , : «, » sleep. , . , . , .

. .

timestamps.

, 30 . . . . RDBMS , . , - . , . , . .

-. , . .

, – idle-. Idle- , - pool connection. , , . , , , , , , , . overhead, , -, .

– . – , .

– , . - , : , . .

– - , . , , , .

? . .

, . ? -, . -, - Postgres ( MVCC), . update/delete, , , , .

idle in transaction , , Postgres . , . . , . , . , . - ( ), 10 , 300 , 400 . . Postgres, .

– waiting. , - . , , . , , .

, . . : - , . , Ruby, Python. , . , , - , . idle in transaction.

instances , . . - . . . , .

-. , pool connection . pools, . Hibernate pools. , pool. , pool .

, . , , idle-. . . , . , , , . , . , . . .

, , .

, , , . , .

.

, . . , , – . , - .

, , , . . , .

, 2,5 . 2 – transaction log. . , . , . . . 1,5 . : « . ». 0,5 . 2,5 0,5 . , .

. , . , , . .

. ORM-. . , , , . .

, , 2 , , 490 , . 490 , , . - . .

, , . , , , , , .

. , , , . . , - . , , , - , .

, , . , , . , . . , , . . , , – 3-4 , .

. . , .

? , . , , - . , : , , . , , « , ». , , , . , , , .

. Json, , . . . - Json . . , .

. , , , , . . . . , , , . , Json, . Json, . , .

. , join. . , , , , , .

Java , hibernate . Hibernate, , . . , 2 , . , . 2 – , .

, , Python, 490 , . . 5 . . . , . , - , , .

2 . , , . .

, , , . . , , , , . . , , . . . LEFT JOIN, DISTINCT , , - .

GROUP BY – DISTINCT. . . , . .

– COUNT, MAX, MIN , . . , , . , , . , . . . - . . , MIN, MAX . . .

, . «WHERE id IN (SELECT id FROM)», . «NOT EXISTS». id, , .

, . SELECT ids. id , – .

NOT EXISTS , . , : «, id, ». WHERE, . , WHERE , , , .

– . . , - , , . cron- ( ) , , , . , .

. , -, , . - . , , . PIDs . , , .

, HH , cron …, . . cron . , , – .

. . , : Kafka, RabbitMQ, ZeroMQ, .

, . . Skype SkyTools PGQ. . . . . 20 000-30 000 .

– . , . , , .

. . DBA, , Postgres. .

. , , idles. , .

idle-. . . , 10 , 15, 15 , . . idle 15 . , , .

pgbouncer . . , .

PgBouncer transaction-, . . : start transaction commit rollback. , … – . – . , , , .

Pgpool-II, , .

PgBouncer , . . Odyssey. . , . . . . -, , , - Odyssey Pgbouncer. PgBouncer – .

. , COUNT 200 , 200 . MIN , .

200 , 100 . . .

– , . . . , . , , , . , .

, . ? , 100 , 2 200 . , . , 90 % 10 % . 200 , .

. . Oracle, partition. «» . - – .

. .

?

. , , .

. , : , , , . , . , , . , , . , , . , .

. , , , , .

– . , , , : HDD SSD. NVMe . – , . , NVMe, .

? WHERE , , , .

, - . . .

– . – , . – , , . . – drop table, .

. - , , . - . , – Coca-Cola, Pepsi, Nike, Adidas . . , . . . .

, , , . . . , . . . . , . , , .

, , , 4 , 2 , 2 , , : « ?».

, - . , . , RDBMS .

. , , , .

: .

– , . INSERT. INSERT INSERT’ . DELETE DELETE SQL . .

. INSERT . , . . . . , .

, .

9.4 . . 9.6 . 10-11 . , , , , .

Postgres . , – , . .

Postgres, , , , . – . INSERTS DELETES.

, . Slony, Londiste Burcado.

Burcado – . – Slony. Londiste – , . , .

, , SQL? . , , . , - . , .

, Postgres , . .

? .

– -, , -. -, . , -. - .

. , -. Postgres , Postgres , , , , , , .

. . .

, , , , , , .

. , . , , 10-20 .

. , , .

? -, . , -, 20 , , , , . - . . , . -.

. . , Postgres, . .

. delayed . , . , 8 , 8 , . , 6 , . . . , . . . , 200 – .

. . . . , , - , , . . . – . , . . , , .

. ?

wal_keep_segments. , . - , , , wal- – 16 . . . 1 000 , , 1,5 . , .

, …, , -, , , . , «0» . , .

Max_standby_streaming_delay. . ? , . , - . , , . , , , .

, , , , . , Postgres , .

Synchronous_standby_names. - . . . . . . . . . .

Hot_standby_feedback. , , . , , , . .

, - : « , -. , , ». .

. . Hot_standby_feedback , -, . , . .

Recovery_min_apply_delay. CI/CD , , - , . 6 . 6 , . 8 .

, . , .

.

Postgres , . .

, full story , -, - . -. .

? , , . , COUNT, MAX - , , .

. 20 , . . . , , - . Join, .

- , KPI -. . , . max_standby_streaming_delay. , 4 , .

, 2 , . . . OLAP-, , -, , . , OLAP-. .

, , HeadHunter , . - . . , , . .

RDBMS , , , RDBMS, . , ClickHouse, .

. , latency. , , , , - . , . , . . . , . , , , .

, - , . - . , . .

, , , , . . . .

हेडहंटर पर “लास्ट एडिक्शन स्टेज” स्कीम कुछ इस तरह दिखती है। वहां उनके पास मुख्य सेवा के लिए कैस्केड में 11 सर्वर हैं। और यह काम करता है। उनके पास एक ऐसा पागल मोनोलिथ है जो घड़ी जैसी समस्याओं के बिना काम करता है। आंशिक रूप से इस तथ्य के कारण कि उनकी सहायता टीम का प्रीमियम है जो इस बात पर निर्भर करता है कि डाउनटाइम कैसा था। उनके पास डाउनटाइम का समय है। और उन्होंने इस अनुमत समय से कितना बचाया, इसलिए उनके पास एक अच्छा बोनस है। और वे कोशिश कर रहे हैं। उनके पास एक डाउनटाइम है।

इस विषय पर मेरे पास सब कुछ है। यह अधिक मनोरम है, लेकिन मुझे लगता है कि यह उपयोगी होगा।

वीडियो: