أقترح التعرف على فك تشفير تقرير بداية عام 2019 من قبل أندريه سالنيكوف ، "إدارة الحمل على PostgreSQL ، عندما يكون خادم واحد غير كافٍ بالفعل"
النقاط الأساسية:
1) ممارسات موازنة التحميل القياسية PostgreSQL. أولاً ، نناقش أسباب الحمل الكبير على قاعدة البيانات. الخطوة التالية هي النظر في طرق موازنة التحميل هذه.
2) ستتم مناقشة الأسئلة حول كيفية تنظيم النسخ المتماثل في PostgreSQL ، وما هي الاختلافات بين النسخ المتزامنة وغير المتزامنة ، وكيفية تكوين النسخ المتماثلة بشكل صحيح.
, . – Data Egret. . . HeadHunter, Lamoda. DBA PostgreSQL. DBA – . . , .
, - , .
Postgres open source’ community, . , Postgres.
, RDBMS . – enterprise: Oracle MSSQL, open source: MySQL Posgres, .
- . . . – Postgres .
– .
, - . , , , . . . Postgres, , , . , , .
. ? , . , -, .
, .
, , . . , , , , , , .
. , ? , raid 1 raid 0. . -. , , . , . , .
, , – 20 000-30 000. 40 000, , - . .
, . 50 000 . .
, , - - . . – , . . , . , . . . , , - , , , . .
. . , , . . , . .
, . – «exclusive», «share».
20 000 ( ), , - .
: HH Lamoda. , ? 10-20-50 , .
. , .
, , . , , . - . , , , , , , . .
, , Postgres , . . Postgres Posix, , , . – . , , : «, » sleep. , . , . , .
. .
timestamps.
, 30 . . . . RDBMS , . , - . , . , . .
-. , . .
, – idle-. Idle- , - pool connection. , , . , , , , , , , . overhead, , -, .
– . – , .
– , . - , : , . .
– - , . , , , .
? . .
, . ? -, . -, - Postgres ( MVCC), . update/delete, , , , .
idle in transaction , , Postgres . , . . , . , . , . - ( ), 10 , 300 , 400 . . Postgres, .
– waiting. , - . , , . , , .
, . . : - , . , Ruby, Python. , . , , - , . idle in transaction.
instances , . . - . . . , .
-. , pool connection . pools, . Hibernate pools. , pool. , pool .
, . , , idle-. . . , . , , , . , . , . . .
, , .
, , , . , .
.
, . . , , – . , - .
, , , . . , .
, 2,5 . 2 – transaction log. . , . , . . . 1,5 . : « . ». 0,5 . 2,5 0,5 . , .
. , . , , . .
. ORM-. . , , , . .
, , 2 , , 490 , . 490 , , . - . .
, , . , , , , , .
. , , , . . , - . , , , - , .
, , . , , . , . . , , . . , , – 3-4 , .
. . , .
? , . , , - . , : , , . , , « , ». , , , . , , , .
. Json, , . . . - Json . . , .
. , , , , . . . . , , , . , Json, . Json, . , .
. , join. . , , , , , .
Java , hibernate . Hibernate, , . . , 2 , . , . 2 – , .
, , Python, 490 , . . 5 . . . , . , - , , .
2 . , , . .
, , , . . , , , , . . , , . . . LEFT JOIN, DISTINCT , , - .
GROUP BY – DISTINCT. . . , . .
– COUNT, MAX, MIN , . . , , . , , . , . . . - . . , MIN, MAX . . .
, . «WHERE id IN (SELECT id FROM)», . «NOT EXISTS». id, , .
, . SELECT ids. id , – .
NOT EXISTS , . , : «, id, ». WHERE, . , WHERE , , , .
– . . , - , , . cron- ( ) , , , . , .
. , -, , . - . , , . PIDs . , , .
, HH , cron …, . . cron . , , – .
. . , : Kafka, RabbitMQ, ZeroMQ, .
, . . Skype SkyTools PGQ. . . . . 20 000-30 000 .
– . , . , , .
. . DBA, , Postgres. .
. , , idles. , .
idle-. . . , 10 , 15, 15 , . . idle 15 . , , .
pgbouncer . . , .
PgBouncer transaction-, . . : start transaction commit rollback. , … – . – . , , , .
Pgpool-II, , .
PgBouncer , . . Odyssey. . , . . . . -, , , - Odyssey Pgbouncer. PgBouncer – .
. , COUNT 200 , 200 . MIN , .
200 , 100 . . .
– , . . . , . , , , . , .
, . ? , 100 , 2 200 . , . , 90 % 10 % . 200 , .
. . Oracle, partition. «» . - – .
. .
?
. , , .
. , : , , , . , . , , . , , . , , . , .
. , , , , .
– . , , , : HDD SSD. NVMe . – , . , NVMe, .
? WHERE , , , .
, - . . .
– . – , . – , , . . – drop table, .
. - , , . - . , – Coca-Cola, Pepsi, Nike, Adidas . . , . . . .
, , , . . . , . . . . , . , , .
, , , 4 , 2 , 2 , , : « ?».
, - . , . , RDBMS .
. , , , .
: .
– , . INSERT. INSERT INSERT’ . DELETE DELETE SQL . .
. INSERT . , . . . . , .
, .
9.4 . . 9.6 . 10-11 . , , , , .
Postgres . , – , . .
Postgres, , , , . – . INSERTS DELETES.
, . Slony, Londiste Burcado.
Burcado – . – Slony. Londiste – , . , .
, , SQL? . , , . , - . , .
, Postgres , . .
? .
– -, , -. -, . , -. - .
. , -. Postgres , Postgres , , , , , , .
. . .
, , , , , , .
. , . , , 10-20 .
. , , .
? -, . , -, 20 , , , , . - . . , . -.
. . , Postgres, . .
. delayed . , . , 8 , 8 , . , 6 , . . . , . . . , 200 – .
. . . . , , - , , . . . – . , . . , , .
. ?
wal_keep_segments. , . - , , , wal- – 16 . . . 1 000 , , 1,5 . , .
, …, , -, , , . , «0» . , .
Max_standby_streaming_delay. . ? , . , - . , , . , , , .
, , , , . , Postgres , .
Synchronous_standby_names. - . . . . . . . . . .
Hot_standby_feedback. , , . , , , . .
, - : « , -. , , ». .
. . Hot_standby_feedback , -, . , . .
Recovery_min_apply_delay. CI/CD , , - , . 6 . 6 , . 8 .
, . , .
.
Postgres , . .
, full story , -, - . -. .
? , , . , COUNT, MAX - , , .
. 20 , . . . , , - . Join, .
- , KPI -. . , . max_standby_streaming_delay. , 4 , .
, 2 , . . . OLAP-, , -, , . , OLAP-. .
, , HeadHunter , . - . . , , . .
RDBMS , , , RDBMS, . , ClickHouse, .
. , latency. , , , , - . , . , . . . , . , , , .
, - , . - . , . .
, , , , . . . .
يبدو مخطط "مرحلة الإدمان الأخيرة" على HeadHunter شيئًا مثل هذا. هناك 11 خادمًا في سلسلة تتالي للخدمة الرئيسية. ويعمل. لديهم مثل هذه الأحادية المجنونة التي تعمل بدون مشاكل مثل الساعة. ويرجع ذلك جزئيًا إلى حقيقة أن فريق الدعم لديه قسط يعتمد على مدى التوقف عن العمل. لديهم وقت التوقف المسموح به. وكم وفروا من هذا الوقت المسموح به ، لذلك لديهم مكافأة جيدة. وهم يحاولون. لديهم فترة توقف.
لدي كل شيء حول هذا الموضوع. إنها أكثر بانورامية ، ولكن أعتقد أنها ستكون مفيدة.
فيديو: