PostgreSQL औद्योगिक ट्यूनिंग दृष्टिकोण: डेटाबेस प्रयोग। निकोले समोखावलोव

मेरा सुझाव है कि आप निकोले समोखावलोव द्वारा रिपोर्ट के डिकोडिंग के साथ खुद को परिचित करते हैं "पोस्टग्रेक्यूएल ट्यूनिंग के लिए औद्योगिक दृष्टिकोण: डेटाबेस प्रयोग"

Shared_buffers = 25% - यह बहुत कुछ है या थोड़ा है? या सिर्फ सही? कैसे समझें कि यह सिफारिश काफी पुरानी है, आपके विशेष मामले में सिफारिश की गई है?

यह postgresql.conf मापदंडों का चयन करने के मुद्दे पर पहुंचने का समय है "वयस्क तरीके से।" लेखों और ब्लॉगों से अंधे "ऑटोट्यूनर्स" या पुरानी युक्तियों की मदद से नहीं, बल्कि इसके आधार पर:

1. सख्ती से कैलिब्रेट किए गए डेटाबेस प्रयोगों ने बड़ी मात्रा में और परिस्थितियों में स्वचालित रूप से प्रदर्शन किया, जितना संभव हो "मुकाबला" करने के लिए करीब
2. डीबीएमएस और ओएस की विशेषताओं की गहरी समझ।

नैन्सी सीएलआई ( https://gitlab.com/postgres.ai/nancy ) का उपयोग करते हुए , हम एक विशिष्ट उदाहरण पर विचार करेंगे - कुख्यात साझा_बफर्स ​​- विभिन्न स्थितियों में, विभिन्न परियोजनाओं में और यह जानने की कोशिश करें कि हमारे बुनियादी ढांचे, डेटाबेस और लोड के लिए इष्टतम सेटिंग कैसे चुनें। ।

यह डेटाबेस पर प्रयोगों के बारे में होगा। यह एक ऐसी कहानी है जो छह महीने से कुछ अधिक समय तक चलती है।

. Postgres 14 . -. Postgres .

RuPostgres Meetup, 2- . 2 000 . RuPostgres.org.

, Highload, , Postgres .

Postgres- 11 .

, Postgres, , 2010- . , DBA, - . , - , .

, . . . . . , , . . , DBA, .

:

• « » – 8 GB 25 % shared_buffers . shared_buffers .
• «».

?

• , . , , Open Source, . . Open Source. , Open Source. , , . .
• , : .

?

-, DBA instances, . ., — .

. , - , - . , , .

. Pg_stat_statements – . Postgres pgBadger.

. . SELECT * FROM table where «?» «$» Postgres 10. – index scan seq scan. . , index scan. , 90 % , seq scan , Postgres . pg_stat_statements, - .

, «log_min_duration_statement = 0», . . , . - , , , , .

DBA ?

, - . ? , - - instance, . DBA, staging. . . , production. DBA production, . , , , , . . .

• .
• .
• SQL- ( ).
• ( ).

. Postgres. . Postgres, . , DBA , DBA . . . 10 , .

– . , , .

, . , 1 000 default_statistict_target – . , production.

, , , .

. .

• – . . - , , production. . instance Google, . . . . Postgres.
• – . . . .
• – . .
• – , , . . . , , . .

. pg_stat_statements. – , . – .

default_statistics_target = 100, =1 000. , . 8 % .

, pgBadger pg_stat_statements. . , - 88 %. . , , . , . .

, «ALTER TABLE … ALTER COLUMN» 100 . , . . , , .

. CI- . .

: , , , . - - . , .

.

-, . production, . , , . .

, , , . . , . Postgres. . production . , , auto_explain.

, , . , , .

Nancy CLI – « »

. . . , . Open Source Nancy CLI. , .

Nancy — Open Source, Gitlab. , . . help .

, . . , . – delete 40 000 000 IO, , , . . . . , - , . production. .

? , . . , MacBook . , . . - instance , , .

EC2 Instance, . . , 500 i3 instance, i3-16-xlarge. 500 64 . 15 . . . , , – 70 %, . . .

Postgres . - 12- .

. :

• Dump/sql-.
• – PGDATA . -. , . , Google . production. .
• , , Postgres - . pgbench. pgbench. «db-pgbench». , scale. , .

:

• SQL . .
• . . . . , . pgreplay , Nancy.
• . , . , . pgbench .

• SQL - , . . - , , ANALAZE . , . , SQL.
• . , , , 100 . . , . , , . . pgdata . Postgres , . .

• , , pgstat***. – pg_stat_statements, pg_stat_kcacke. , . pg_stat_bgwriter pgwriter , checkpoint , . . , shared_buffers , , .
• Postgres. – .
• – FlameGraphs.
• , pgreplay pgbench , . latency TPS. , .
• .
• CPU IO. EC2 instance , 100 instances 100 , 10 000 . , instance, - . . . sysbench , , . . , CPU IO .

?

, . , Open Source pgreplay . . , , .

duration timestamp. . – ?

https://gist.github.com/NikolayS/08d9b7b4845371d03e195a8d8df43408

, . , . pg_stat_statements, ( ) , .

. , , , . , . , .

, 802 . , bytes_per sec – 300 kB/s . , , .

! , . «syslog».

syslog, . pgbench, , .

– . 161 000 TPS. syslog – Ubuntu 16.04 37 000 TPS. , . . . , , .

CentOS 7, journald , . ., , 44 TPS.

, . , , . syslog, , .

• IOPS .
• .
• , .

pg_stat_statements. , . . pgbench – «-f».

«-f». «@» , . . . , 10 % , 20 %. , production.

, production? ? . postgres-checkup. Open Source. .

. , . . . , , , . , , health_check. DBA, health_check. . . OKmeter, . Postgres. OKmeter.io – , , . .

, , , , . CPU, IO , . . , , checkpoint, io checkpoint bgwriter . .

, - , - . OKmeter. , . - .

, , , . . production. , observing server, . : , , Postgres, - , production .

Postgres-checkup. -, . , – . , . ? . . ? . , checkup, .

. . , .

«» – 003 Postgres-checkup

. . 003. pg_stat_statements, total_time.

total_time , , , . . . ? . , , . . .

, , . .

, , , , , , 15 . , , .

? . Postgres_checkup : total-time, calls, rows, shared_blks_read . . , . pg_stat_statements , , reset. pg_stat_database , pg_stat_statements . , 1 000 000 , , .

, . , 56 . . total_time . , . . duration. duration, .

total_time per second – . , , . . . , , . . , , , .

-, . – – . , CPU 100 %, , . . .

rows . , .

. shared_buffers shared_buffers. , , . , , , , , .

– . . – . , . 101 . , .

. 8 . . , . .

– . calls. , 1 000 000. , . , , 0,01 %. . . , . – 5 % . . . 5 % – .

total_time . 14 % . – 11 % . .

, . , , , , . . - , - . . 0, . . 20 %, .

. workload. , 80 % 90 %. 10-20 . pgbench. random. , , . Postgres 12 .

80-90 % total_time. «@»? calls, , , - . , . pgbench .

001 002.

001 – . . . , , . . , . 75 % . . 10 , . .

002 – , . . SELECT, INSERT, UPDATE, DELETE. SELECT FOR UPDATE, .

, SELECT – 82 % , – 74 % total_time. . . , .

: « shared_buffers?». , – , throughput , . . . TPS QPS.

. 311 select.

. . . , . production, 100% CPU. , , - , .

, 20 , 50 %. . . . , latency 20%- , . , .

:

• Database Lab.
• on demand, - – . , , . . standing.
• . - , , . Nancy , , , .
• .
• Postgres. , . , .
• , , Postgres-checkup.

! .

.

, . . Nancy , ?

- . . , , .

. ? , . , , . . .

, , . . . . . , . , , . , . . .

. , . , ?

. . . . , . . - , - - . , – .

, , . . !

! ! , . GSP?

. . , . . . run on localhost. instance . , . Getlab , GSP. , Google . ??? instances, . -, 70 % . 5-10 % , , . . . , . , , . Google . – 24 . 5 . , .

! ! checkup. stat_statements?

. . – , : . : total_time calls, . , . : . , .

, - ?

. . ?

, , , . - , ?

, .

. , , . , reset stat_statements , , , stat_statements . , , , .

-.

- .

, , – queryid pg_stat_statements . queryid, , .

, .

id?

.

. . . , , 0 …

, , , , , stat_statemetns .

Pg_stat_statements . , track_utility = on, .

, .

java hibernate, , -. , 50-100 . - . – pg_stat_statements.max .

, , . - . . . . pg_stat_statements.max. , 70 %. , , . reset. . 70, , , .

हाँ। डिफ़ॉल्ट 5,000 है। और इसमें से बहुत कुछ पर्याप्त है।

आमतौर पर हाँ।

वीडियो:

PS मैं अपने दम पर यह जोड़ना चाहता हूं कि यदि Postgres में गोपनीय डेटा होता है और परीक्षण वातावरण में नहीं आता है, तो आप PostgreSQL Anonymizer का उपयोग कर सकते हैं । योजना लगभग इस प्रकार है: