अनुप्रयोगों में विशिष्ट त्रुटियां जो पोस्टग्रैक्स्ल में ब्लोट की ओर ले जाती हैं। एंड्रे सालनिकोव

मेरा सुझाव है कि आप एंड्री सालनिकोव द्वारा 2016 की शुरुआत की रिपोर्ट के डिकोडिंग के साथ खुद को परिचित करते हैं "अनुप्रयोगों में विशिष्ट त्रुटियां जो पोस्टग्रैक्स्ल में ब्लोट की ओर ले जाती हैं"

इस रिपोर्ट में, मैं उन अनुप्रयोगों में मुख्य त्रुटियों का विश्लेषण करूंगा जो आवेदन कोड को डिजाइन करने और लिखने के चरण में उत्पन्न होती हैं। और मैं केवल उन त्रुटियों को ले जाऊंगा जो Postgresql में प्रस्फुटित होते हैं। एक नियम के रूप में, यह एक पूरे के रूप में आपके सिस्टम के प्रदर्शन के अंत की शुरुआत है, हालांकि शुरू में इसके लिए कोई पूर्वापेक्षाएं दिखाई नहीं दे रही थीं।

सभी का स्वागत करते हुए खुशी हुई! यह रिपोर्ट मेरे सहयोगी से पहले की तरह तकनीकी नहीं है। यह रिपोर्ट मुख्य रूप से बैकेंड सिस्टम के डेवलपर्स के उद्देश्य से है क्योंकि हमारे पास काफी बड़ी संख्या में ग्राहक हैं। और वे सभी एक ही गलती करते हैं। मैं आपको उनके बारे में बताऊंगा मैं समझाऊंगा कि ये त्रुटियां किस घातक और बुरे का नेतृत्व करती हैं।

गलतियाँ क्यों की जाती हैं? वे दो कारणों से किए जाते हैं: संयोग से, शायद यह कुछ तंत्र की अज्ञानता के कारण भी है जो आधार और अनुप्रयोग के बीच के स्तर के साथ-साथ आधार में भी होता है।

, . , . , , . .

, . , . - .

: , 2 MB. . – 2 000 .

, , . 2 . – , .

, . 2 MB. .

, . .

– . , . , – -. .

. . , , . , ( ) .

, , . – 2 000 , .

. - . :

• – , . . . . , , - . – , .
• , - exception. exception . .
• – . . . , , .

?

, . bloat. , , . . 10 , 10 , 20 . .

, . , . , , 300 . , . . .

. . . . Postgres , - .

? . . , , . . , . . – , .

. , . . . .

, , , . , . - . , .

: « ?». . , . . . . . - , .

, : . .

, . . , - . . . . .

, , . , .

, , , . . ?

. - . . , , . . , , , . , . - Postgres.

? - , : « , , id , ». id. . , - , , , . .

, - . , , . , . . - , , . PostgreSQL.

? ?

- , - , - . . , , id. id, , . , . , . .

. - , , . ? , . .

. , .

, : , , . «bloat», . , 2 MB, 300 MB? .

?

• 150 . , .
• . , . , , - . , , .
• . , .
• , 10 , 10 , 10 , . . . 20 , 10 . , . - , , , , .
• : « ?», , .

, .

, . , - , - . pgstattuple. , , , .

, , . . . – VACUUM FULL. , , . Pg_repack pgcompacttable – . .

, . . , . .

, , , , , :

• . -. idle in transaction. , , - , .
• , , . . . «» , .

, , VACUUM FULL’ . production.

. .

, , , . , , . , , , , . . , , .

. . , , . .

,

• . , : , . , - ETL. . .
• , . , , . , , .
• .
• . .

? . -.

. . , . , , 2 . , . .

. , . .

, . .

, . .

– . , 3 . – 3 . , , .

, . . – hot_standby_feedback. . Hot_standby_feedback . . .

-? - . , . , - -. , , . . . - .

, . . . , .

, , ?

• . , , . . . , Load Average .
• , . , . , .
• . raid. . . , , .
• : , . .
• - .

. . . , . , , , .

. - - . - . , -, , . . , .

, , . . , , . . , .

- , .

. . . , .

• hot_standby_feedback? , . - . - , .
• max_standby_streaming_delay? , – . , - , . , . , , - . , , – , .
• , , , hot_standby_feedback . . , . . , . . . , .
• , . streaming_delay. . , 6 , . .

:

• .
• , .

. .

, .

• . . . , , , .
• . , , . , , , . : .
• . , Liquibase. . . . . , . . , . .
• , .

. , 15 GB. , , .

, , . , . . . 5 , , 7,5.

.

, :

• .
• .
• , .
• , , , , .

bloat, .

, , , . .

, , . 7,5, . 2 , 1,5 , . . . – . .

, . . .

• . .
• . DBA , DBA. . , , , .
• , , , , . . , :
• , .
• . ? -, . , - -.
• , , , .
• , ( ) , . – .
• , , . - , .
• .

bloat .

.

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat.sql

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat_approx.sql

, .

, bloat, pgstattuple.

, . . .

• , bloat .
• , – bloat bloat . , bloat Postgres . MVCC.
• 20 % bloat – . . . .

, , , , .

, bloat:

• , . . VACUUM FULL. , . VACUUM FULL? . . , . . , : , , . VACUUM FULL , .
• pg_repack. VACUUM FULL, . , , , . VACUUM FULL. , , . , -.
• – pgcompacttable. , . pgcompacttable , . , , , . , . . . .

.

bloat , :

• https://www.slideshare.net/alexius2Mb/where-is-the-space-postgres – . , Postgres . bloat.
• https://github.com/dataegret/pg-utils – , . bloat.
• , .
• http://blog.dataegret.com/2Mb018/03/postgresql-bloatbusters.html – . bloat .

, , . . !

! , . ? . . , , - . - joins. - , , - . . . , . ? , ? ?

– , DBA.

.

PostgreSQL , pg_stat_activity, . , .

5 ?

cron . , . . . , . , . .

, ?

. . .

! pg_repack . , …

.

… . ?

, , . . pg_repack , . , - . .

. . - ?

, .

, VACUUM FULL?

VACUUM FULL, , . , . pg_repack . , , .

! . , . . . – . - ?

. Postgres . . , . id , , . , . - . , . .

. . . , . . - , .

, . Postgres . . , , tos-. : , json. . bloat, . . . .

! statement timeout?

. . . . , , . . . . cron, . , . , 10 . . pg_stat_activity.

! . , . - exception, rollback . . . , . , PostgreSQL , ?

, , , ORM, . . auto commit on, , .

. . ?

. . auto commit on. . , - . «start transaction» «end transaction», .

! ! , , - . - , ?

- .

, DBA , . .

, - , .

?

reserved space, . . , , . , . – , . - , .

?

. , , , . , , . .

! . -, , , , . , . ?

.

?

. , pg_rapack, pgcompacttable. , . VACUUM FULL , , . . .

. , . , – , – .

? , . . , ? - . , , , , . , , , , . PostgreSQL , . , , .

एंड्री, एक सवाल है। प्रस्तुति के दौरान आपके द्वारा दिखाए गए ये अद्भुत रेखांकन, काम का परिणाम है, आपकी किसी तरह की उपयोगिता? क्या रेखांकन बनाया?

यह एक ओकेमीटर सेवा है ।

क्या यह एक वाणिज्यिक उत्पाद है?

हाँ। यह एक वाणिज्यिक उत्पाद है।