Typische Fehler in Anwendungen, die zu einem Aufblähen in postgresql führen. Andrey Salnikov

Ich schlage vor, dass Sie sich mit der Entschlüsselung des Berichts von Anfang 2016 durch Andrei Salnikov vertraut machen. "Typische Fehler in Anwendungen, die zu einem Aufblähen in postgresql führen."

In diesem Bericht werde ich die Hauptfehler in Anwendungen analysieren, die beim Entwerfen und Schreiben von Anwendungscode auftreten. Und ich werde nur die Fehler nehmen, die in Postgresql zum Aufblähen führen. Dies ist in der Regel der Beginn des Endes der Leistung Ihres gesamten Systems, obwohl zunächst keine Voraussetzungen dafür erkennbar waren.

Freut mich, alle willkommen zu heißen! Dieser Bericht ist nicht so technisch wie der vorherige von meinem Kollegen. Dieser Bericht richtet sich hauptsächlich an Entwickler von Backend-Systemen, da wir eine relativ große Anzahl von Kunden haben. Und alle machen die gleichen Fehler. Ich werde dir davon erzählen. Ich werde erklären, zu was fatal und schlimm diese Fehler führen.

Warum werden Fehler gemacht? Sie werden aus zwei Gründen durchgeführt: Zufällig, möglicherweise auch aufgrund der Unkenntnis eines Mechanismus, der auf der Ebene zwischen der Basis und der Anwendung sowie in der Basis selbst auftritt.

, . , . , , . .

, . , . - .

: , 2 MB. . – 2 000 .

, , . 2 . – , .

, . 2 MB. .

, . .

– . , . , – -. .

. . , , . , ( ) .

, , . – 2 000 , .

. - . :

• – , . . . . , , - . – , .
• , - exception. exception . .
• – . . . , , .

?

, . bloat. , , . . 10 , 10 , 20 . .

, . , . , , 300 . , . . .

. . . . Postgres , - .

? . . , , . . , . . – , .

. , . . . .

, , , . , . - . , .

: « ?». . , . . . . . - , .

, : . .

, . . , - . . . . .

, , . , .

, , , . . ?

. - . . , , . . , , , . , . - Postgres.

? - , : « , , id , ». id. . , - , , , . .

, - . , , . , . . - , , . PostgreSQL.

? ?

- , - , - . . , , id. id, , . , . , . .

. - , , . ? , . .

. , .

, : , , . «bloat», . , 2 MB, 300 MB? .

?

• 150 . , .
• . , . , , - . , , .
• . , .
• , 10 , 10 , 10 , . . . 20 , 10 . , . - , , , , .
• : « ?», , .

, .

, . , - , - . pgstattuple. , , , .

, , . . . – VACUUM FULL. , , . Pg_repack pgcompacttable – . .

, . . , . .

, , , , , :

• . -. idle in transaction. , , - , .
• , , . . . «» , .

, , VACUUM FULL’ . production.

. .

, , , . , , . , , , , . . , , .

. . , , . .

,

• . , : , . , - ETL. . .
• , . , , . , , .
• .
• . .

? . -.

. . , . , , 2 . , . .

. , . .

, . .

, . .

– . , 3 . – 3 . , , .

, . . – hot_standby_feedback. . Hot_standby_feedback . . .

-? - . , . , - -. , , . . . - .

, . . . , .

, , ?

• . , , . . . , Load Average .
• , . , . , .
• . raid. . . , , .
• : , . .
• - .

. . . , . , , , .

. - - . - . , -, , . . , .

, , . . , , . . , .

- , .

. . . , .

• hot_standby_feedback? , . - . - , .
• max_standby_streaming_delay? , – . , - , . , . , , - . , , – , .
• , , , hot_standby_feedback . . , . . , . . . , .
• , . streaming_delay. . , 6 , . .

:

• .
• , .

. .

, .

• . . . , , , .
• . , , . , , , . : .
• . , Liquibase. . . . . , . . , . .
• , .

. , 15 GB. , , .

, , . , . . . 5 , , 7,5.

.

, :

• .
• .
• , .
• , , , , .

bloat, .

, , , . .

, , . 7,5, . 2 , 1,5 , . . . – . .

, . . .

• . .
• . DBA , DBA. . , , , .
• , , , , . . , :
• , .
• . ? -, . , - -.
• , , , .
• , ( ) , . – .
• , , . - , .
• .

bloat .

.

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat.sql

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat_approx.sql

, .

, bloat, pgstattuple.

, . . .

• , bloat .
• , – bloat bloat . , bloat Postgres . MVCC.
• 20 % bloat – . . . .

, , , , .

, bloat:

• , . . VACUUM FULL. , . VACUUM FULL? . . , . . , : , , . VACUUM FULL , .
• pg_repack. VACUUM FULL, . , , , . VACUUM FULL. , , . , -.
• – pgcompacttable. , . pgcompacttable , . , , , . , . . . .

.

bloat , :

• https://www.slideshare.net/alexius2Mb/where-is-the-space-postgres – . , Postgres . bloat.
• https://github.com/dataegret/pg-utils – , . bloat.
• , .
• http://blog.dataegret.com/2Mb018/03/postgresql-bloatbusters.html – . bloat .

, , . . !

! , . ? . . , , - . - joins. - , , - . . . , . ? , ? ?

– , DBA.

.

PostgreSQL , pg_stat_activity, . , .

5 ?

cron . , . . . , . , . .

, ?

. . .

! pg_repack . , …

.

… . ?

, , . . pg_repack , . , - . .

. . - ?

, .

, VACUUM FULL?

VACUUM FULL, , . , . pg_repack . , , .

! . , . . . – . - ?

. Postgres . . , . id , , . , . - . , . .

. . . , . . - , .

, . Postgres . . , , tos-. : , json. . bloat, . . . .

! statement timeout?

. . . . , , . . . . cron, . , . , 10 . . pg_stat_activity.

! . , . - exception, rollback . . . , . , PostgreSQL , ?

, , , ORM, . . auto commit on, , .

. . ?

. . auto commit on. . , - . «start transaction» «end transaction», .

! ! , , - . - , ?

- .

, DBA , . .

, - , .

?

reserved space, . . , , . , . – , . - , .

?

. , , , . , , . .

! . -, , , , . , . ?

.

?

. , pg_rapack, pgcompacttable. , . VACUUM FULL , , . . .

. , . , – , – .

? , . . , ? - . , , , , . , , , , . PostgreSQL , . , , .

Andrey, da ist eine Frage. Diese wunderbaren Grafiken, die Sie während der Präsentation gezeigt haben, sind das Ergebnis der Arbeit, eine Art Dienstprogramm? Was hat die Grafiken aufgebaut?

Dies ist ein Okmeter- Dienst .

Ist das ein kommerzielles Produkt?

Ja. Dies ist ein kommerzielles Produkt.