Saya menyarankan agar Anda membiasakan diri dengan decoding laporan awal 2016 oleh Andrey Salnikov "Kesalahan khas dalam aplikasi yang menyebabkan mengasapi postgresql"
Dalam laporan ini, saya akan menganalisis kesalahan utama dalam aplikasi yang muncul pada tahap mendesain dan menulis kode aplikasi. Dan saya hanya akan mengambil kesalahan yang menyebabkan mengasapi di Postgresql. Sebagai aturan, ini adalah awal dari akhir kinerja sistem Anda secara keseluruhan, meskipun pada awalnya tidak ada prasyarat untuk ini terlihat.
Senang menyambut semua orang! Laporan ini tidak se-teknis yang sebelumnya dari kolega saya. Laporan ini ditujukan untuk pengembang sistem backend terutama karena kami memiliki jumlah pelanggan yang cukup besar. Dan mereka semua membuat kesalahan yang sama. Saya akan memberi tahu Anda tentang mereka. Saya akan menjelaskan apa yang menyebabkan kesalahan ini fatal dan buruk.
Mengapa ada kesalahan? Mereka dilakukan karena dua alasan: kebetulan, mungkin itu juga karena ketidaktahuan beberapa jenis mekanisme yang terjadi pada tingkat antara basis dan aplikasi, serta di dalam basis itu sendiri.
, . , . , , . .
, . , . - .
: , 2 MB. . – 2 000 .
, , . 2 . – , .
, . 2 MB. .
, . .
– . , . , – -. .
. . , , . , ( ) .
, , . – 2 000 , .
. - . :
- – , . . . . , , - . – , .
- , - exception. exception . .
- – . . . , , .
?
, . bloat. , , . . 10 , 10 , 20 . .
, . , . , , 300 . , . . .
. . . . Postgres , - .
? . . , , . . , . . – , .
. , . . . .
, , , . , . - . , .
: « ?». . , . . . . . - , .
, : . .
, . . , - . . . . .
, , . , .
, , , . . ?
. - . . , , . . , , , . , . - Postgres.
? - , : « , , id , ». id. . , - , , , . .
, - . , , . , . . - , , . PostgreSQL.
? ?
- , - , - . . , , id. id, , . , . , . .
. - , , . ? , . .
. , .
, : , , . «bloat», . , 2 MB, 300 MB? .
?
- 150 . , .
- . , . , , - . , , .
- . , .
- , 10 , 10 , 10 , . . . 20 , 10 . , . - , , , , .
- : « ?», , .
, .
, . , - , - . pgstattuple. , , , .
, , . . . – VACUUM FULL. , , . Pg_repack pgcompacttable – . .
, . . , . .
, , , , , :
- . -. idle in transaction. , , - , .
- , , . . . «» , .
, , VACUUM FULL’ . production.
. .
, , , . , , . , , , , . . , , .
. . , , . .
,
- . , : , . , - ETL. . .
- , . , , . , , .
- .
- . .
? . -.
. . , . , , 2 . , . .
. , . .
, . .
, . .
– . , 3 . – 3 . , , .
, . . – hot_standby_feedback. . Hot_standby_feedback . . .
-? - . , . , - -. , , . . . - .
, . . . , .
, , ?
- . , , . . . , Load Average .
- , . , . , .
- . raid. . . , , .
- : , . .
- - .
. . . , . , , , .
. - - . - . , -, , . . , .
, , . . , , . . , .
- , .
. . . , .
- hot_standby_feedback? , . - . - , .
- max_standby_streaming_delay? , – . , - , . , . , , - . , , – , .
- , , , hot_standby_feedback . . , . . , . . . , .
- , . streaming_delay. . , 6 , . .
:
. .
, .
- . . . , , , .
- . , , . , , , . : .
- . , Liquibase. . . . . , . . , . .
- , .
. , 15 GB. , , .
, , . , . . . 5 , , 7,5.
.
, :
bloat, .
, , , . .
, , . 7,5, . 2 , 1,5 , . . . – . .
, . . .
- . .
- . DBA , DBA. . , , , .
- , , , , . . , :
- , .
- . ? -, . , - -.
- , , , .
- , ( ) , . – .
- , , . - , .
- .
bloat .
.
https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat.sql
https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat_approx.sql
, .
, bloat, pgstattuple.
, . . .
- , bloat .
- , – bloat bloat . , bloat Postgres . MVCC.
- 20 % bloat – . . . .
, , , , .
, bloat:
- , . . VACUUM FULL. , . VACUUM FULL? . . , . . , : , , . VACUUM FULL , .
- pg_repack. VACUUM FULL, . , , , . VACUUM FULL. , , . , -.
- – pgcompacttable. , . pgcompacttable , . , , , . , . . . .
.
bloat , :
, , . . !
! , . ? . . , , - . - joins. - , , - . . . , . ? , ? ?
– , DBA.
.
PostgreSQL , pg_stat_activity, . , .
5 ?
cron . , . . . , . , . .
, ?
. . .
! pg_repack . , …
.
… . ?
, , . . pg_repack , . , - . .
. . - ?
, .
, VACUUM FULL?
VACUUM FULL, , . , . pg_repack . , , .
! . , . . . – . - ?
. Postgres . . , . id , , . , . - . , . .
. . . , . . - , .
, . Postgres . . , , tos-. : , json. . bloat, . . . .
! statement timeout?
. . . . , , . . . . cron, . , . , 10 . . pg_stat_activity.
! . , . - exception, rollback . . . , . , PostgreSQL , ?
, , , ORM, . . auto commit on, , .
. . ?
. . auto commit on. . , - . «start transaction» «end transaction», .
! ! , , - . - , ?
- .
, DBA , . .
, - , .
?
reserved space, . . , , . , . – , . - , .
?
. , , , . , , . .
! . -, , , , . , . ?
.
?
. , pg_rapack, pgcompacttable. , . VACUUM FULL , , . . .
. , . , – , – .
? , . . , ? - . , , , , . , , , , . PostgreSQL , . , , .
Andrey, ada pertanyaan. Grafik-grafik indah yang Anda tunjukkan selama presentasi, adalah hasil kerja, semacam utilitas Anda? Apa yang membuat grafik?
Ini adalah layanan Okmeter .
Apakah ini produk komersial?
Iya. Ini adalah produk komersial.