Decoding laporan 2014 oleh Ilya Kosmodemyansky "Bagaimana PostgreSQL bekerja dengan disk."
Bagian dari posting, tentu saja, sudah ketinggalan zaman, tetapi di sini ada aspek mendasar dari PostgreSQL ketika bekerja dengan disk, yang masih relevan.
Disk, memori, harga, prosesor - dalam urutan ini, admin yang membeli mesin untuk database melihat karakteristik server. Bagaimana karakteristik ini saling berhubungan? Kenapa tepatnya mereka?
Laporan ini akan menjelaskan mengapa disk basis data diperlukan secara umum, bagaimana PostgreSQL berinteraksi dengannya, dan apa saja fitur PostgreSQL dibandingkan dengan database lain.
Perangkat keras, pengaturan sistem operasi, sistem file, dan PostgreSQL: bagaimana dan mengapa memilih pengaturan yang baik, apa yang harus dilakukan jika konfigurasi perangkat keras tidak optimal, dan kesalahan apa yang dapat membuat pengontrol RAID termahal tidak berguna. Sebuah perjalanan yang menakjubkan ke dunia baterai, halaman kotor dan bersih, SSD baik dan buruk, jadwal pemantauan dan mimpi buruk memerah untuk administrator sistem.
Nama saya Ilya Kosmodemyansky. Saya bekerja untuk PostgreSQL-Consulting. Saya melakukan berbagai hal yang berkaitan dengan Postgres, kinerjanya, dan sejenisnya.
, Postgres, . - Write Ahead log, IO PostgreSQL, . , , -, PostgreSQL.
:
?
PostgreSQL?
, .
. ? , ?
PostgreSQL.
. PostgreSQL , .
- -, . , , , . , .
- , Write Ahead Log, . Write Ahead Log, . Write Ahead Log .
- – checkpoint, WAL , .
PostgreSQL :
PostgreSQL autovacuum. , . PostgreSQL demon autovacuum. – . , .
PostgreSQL pg_clog. . PostgreSQL pg_clog. OLTP, . , , RAM-. RAM-. RAM- , , PostgreSQL . . , .
tmp, , – . , , , . ., . - work_mem ( , PostgreSQL) , . , , explain analyze – , . .
, – checkpoints, , . «pik» — . .
? Oracle, Log Writer DBwriter, , , PostgreSQL fsync. .
Fsync – UNIX. fsync , - . . , checkpoints, .
? PostgreSQL shared_buffers, , . . . , , . : update, insert tuple , .
checkpoint ? , , WAL, .
, . WAL COMMIT , .
WAL , , checkpoint. . Checkpoint , WAL fsync .
shared_buffers , , shared_buffers, . - .
, . , , , . . iostat.
? . , , , shared buffers. . - , .
checkpoint, pdflush . IO . , 100 % . , fsync , . , , . , select , .
pg_stat_bgwriter, , checkpoint , checkpoints . . .
pg_stat_bgwriter. , , . , . - - . , , . , , - .
, . , - .
, , . , , , PostgreSQL. . - , , . , - , , . . . .
, ?
hardware. - , - .
-, RAID-. RAID-? RAID- – , , . , , 100 / , , , . CPU.
CPU, , software RAID , , .
RAID- . . . . . , .
? . , fsync , . fsync , . , . , , , , , fsync checkpoints . , RAID, .
RAID , . . . - . - RAID , , . megaraid perc, - , . , . . .
, HP RAID-, . , , , , . , . . , , . .
RAID . . . write back cache. io mode direct. – , PostgreSQL fsyng .
Disk Write Cache Mode. , . SSD , , , , , , .
, , SAS. . seek , . . , .
SSD. SSD , . , SSD . SSD, SATA , , . , .
SSD only , PostgreSQL . , SSD , Write Ahead Log, temp, , SSD, WAL – SSD. SSD. . , . , . .
RAID, , , , 10, - 5- 6-. , -, RAID . , -, , . Stripe , . stripe , .
, . , , , - , . RAID – . SATA - , off, , , .
, , , , , – . , , . . , .
. ?
-, c noatime , , . , . barrier, xfs ext4 .
? , , , inodes, inodes . , , . Linux scall, . , inodes, .
128 GB shared buffers, RAID-. . . , Debian , , .
, , zfs, , partition , partition . , , . . . . production xfs ext4 Linux, .
, . . . , . .
- , : vm.dirty_ratio=20 vm.dirty_background_ratio=10. .
? Pdflush, , , 10 20 % . . , 128 GB , 20 % . RAID – 1-2 GB, . , 512 MB. , . , , pdflush , .
( Linux PostgreSQL : vm.dirty_background_ratio 5% ~ 25% .)
vm.dirty_bytes. . - , . , . , .
RAID, , , , - . .
postgresql.conf, checkpoints , .
Wal_buffers – , PostgreSQL. - , , checkpoint. , , , - -.
, flush , checkpoint segment - - . 256. - 1000 checkpoints, , . , checkpoint, , 48 MB , 4 GB. RAID-.
checkpoints -, - . checkpoint_timeout . , -, . checkpoints . pg_stat_bgwriter 0, , checkpoints.
. . Checkpoints -, - . , - , , . checkpoint , , -.
, checkpoint_completion_target, 0,7-0,9. checkpoint, . . . , checkpoints, checkpoint, - .
0,1, , 10 % , checkpoints, . - , .
, ?
PostgreSQL , pg_test_fsync. , , hardware iops, checkpoints PostgreSQL, - .
( ), , . , - . , . , -, . . .
, , , .
. , . . . hardware , , .
hack, . , .
checkpoint PostgreSQL bgwriter, . . . .
? checkpoint . . Bgwriter , , . . , .
checkpoint . bgwriter . checkpoint.
, . , , . . 10 000, 1 000 10. . , checkpoint bgwriter. checkpoints update, insert, , . , .
? PostgreSQL – autovacuum. autovacuum . , autovacuum , , . , . .
, . : 40 MB select 30 - . PostgreSQL, .
. , autovacuum, .
Autovacuum . ? : autovacuum_vacuum_scale_factor autovacuum_analyze_scale_factor. 20 %. 0,02? , . 20 % . , PostgreSQL updates, insert tuple delete. Delete – delete, . tuple , autovacuum .
20 % . , , . . overhead , . , , , , ddl, autovacuum. .
- . , 0,001-0,01. . . 0,001 , autovacuum . (: autovacuum_vacuum_scale_factor autovacuum_analyze_scale_factor 5% — https://habr.com/ru/post/501516/) autovacuum , . . . , autovacuum , . overhead - . ., autovacuums .
? autovacuum. , . . 98-100 % , , , , . , 0,1 % autovacuum. , , . . , , . , autovacuum, , 20-30-50 %. autovacuum, , . , – 10-20, , work_mem , autovacuums .
autovacuum_analyze_scale_factor. , analyze. , , 32- . , 50 % , . , 0,02-0,03-0,04. , demon , , , .
, autovacuum ?
, , delete, tuple . xmax, . . transaction id, tuple .
* , autovacuum ?
, . , – . , , pg_catalog, . , pg_catalog’ . . .. . , , . , , .
! - PostgreSQL ? , KVM VirtIO ?
PostgreSQL , - - latency . , , , checkpoint . IO .
, , , , . , , - . , . - LibvitIO. - . . , .
, . . . , fsync. fsync datasync?
. pg_test_fsync , fsync , . postgresql.conf , . .
. . , SSD, HDD write cache. - ? write cache writes .
. , , , . - , , , .
, , , , RAID . , . - storages. . , - , .
. . - pgtune , . . RAIDs . ., - ? . . , RAID - , .
. . , , . , shared buffers - , work_mem , . . , . PostgreSQL , , , , , , linux- . Linux PostgreSQL . , PostgreSQL wizard – , . -: , . , , .
PostgreSQL BSD? ?
. FreeBSD , , Linux . – huge pages. Huge pages BSD . PostgreSQL, 9.4 , Linux. . . , , overhead . , workload. sync . , 3.3 , . PostgreSQL MySQL. , .
, BSD, , , . , - Oracle IBM . . . FreeBSD . , BSD .
, , ? read only , ?
inserts , . , , , . , , insert, , . , , , - time base inventory, timestamp’. , , , , -, .
, , - , - , - .
read only , , SSD, SAS’, SSD tablespace. , , tablespace SSD, , SSD. random page cost . . selects. .
?
Ceritanya lebih detail. Misalnya, Anda memiliki tabel yang dipartisi. Dan Anda membuat kepala Anda panas selama 3-4 minggu, yaitu, berapa banyak Anda benar-benar harus pergi untuk analisis ini. Semua yang berikutnya, Anda, misalnya, runtuh menjadi satu partisi besar dan mencoba untuk tidak pergi ke sana sekali lagi, agar tidak mengganggu I / O. Atau Anda membuang tabel terakhir ini dan membawanya ke mesin lain yang tidak memiliki beban OLTP online untuk agregasi ini. Dan jika Anda perlu mendapatkan data ini, Anda pergi ke sana dan mengarahkan permintaan ini di sana, agar tidak merusak gambar di pangkalan utama.