PostgreSQL डिस्क के साथ कैसे काम करता है। इल्या कोस्मोडेमेन्स्की

Ilya Kosmodemyansky द्वारा 2014 की रिपोर्ट का डिकोडिंग "डिस्क के साथ PostgreSQL कैसे काम करता है।"

पोस्ट का हिस्सा, निश्चित रूप से, पुराना है, लेकिन यहां डिस्क के साथ काम करते समय पोस्टग्रेक्यूएल के मूलभूत पहलू हैं, जो अभी भी प्रासंगिक हैं।

डिस्क, मेमोरी, मूल्य, प्रोसेसर - इस क्रम में, जो एक डेटाबेस के लिए मशीन खरीदते हैं, सर्वर विशेषताओं को देखते हैं। इन विशेषताओं को आपस में कैसे जोड़ा जाता है? क्यों वास्तव में उन्हें?

रिपोर्ट बताएगी कि सामान्य रूप से डेटाबेस डिस्क की आवश्यकता क्यों होती है, PostgreSQL इसके साथ कैसे सहभागिता करता है, और अन्य डेटाबेस की तुलना में PostgreSQL की विशेषताएं क्या हैं।

हार्डवेयर, ऑपरेटिंग सिस्टम की सेटिंग्स, फाइल सिस्टम और पोस्टग्रेसीक्यूएल: एक अच्छा सेटअप कैसे और क्यों चुनना है, अगर हार्डवेयर कॉन्फ़िगरेशन इष्टतम नहीं है, तो क्या करना है, और कौन सी त्रुटियां सबसे महंगी RAID नियंत्रक को बेकार कर सकती हैं। बैटरी की दुनिया में एक आकर्षक यात्रा, गंदे और साफ पृष्ठ, अच्छे और बुरे एसएसडी, सिस्टम प्रशासकों के लिए निगरानी कार्यक्रम और बुरे सपने को फिर से परिभाषित किया।

मेरा नाम इल्या कोस्मोडेमान्स्की है। मैं PostgreSQL-Consulting के लिए काम करता हूं। मैं Postgres, इसके प्रदर्शन और इस तरह से संबंधित विभिन्न प्रकार की चीजें कर रहा हूं।

, Postgres, . - Write Ahead log, IO PostgreSQL, . , , -, PostgreSQL.

:

• ?

  
  

• PostgreSQL?

  
  

• , .

  
  

• . ? , ?

  
  

• PostgreSQL.

  
  

• . PostgreSQL , .

  
  

• -, . , , , . , .
• , Write Ahead Log, . Write Ahead Log, . Write Ahead Log .
• – checkpoint, WAL , .

PostgreSQL :

• PostgreSQL autovacuum. , . PostgreSQL demon autovacuum. – . , .

  
  

• PostgreSQL pg_clog. . PostgreSQL pg_clog. OLTP, . , , RAM-. RAM-. RAM- , , PostgreSQL . . , .

  
  

• tmp, , – . , , , . ., . - work_mem ( , PostgreSQL) , . , , explain analyze – , . .

  
  

, – checkpoints, , . «pik» — . .

? Oracle, Log Writer DBwriter, , , PostgreSQL fsync. .

Fsync – UNIX. fsync , - . . , checkpoints, .

? PostgreSQL shared_buffers, , . . . , , . : update, insert tuple , .

• checkpoint ? , , WAL, .

  
  

• , . WAL COMMIT , .

  
  

• WAL , , checkpoint. . Checkpoint , WAL fsync .

  
  

• shared_buffers , , shared_buffers, . - .

  
  

, . , , , . . iostat.

? . , , , shared buffers. . - , .

checkpoint, pdflush . IO . , 100 % . , fsync , . , , . , select , .

pg_stat_bgwriter, , checkpoint , checkpoints . . .

pg_stat_bgwriter. , , . , . - - . , , . , , - .

, . , - .

, , . , , , PostgreSQL. . - , , . , - , , . . . .

, ?

hardware. - , - .

• -, RAID-. RAID-? RAID- – , , . , , 100 / , , , . CPU.

  
  

  CPU, , software RAID , , .

  
  

• RAID- . . . . . , .

  
  

  ? . , fsync , . fsync , . , . , , , , , fsync checkpoints . , RAID, .

  
  

• RAID , . . . - . - RAID , , . megaraid perc, - , . , . . .

  
  

  , HP RAID-, . , , , , . , . . , , . .

  
  

• RAID . . . write back cache. io mode direct. – , PostgreSQL fsyng .

  
  

• Disk Write Cache Mode. , . SSD , , , , , , .

  
  

• , , SAS. . seek , . . , .

  
  

• SSD. SSD , . , SSD . SSD, SATA , , . , .

  
  

• SSD only , PostgreSQL . , SSD , Write Ahead Log, temp, , SSD, WAL – SSD. SSD. . , . , . .

  
  

• RAID, , , , 10, - 5- 6-. , -, RAID . , -, , . Stripe , . stripe , .

  
  

• , . , , , - , . RAID – . SATA - , off, , , .

  
  

  , , , , , – . , , . . , .

  
  

. ?

-, c noatime , , . , . barrier, xfs ext4 .

? , , , inodes, inodes . , , . Linux scall, . , inodes, .

128 GB shared buffers, RAID-. . . , Debian , , .

, , zfs, , partition , partition . , , . . . . production xfs ext4 Linux, .

, . . . , . .

- , : vm.dirty_ratio=20 vm.dirty_background_ratio=10. .

? Pdflush, , , 10 20 % . . , 128 GB , 20 % . RAID – 1-2 GB, . , 512 MB. , . , , pdflush , .

( Linux PostgreSQL : vm.dirty_background_ratio 5% ~ 25% .)

vm.dirty_bytes. . - , . , . , .

RAID, , , , - . .

postgresql.conf, checkpoints , .

• Wal_buffers – , PostgreSQL. - , , checkpoint. , , , - -.

  
  

• , flush , checkpoint segment - - . 256. - 1000 checkpoints, , . , checkpoint, , 48 MB , 4 GB. RAID-.

  
  

• checkpoints -, - . checkpoint_timeout . , -, . checkpoints . pg_stat_bgwriter 0, , checkpoints.

  
  

. . Checkpoints -, - . , - , , . checkpoint , , -.

• , checkpoint_completion_target, 0,7-0,9. checkpoint, . . . , checkpoints, checkpoint, - .

  
  

  0,1, , 10 % , checkpoints, . - , .

  
  

, ?

PostgreSQL , pg_test_fsync. , , hardware iops, checkpoints PostgreSQL, - .

( ), , . , - . , . , -, . . .

, , , .

. , . . . hardware , , .

hack, . , .

checkpoint PostgreSQL bgwriter, . . . .

? checkpoint . . Bgwriter , , . . , .

checkpoint . bgwriter . checkpoint.

, . , , . . 10 000, 1 000 10. . , checkpoint bgwriter. checkpoints update, insert, , . , .

? PostgreSQL – autovacuum. autovacuum . , autovacuum , , . , . .

, . : 40 MB select 30 - . PostgreSQL, .

. , autovacuum, .

Autovacuum . ? : autovacuum_vacuum_scale_factor autovacuum_analyze_scale_factor. 20 %. 0,02? , . 20 % . , PostgreSQL updates, insert tuple delete. Delete – delete, . tuple , autovacuum .

20 % . , , . . overhead , . , , , , ddl, autovacuum. .

- . , 0,001-0,01. . . 0,001 , autovacuum . (: autovacuum_vacuum_scale_factor autovacuum_analyze_scale_factor 5% — https://habr.com/ru/post/501516/) autovacuum , . . . , autovacuum , . overhead - . ., autovacuums .

? autovacuum. , . . 98-100 % , , , , . , 0,1 % autovacuum. , , . . , , . , autovacuum, , 20-30-50 %. autovacuum, , . , – 10-20, , work_mem , autovacuums .

autovacuum_analyze_scale_factor. , analyze. , , 32- . , 50 % , . , 0,02-0,03-0,04. , demon , , , .

, autovacuum ?

, , delete, tuple . xmax, . . transaction id, tuple .

* , autovacuum ?

, . , – . , , pg_catalog, . , pg_catalog’ . . .. . , , . , , .

! - PostgreSQL ? , KVM VirtIO ?

PostgreSQL , - - latency . , , , checkpoint . IO .

, , , , . , , - . , . - LibvitIO. - . . , .

, . . . , fsync. fsync datasync?

. pg_test_fsync , fsync , . postgresql.conf , . .

. . , SSD, HDD write cache. - ? write cache writes .

. , , , . - , , , .

, , , , RAID . , . - storages. . , - , .

. . - pgtune , . . RAIDs . ., - ? . . , RAID - , .

. . , , . , shared buffers - , work_mem , . . , . PostgreSQL , , , , , , linux- . Linux PostgreSQL . , PostgreSQL wizard – , . -: , . , , .

PostgreSQL BSD? ?

. FreeBSD , , Linux . – huge pages. Huge pages BSD . PostgreSQL, 9.4 , Linux. . . , , overhead . , workload. sync . , 3.3 , . PostgreSQL MySQL. , .

, BSD, , , . , - Oracle IBM . . . FreeBSD . , BSD .

, , ? read only , ?

inserts , . , , , . , , insert, , . , , , - time base inventory, timestamp’. , , , , -, .

, , - , - , - .

read only , , SSD, SAS’, SSD tablespace. , , tablespace SSD, , SSD. random page cost . . selects. .

?

कहानी अधिक विस्तृत है। उदाहरण के लिए, आपके पास एक विभाजन तालिका है। और आप अपने सिर को 3-4 सप्ताह तक गर्म रखते हैं, अर्थात, आपको वास्तव में इस विश्लेषण के लिए जाने की कितनी आवश्यकता है। उदाहरण के लिए, आप सभी अगले हैं, एक बड़े विभाजन में गिर जाते हैं और एक बार फिर से नहीं जाने की कोशिश करते हैं, ताकि I / O के साथ हस्तक्षेप न करें। या आप इस अंतिम तालिका को डंप करते हैं और इसे दूसरी मशीन पर ले जाते हैं जिसमें इस एकत्रीकरण के लिए ऑनलाइन ओएलटीपी लोड नहीं है। और अगर आपको यह डेटा प्राप्त करने की आवश्यकता है, तो आप वहां जाते हैं और वहां इन अनुरोधों को चलाते हैं, ताकि मुख्य आधार पर तस्वीर को खराब न करें।