PostgreSQL में बड़ी मात्रा में बहुत सारे पैसे बचाएं

CREATE TABLE rawdata_orig(
  pack -- PK
    uuid NOT NULL
, recno -- PK
    smallint NOT NULL
, dt --  
    date
, data --  
    text
, PRIMARY KEY(pack, recno)
);

PostgreSQL एक निश्चित पृष्ठ आकार (आमतौर पर 8 KB) का उपयोग करता है, और कई पृष्ठों को टपल करने की अनुमति नहीं देता है। इसलिए, बहुत बड़े क्षेत्र मूल्यों को सीधे स्टोर करना असंभव है। इस सीमा को पार करने के लिए, बड़े क्षेत्र मान संकुचित होते हैं और / या कई भौतिक रेखाओं में विभाजित होते हैं। यह उपयोगकर्ता द्वारा किसी का ध्यान नहीं दिया जाता है और सर्वर कोड के अधिकांश हिस्से को थोड़ा प्रभावित करता है। इस विधि को टोस्ट के रूप में जाना जाता है ...

TOAST(
  chunk_id
    integer
, chunk_seq
    integer
, chunk_data
    bytea
, PRIMARY KEY(chunk_id, chunk_seq)
);

टोस्ट प्रभाव को कम करें

• अतिरिक्त दोनों संपीड़न और अलग भंडारण की अनुमति देता है। यह सबसे अधिक संगत डेटा प्रकारों के लिए मानक विकल्प है । सबसे पहले, संपीड़न करने का प्रयास किया जाता है, फिर तालिका के बाहर सहेजा जाता है यदि पंक्ति अभी भी बहुत बड़ी है।
• MAIN संपीड़न की अनुमति देता है, लेकिन अलग भंडारण नहीं। (वास्तव में, अलग-अलग भंडारण, हालांकि, ऐसे स्तंभों के लिए किया जाएगा, लेकिन केवल एक अंतिम उपाय के रूप में , जब पंक्ति को कम करने का कोई अन्य तरीका नहीं है ताकि यह पृष्ठ पर फिट हो सके।)

ALTER TABLE rawdata_orig ALTER COLUMN data SET STORAGE MAIN;

प्रभाव का मूल्यांकन कैसे करें

heap  = 37GB (39%)
TOAST = 54GB (57%)
PK    =  4GB ( 4%)

heap  = 37GB (67%)
TOAST = 16GB (29%)
PK    =  2GB ( 4%)

TOAST प्रसंस्करण कोड तभी ट्रिगर किया जाता है जब तालिका में संग्रहीत की जाने वाली पंक्ति मान TOAST_TUPLE_THRESHOLD बाइट्स (आमतौर पर 2 Kb) से बड़ी हो। TOAST कोड तालिका मानों को संपीड़ित और / या स्थानांतरित कर देगा, जब तक कि पंक्ति मान TOAST_TUPLE_TARGET बाइट्स से कम न हो (चर, आमतौर पर 2 KB और साथ ही) या आकार को कम करना असंभव हो जाता है।

ALTER TABLE rawplan_orig SET (toast_tuple_target = 128);

कई आर्किटेक्चर मशीन शब्द सीमाओं के पार डेटा संरेखण प्रदान करते हैं। उदाहरण के लिए, एक x86 32-बिट सिस्टम पर, पूर्णांक (पूर्णांक प्रकार, 4 बाइट्स) को 4-बाइट शब्दों की सीमा पर संरेखित किया जाएगा, साथ ही डबल-सटीक फ़्लोटिंग-पॉइंट नंबर (डबल सटीक प्रकार, 8 बाइट्स)। और 64-बिट सिस्टम पर, 8-बाइट शब्दों की सीमा पर दोहरे मूल्यों को संरेखित किया जाएगा। यह असंगति का एक और कारण है।

संरेखण के कारण, तालिका पंक्ति का आकार खेतों के क्रम पर निर्भर करता है। आमतौर पर यह प्रभाव बहुत ध्यान देने योग्य नहीं होता है, लेकिन कुछ मामलों में यह आकार में उल्लेखनीय वृद्धि कर सकता है। उदाहरण के लिए, यदि आप एक प्रकार के चार (1) और पूर्णांक मिश्रित के क्षेत्रों को रखते हैं, तो उनके बीच, एक नियम के रूप में, 3 बाइट्स कुछ भी नहीं के लिए बर्बाद हो जाएंगे।

SELECT pg_column_size(ROW(
  '0000-0000-0000-0000-0000-0000-0000-0000'::uuid
, 0::smallint
, '2019-01-01'::date
));
-- 48 

SELECT pg_column_size(ROW(
  '2019-01-01'::date
, '0000-0000-0000-0000-0000-0000-0000-0000'::uuid
, 0::smallint
));
-- 46 

CREATE TABLE public.plan_20190220
(
--  from table plan:  pack uuid NOT NULL,
--  from table plan:  recno smallint NOT NULL,
--  from table plan:  host uuid,
--  from table plan:  ts timestamp with time zone,
--  from table plan:  exectime numeric(32,3),
--  from table plan:  duration numeric(32,3),
--  from table plan:  bufint bigint,
--  from table plan:  bufmem bigint,
--  from table plan:  bufdsk bigint,
--  from table plan:  apn uuid,
--  from table plan:  ptr uuid,
--  from table plan:  dt date,
  CONSTRAINT plan_20190220_pkey PRIMARY KEY (pack, recno),
  CONSTRAINT chck_ptr CHECK (ptr IS NOT NULL),
  CONSTRAINT plan_20190220_dt_check CHECK (dt = '2019-02-20'::date)
)
INHERITS (public.plan)

CREATE TABLE public.plan_20190221
(
--  from table plan:  dt date NOT NULL,
--  from table plan:  ts timestamp with time zone,
--  from table plan:  pack uuid NOT NULL,
--  from table plan:  recno smallint NOT NULL,
--  from table plan:  host uuid,
--  from table plan:  apn uuid,
--  from table plan:  ptr uuid,
--  from table plan:  bufint bigint,
--  from table plan:  bufmem bigint,
--  from table plan:  bufdsk bigint,
--  from table plan:  exectime numeric(32,3),
--  from table plan:  duration numeric(32,3),
  CONSTRAINT plan_20190221_pkey PRIMARY KEY (pack, recno),
  CONSTRAINT chck_ptr CHECK (ptr IS NOT NULL),
  CONSTRAINT plan_20190221_dt_check CHECK (dt = '2019-02-21'::date)
)
INHERITS (public.plan)