وفر الكثير من المال بكميات كبيرة في PostgreSQL

CREATE TABLE rawdata_orig(
  pack -- PK
    uuid NOT NULL
, recno -- PK
    smallint NOT NULL
, dt --  
    date
, data --  
    text
, PRIMARY KEY(pack, recno)
);

يستخدم PostgreSQL حجم صفحة ثابت (عادة 8 كيلوبايت) ، ولا يسمح للصفوف بالامتداد عدة صفحات. لذلك ، من المستحيل تخزين قيم الحقول الكبيرة جدًا بشكل مباشر. للتغلب على هذا القيد ، يتم ضغط قيم الحقول الكبيرة و / أو تقسيمها إلى عدة خطوط مادية. يحدث هذا دون أن يلاحظه المستخدم ويؤثر بشكل طفيف على معظم كود الخادم. تُعرف هذه الطريقة باسم توست ...

TOAST(
  chunk_id
    integer
, chunk_seq
    integer
, chunk_data
    bytea
, PRIMARY KEY(chunk_id, chunk_seq)
);

تقليل تأثير التوست

• يسمح EXTENDED كلاً من الضغط والتخزين المنفصل. هذا هو الخيار القياسي لمعظم أنواع البيانات المتوافقة مع TOAST. أولاً ، تتم محاولة إجراء الضغط ، ثم يتم حفظه خارج الجدول إذا كان الصف لا يزال كبيرًا جدًا.
• يسمح MAIN بالضغط ، ولكن ليس التخزين المنفصل. (في الواقع ، سيتم إجراء تخزين منفصل لهذه الأعمدة ، ولكن فقط كملاذ أخير ، عندما لا توجد طريقة أخرى لتقليل الصف بحيث يتناسب مع الصفحة.)

ALTER TABLE rawdata_orig ALTER COLUMN data SET STORAGE MAIN;

كيفية تقييم التأثير

heap  = 37GB (39%)
TOAST = 54GB (57%)
PK    =  4GB ( 4%)

heap  = 37GB (67%)
TOAST = 16GB (29%)
PK    =  2GB ( 4%)

يتم تشغيل كود معالجة TOAST فقط عندما تكون قيمة الصف التي سيتم تخزينها في الجدول أكبر من TOAST_TUPLE_THRESHOLD بايت (عادة 2 كيلوبايت). سيضغط رمز TOAST و / أو ينقل قيم الحقول خارج الجدول حتى تكون قيمة الصف أقل من TOAST_TUPLE_TARGET بايت (متغيرة ، عادةً 2 كيلوبايت أيضًا) أو يصبح من المستحيل تقليل الحجم.

ALTER TABLE rawplan_orig SET (toast_tuple_target = 128);

توفر العديد من البنيات محاذاة البيانات عبر حدود كلمة الآلة. على سبيل المثال ، في نظام x86 32 بت ، ستتم محاذاة الأعداد الصحيحة (نوع عدد صحيح ، يشغل 4 بايت) على حد الكلمات المكونة من 4 بايت ، بالإضافة إلى أرقام النقطة العائمة مزدوجة الدقة (نوع الدقة المزدوج ، 8 بايت). وعلى نظام 64 بت ، سيتم محاذاة القيم المزدوجة على حدود الكلمات 8 بايت. هذا سبب آخر لعدم التوافق.

نظرًا للمحاذاة ، يعتمد حجم صف الجدول على ترتيب الحقول. عادة لا يكون هذا التأثير ملحوظًا جدًا ، ولكن في بعض الحالات يمكن أن يؤدي إلى زيادة كبيرة في الحجم. على سبيل المثال ، إذا قمت بوضع حقول من الأنواع char (1) وأعداد صحيحة مختلطة ، بينهما ، كقاعدة ، سيتم إهدار 3 بايت مقابل لا شيء.

SELECT pg_column_size(ROW(
  '0000-0000-0000-0000-0000-0000-0000-0000'::uuid
, 0::smallint
, '2019-01-01'::date
));
-- 48 

SELECT pg_column_size(ROW(
  '2019-01-01'::date
, '0000-0000-0000-0000-0000-0000-0000-0000'::uuid
, 0::smallint
));
-- 46 

CREATE TABLE public.plan_20190220
(
--  from table plan:  pack uuid NOT NULL,
--  from table plan:  recno smallint NOT NULL,
--  from table plan:  host uuid,
--  from table plan:  ts timestamp with time zone,
--  from table plan:  exectime numeric(32,3),
--  from table plan:  duration numeric(32,3),
--  from table plan:  bufint bigint,
--  from table plan:  bufmem bigint,
--  from table plan:  bufdsk bigint,
--  from table plan:  apn uuid,
--  from table plan:  ptr uuid,
--  from table plan:  dt date,
  CONSTRAINT plan_20190220_pkey PRIMARY KEY (pack, recno),
  CONSTRAINT chck_ptr CHECK (ptr IS NOT NULL),
  CONSTRAINT plan_20190220_dt_check CHECK (dt = '2019-02-20'::date)
)
INHERITS (public.plan)

CREATE TABLE public.plan_20190221
(
--  from table plan:  dt date NOT NULL,
--  from table plan:  ts timestamp with time zone,
--  from table plan:  pack uuid NOT NULL,
--  from table plan:  recno smallint NOT NULL,
--  from table plan:  host uuid,
--  from table plan:  apn uuid,
--  from table plan:  ptr uuid,
--  from table plan:  bufint bigint,
--  from table plan:  bufmem bigint,
--  from table plan:  bufdsk bigint,
--  from table plan:  exectime numeric(32,3),
--  from table plan:  duration numeric(32,3),
  CONSTRAINT plan_20190221_pkey PRIMARY KEY (pack, recno),
  CONSTRAINT chck_ptr CHECK (ptr IS NOT NULL),
  CONSTRAINT plan_20190221_dt_check CHECK (dt = '2019-02-21'::date)
)
INHERITS (public.plan)