DBA: सक्षम रूप से सिंक्रनाइज़ेशन और आयात व्यवस्थित करें

1. जहाज करने के लिए कहाँ?

1.1। अस्थायी तालिकाएँ (अस्थायी तालिका)

डेटाबेस के प्रत्येक कनेक्शन के लिए स्वयं के नाम स्थान

डिस्कनेक्ट के साथ "आत्म-विनाश"

गैरप्रतिकृति

1.2। असूचीबद्ध तालिकाएँ (UNLOGGED TABLE)

• अधिकतम यादृच्छिक नामों के साथ "उसका" टेबल बनाया ताकि किसी के साथ पार न हो
• एक्सट्रेक्ट : उनमें किसी बाहरी स्रोत से डेटा डाला जाता है
• ट्रांसफ़ॉर्म : रूपांतरित, कुंजी बंधन फ़ील्ड में भरा गया
• लोड : लक्षित तालिकाओं में तैयार डेटा डाला
• "मेरे" तालिकाओं को हटा दिया गया

. , , (. 29), . , ; . , . , , .

1.3। COMMIT {DELETE ROWS | ड्रॉप}

1.4। पसंद है ... शामिल हो रहा है ...

CREATE TEMPORARY TABLE import_table(
  LIKE target_table
);

2. कैसे लिखें?

3. कैसे संभालें?

• आपके डेटाबेस में 1M रिकॉर्ड के लिए क्लाइंट डेटा के साथ एक प्लेट है
• हर दिन ग्राहक आपको एक नई पूर्ण "छवि" भेजता है
• अनुभव से आप जानते हैं कि समय-समय पर 10K से अधिक रिकॉर्ड नहीं बदलते हैं

3.1। पूर्ण तुल्यकालन एल्गोरिथ्म

• वह सब कुछ हटा दें जो अब नहीं है
• वह सब कुछ अपडेट करें जो पहले से था, और आपको अपडेट करने की आवश्यकता है
• वह सब कुछ डालें जो नहीं रहा है

Dst से DELETE

• हटाना ( DELETE) सब पर
• एक नई छवि से सब कुछ पेस्ट करें

TRUNCATE dst

• स्पष्ट ( TRUNCATE) पूरी मेज
• एक नई छवि से सब कुछ पेस्ट करें

• हम एक लंबा लेनदेन शुरू करते हैं
• TRUNCATEलगाता AccessExclusive ताला
• हम एक लंबे समय के लिए सम्मिलित करते हैं, और इस समय हर कोई भी नहीं कर सकताSELECT

टेटर टेबल ... रेनम ... / ड्रॉप टेबल ...

• AccessExclusive भी , भले ही समय में काफी कम हो
• इस तालिका के सभी क्वेरी प्लान / आँकड़े रीसेट कर दिए गए हैं, ANALYZE को चलाना आवश्यक है
• सभी विदेशी कुंजियाँ (FK) टेबल पर टूट जाती हैं

DELETE, UPDATE, INSERT

--     ,     "" 
BEGIN;

--      
CREATE TEMPORARY TABLE tmp(
  LIKE dst INCLUDING INDEXES --    ,   
) ON COMMIT DROP; --       

-- -     COPY
COPY tmp FROM STDIN;
-- ...
-- \.

--  
DELETE FROM
  dst D
USING
  dst X
LEFT JOIN
  tmp Y
    USING(pk1, pk2) --   
WHERE
  (D.pk1, D.pk2) = (X.pk1, X.pk2) AND
  Y IS NOT DISTINCT FROM NULL; -- ""

--  
UPDATE
  dst D
SET
  (f1, f2, f3) = (T.f1, T.f2, T.f3)
FROM
  tmp T
WHERE
  (D.pk1, D.pk2) = (T.pk1, T.pk2) AND
  (D.f1, D.f2, D.f3) IS DISTINCT FROM (T.f1, T.f2, T.f3); --   

--  
INSERT INTO
  dst
SELECT
  T.*
FROM
  tmp T
LEFT JOIN
  dst D
    USING(pk1, pk2)
WHERE
  D IS NOT DISTINCT FROM NULL;

COMMIT;

3.2। आयात पोस्ट प्रोसेसिंग

--  
CREATE TABLE kladr(...);
CREATE TABLE kladr_house(...);

--    
CREATE TABLE kladr$log(
  ro kladr, --      /
  rn kladr
);

CREATE TABLE kladr_house$log(
  ro kladr_house,
  rn kladr_house
);

--    
CREATE OR REPLACE FUNCTION diff$log() RETURNS trigger AS $$
DECLARE
  dst varchar = TG_TABLE_NAME || '$log';
  stmt text = '';
BEGIN
  --      
  IF TG_OP = 'UPDATE' THEN
    IF NEW IS NOT DISTINCT FROM OLD THEN
      RETURN NEW;
    END IF;
  END IF;
  --   
  stmt = 'INSERT INTO ' || dst::text || '(ro,rn)VALUES(';
  CASE TG_OP
    WHEN 'INSERT' THEN
      EXECUTE stmt || 'NULL,$1)' USING NEW;
    WHEN 'UPDATE' THEN
      EXECUTE stmt || '$1,$2)' USING OLD, NEW;
    WHEN 'DELETE' THEN
      EXECUTE stmt || '$1,NULL)' USING OLD;
  END CASE;
  RETURN NEW;
END;
$$ LANGUAGE plpgsql;

CREATE TRIGGER log
  AFTER INSERT OR UPDATE OR DELETE
  ON kladr
    FOR EACH ROW
      EXECUTE PROCEDURE diff$log();

CREATE TRIGGER log
  AFTER INSERT OR UPDATE OR DELETE
  ON kladr_house
    FOR EACH ROW
      EXECUTE PROCEDURE diff$log();

3.3। संबंधित सेट आयात करें

CREATE TABLE client(
  client_id
    serial
      PRIMARY KEY
, inn
    varchar
      UNIQUE
, name
    varchar
);

CREATE TABLE invoice(
  invoice_id
    serial
      PRIMARY KEY
, client_id
    integer
      REFERENCES client(client_id)
, number
    varchar
, dt
    date
, sum
    numeric(32,2)
);

CREATE TEMPORARY TABLE invoice_import(
  client_inn
    varchar
, client_name
    varchar
, invoice_number
    varchar
, invoice_dt
    date
, invoice_sum
    numeric(32,2)
);

0123456789;;A-01;2020-03-16;1000.00
9876543210;;A-02;2020-03-16;666.00
0123456789;;B-03;2020-03-16;9999.00

INSERT INTO invoice_import
VALUES
  ('0123456789', '', 'A-01', '2020-03-16', 1000.00)
, ('9876543210', '', 'A-02', '2020-03-16', 666.00)
, ('0123456789', '', 'B-03', '2020-03-16', 9999.00);

CREATE TEMPORARY TABLE client_import AS
SELECT DISTINCT ON(client_inn)
--   SELECT DISTINCT,    
  client_inn inn
, client_name "name"
FROM
  invoice_import;

ALTER TABLE invoice_import ADD COLUMN client_id integer;
ALTER TABLE client_import ADD COLUMN client_id integer;

--     ID   
UPDATE
  client_import T
SET
  client_id = D.client_id
FROM
  client D
WHERE
  T.inn = D.inn; -- unique key

--       ID
WITH ins AS (
  INSERT INTO client(
    inn
  , name
  )
  SELECT
    inn
  , name
  FROM
    client_import
  WHERE
    client_id IS NULL --  ID  
  RETURNING *
)
UPDATE
  client_import T
SET
  client_id = D.client_id
FROM
  ins D
WHERE
  T.inn = D.inn; -- unique key

--  ID    
UPDATE
  invoice_import T
SET
  client_id = D.client_id
FROM
  client_import D
WHERE
  T.client_inn = D.inn; --