सभी को नमस्कार

लघु समीक्षा

DBT परियोजना संरचना

• मॉडल (.sql) - एक चयन क्वेरी द्वारा व्यक्त परिवर्तन की इकाई
• कॉन्फ़िगरेशन फ़ाइल (.yml) - पैरामीटर, सेटिंग्स, परीक्षण, प्रलेखन

• उपयोगकर्ता किसी भी सुविधाजनक आईडीई में मॉडल कोड तैयार करता है
• सीएलआई का उपयोग करते हुए, मॉडल लॉन्च किए जाते हैं, DBT SQL में मॉडल कोड संकलित करता है
• संकलित SQL कोड निर्दिष्ट अनुक्रम (ग्राफ़) में वेयरहाउस में निष्पादित किया जाता है

सब कुछ सिलेक्ट है

{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

• संकलन के समय, रेफरी को लक्ष्य पॉइंटर में बदल दिया जाएगा या रिपॉजिटरी में देखा जा सकता है
• रेफरी आपको मॉडल निर्भरता का एक ग्राफ बनाने की अनुमति देता है

• यदि / अन्य कथन
• छोरों के लिए - छोरों
• चर - चर
• मैक्रो - मैक्रोज़ बनाएँ

सामग्रीकरण: तालिका, दृश्य, वृद्धिशील

• तालिका - संग्रहण में भौतिक तालिका
• व्यू - व्यू, रिपॉजिटरी में वर्चुअल टेबल

• वृद्धिशील - वृद्धिशील लोडिंग (बड़े तथ्य तालिकाओं); नई लाइनें जोड़ी जाती हैं, संशोधित किए गए अपडेट किए जाते हैं, हटाए गए को हटा दिया जाता है 
• पंचांग - मॉडल सीधे भौतिक नहीं होता है, लेकिन अन्य मॉडलों में सीटीई के रूप में भाग लेता है
• कोई अन्य रणनीतियाँ जो आप स्वयं जोड़ सकते हैं

• स्नोफ्लेक : क्षणिक टेबल, मर्ज व्यवहार, टेबल क्लस्टरिंग, प्रतिलिपि बनाना, सुरक्षित दृश्य
• रेडशिफ्ट : डिस्टेक, सॉंटकी (इंटरलेव्ड, कंपाउंड), लेट बाइंडिंग व्यू
• BigQuery : टेबल विभाजन और क्लस्टरिंग, मर्ज व्यवहार, केएमएस एन्क्रिप्शन, लेबल और टैग
• स्पार्क : फ़ाइल प्रारूप (लकड़ी की छत, csv, json, orc, डेल्टा), partition_by, clustered_by, buckets, incremental_strategy

• postgres
• लाल शिफ्ट
• BigQuery
• हिमपात का एक खंड
• प्रेस्टो (आंशिक रूप से)
• स्पार्क (आंशिक रूप से)
• Microsoft SQL सर्वर (सामुदायिक एडाप्टर)

• इसकी भरण वृद्धि (वृद्धिशील) करें
• Redshift के लिए विभाजन और सॉर्ट कुंजी जोड़ें

--  : 
--  ,      (unique_key)
--   (dist),   (sort)
{{
  config(
       materialized='incremental',
       unique_key='order_id',
       dist="customer_id",
       sort="order_date"
   )
}}
 
{% set payment_methods = ['credit_card', 'coupon', 'bank_transfer', 'gift_card'] %}
 
with orders as (
 
   select * from {{ ref('stg_orders') }}
   where 1=1
   {% if is_incremental() -%}
       --        
       and order_date >= (select max(order_date) from {{ this }})
   {%- endif %} 
 
),
 
order_payments as (
 
   select * from {{ ref('order_payments') }}
 
),
 
final as (
 
   select
       orders.order_id,
       orders.customer_id,
       orders.order_date,
       orders.status,
       {% for payment_method in payment_methods -%}
       order_payments.{{payment_method}}_amount,
       {% endfor -%}
       order_payments.total_amount as amount
   from orders
       left join order_payments using (order_id)
 
)
 
select * from final

मॉडल निर्भरता ग्राफ

• सही क्रम में चल रहे मॉडल
• विंडो ड्रेसिंग का समानांतरकरण
• मनमाना सबग्राफ चलाना 

डेटा की गुणवत्ता और प्रलेखन

• शून्य नहीं
• अद्वितीय
• संदर्भ अखंडता - संदर्भ अखंडता (उदाहरण के लिए, ऑर्डर टेबल में customer_id ग्राहकों की तालिका में आईडी से मेल खाती है)
• मिलान सूची

 - name: fct_orders
   description: This table has basic information about orders, as well as some derived facts based on payments
   columns:
     - name: order_id
       tests:
         - unique #    
         - not_null #    null
       description: This is a unique identifier for an order
     - name: customer_id
       description: Foreign key to the customers table
       tests:
         - not_null
         - relationships: #   
             to: ref('dim_customers')
             field: customer_id
     - name: order_date
       description: Date (UTC) that the order was placed
     - name: status
       description: '{{ doc("orders_status") }}'
       tests:
         - accepted_values: #    
             values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']

मैक्रोज़ और मॉड्यूल

{% macro rename_category(column_name) %}
case
 when {{ column_name }} ilike  '%osx%' then 'osx'
 when {{ column_name }} ilike  '%android%' then 'android'
 when {{ column_name }} ilike  '%ios%' then 'ios'
 else 'other'
end as renamed_product
{% endmacro %}

{% set column_name = 'product' %}
select
 product,
 {{ rename_category(column_name) }} --  
from my_table

• dbt_utils : दिनांक / समय, सरोगेट कुंजी, स्कीमा परीक्षण, पिवट / अनप्रीस्ट और अन्य के साथ काम करना
• स्नोप्लो और स्ट्राइप जैसी सेवाओं के लिए तैयार-निर्मित शोकेस टेम्पलेट 
• विशिष्ट डेटा वेयरहाउस के लिए लाइब्रेरी, जैसे Redshift 
• लॉगिंग - DBT लॉगिंग मॉड्यूल

और भी सुविधाएँ

रनटाइम वातावरण का पृथक्करण DEV - परीक्षण - PROD

with source as (
 
   select * from {{ source('salesforce', 'users') }}
   where 1=1
   {%- if target.name in ['dev', 'test', 'ci'] -%}           
       where timestamp >= dateadd(day, -3, current_date)   
   {%- endif -%}
 
)

वैकल्पिक स्तंभ एन्कोडिंग भौतिककरण

{{ compress_table(schema, table,
                 drop_backup=False,
                 comprows=none|Integer,
                 sort_style=none|compound|interleaved,
                 sort_keys=none|List<String>,
                 dist_style=none|all|even,
                 dist_key=none|String) }}

लॉगिंग मॉडल लॉन्च

   pre-hook: "{{ logging.log_model_start_event() }}"
   post-hook: "{{ logging.log_model_end_event() }}"

भंडारण स्वचालन

{% macro create_udf() -%}
 
 {% set sql %}
       CREATE OR REPLACE FUNCTION {{ target.schema }}.f_sha256(mes "varchar")
           RETURNS varchar
           LANGUAGE plpythonu
           STABLE
       AS $$  
           import hashlib
           return hashlib.sha256(mes).hexdigest()
       $$
       ;
 {% endset %}
  
 {% set table = run_query(sql) %}
 
{%- endmacro %}

{% macro redshift_maintenance() %}
 
   {% set vacuumable_tables=run_query(vacuumable_tables_sql) %}
 
   {% for row in vacuumable_tables %}
       {% set message_prefix=loop.index ~ " of " ~ loop.length %}
 
       {%- set relation_to_vacuum = adapter.get_relation(
                                               database=row['table_database'],
                                               schema=row['table_schema'],
                                               identifier=row['table_name']
                                   ) -%}
       {% do run_query("commit") %}
 
       {% if relation_to_vacuum %}
           {% set start=modules.datetime.datetime.now() %}
           {{ dbt_utils.log_info(message_prefix ~ " Vacuuming " ~ relation_to_vacuum) }}
           {% do run_query("VACUUM " ~ relation_to_vacuum ~ " BOOST") %}
           {{ dbt_utils.log_info(message_prefix ~ " Analyzing " ~ relation_to_vacuum) }}
           {% do run_query("ANALYZE " ~ relation_to_vacuum) %}
           {% set end=modules.datetime.datetime.now() %}
           {% set total_seconds = (end - start).total_seconds() | round(2)  %}
           {{ dbt_utils.log_info(message_prefix ~ " Finished " ~ relation_to_vacuum ~ " in " ~ total_seconds ~ "s") }}
       {% else %}
           {{ dbt_utils.log_info(message_prefix ~ ' Skipping relation "' ~ row.values() | join ('"."') ~ '" as it does not exist') }}
       {% endif %}
 
   {% endfor %}
 
{% endmacro %}

डीबीटी क्लाउड

• वेब आईडीई विकासशील परियोजनाओं और मॉडल के लिए
• नौकरी विन्यास और अनुसूची सेटिंग
• लॉग करने के लिए सरल और सुविधाजनक पहुँच
• अपनी परियोजना के प्रलेखन के साथ वेब साइट
• CI (निरंतर एकीकरण) कनेक्शन

निष्कर्ष

• कोड, जीयूआई नहीं, जटिल विश्लेषणात्मक तर्क व्यक्त करने के लिए सबसे अच्छा अमूर्त है
• डेटा के साथ काम करना सॉफ्टवेयर विकास की सर्वोत्तम प्रथाओं (सॉफ्टवेयर इंजीनियरिंग) को अनुकूलित करना चाहिए

• क्रिटिकल डेटा इन्फ्रास्ट्रक्चर को उपयोगकर्ता द्वारा ओपन सोर्स सॉफ्टवेयर के रूप में नियंत्रित किया जाना चाहिए
• न केवल एनालिटिक्स टूल, बल्कि कोड तेजी से ओपन सोर्स समुदाय का हिस्सा बन जाएगा।

• बिग डेटा अनुप्रयोगों के लिए वास्तुकला अवधारणाओं
• स्पार्क और स्पार्क स्ट्रीमिंग के साथ अभ्यास करें
• डेटा स्रोतों को लोड करने के लिए सीखने के तरीके और उपकरण
• DWH में बिल्डिंग एनालिटिक शोकेस
• NoSQL: HBase, Cassandra, ElasticSearch
•  
• :

:

1. DBT documentation — Introduction —
2. What, exactly, is dbt? — DBT 
3. Data Build Tool Amazon Redshift — YouTube, OTUS
4. Greenplum — 15 2020
5. Data Engineering — OTUS
6. Building a Mature Analytics Workflow —
7. It’s time for open source analytics — Open Source
8. Continuous Integration and Automated Build Testing with dbtCloud — CI DBT
9. Getting started with DBT tutorial — ,
10. Jaffle shop — Github DBT Tutorial — Github,