डेल्टा झील में गोता लगाएँ: प्रवर्तन और विकास

टेबल स्कीमों को समझना

स्कीमा लागू करना क्या है?

सर्किट काम कैसे करता है?

• अतिरिक्त स्तंभ नहीं हो सकते जो लक्ष्य तालिका के स्कीमा में नहीं हैं। और इसके विपरीत, सब कुछ क्रम में है यदि इनपुट डेटा में तालिका से बिल्कुल सभी कॉलम नहीं होते हैं - ये कॉलम बस शून्य मान असाइन किए जाएंगे।
• , . StringType, DataFrame IntegerType, .
• स्तंभ नाम नहीं हो सकते हैं जो केवल मामले में भिन्न होते हैं। इसका मतलब है कि आपके पास एक ही तालिका में परिभाषित 'फू' और 'फू' नामों के साथ कॉलम नहीं हो सकते हैं। हालांकि स्पार्क का उपयोग केस-सेंसिटिव या केस-इनसेन्सिटिव (डिफ़ॉल्ट) में किया जा सकता है, डेल्टा लेक केस-सेंसिटिव है, लेकिन केस-इनसेटिव है। कॉलम जानकारी संग्रहीत और वापस करते समय लकड़ी की छत संवेदनशील है। संभावित त्रुटियों, डेटा भ्रष्टाचार या डेटा हानि (जिसे हम व्यक्तिगत रूप से डेटाबीरिक में सामना करते हैं) से बचने के लिए, हमने इस प्रतिबंध को जोड़ने का फैसला किया।

#  DataFrame ,       Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

#    DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
#    DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
#    DataFrame (  )   
loans.write.format("delta") \
           .mode("append") \
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")\'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

किसी योजना को लागू करने का क्या फायदा है?

• मशीन लर्निंग एल्गोरिदम
• बीआई डैशबोर्ड्स
• डेटा विश्लेषिकी और विज़ुअलाइज़ेशन उपकरण
• किसी भी उत्पादन प्रणाली को कड़ाई से संरचित, दृढ़ता से लिखी गई योजनाओं की आवश्यकता होती है।

डाटा थिनिंग प्रिवेंशन

सर्किट विकास क्या है?

सर्किट विकास कैसे काम करता है?

#   mergeSchema
loans.write.format("delta") \
           .option("mergeSchema", "true") \
           .mode("append") \
           .save(DELTALAKE_SILVER_PATH)

#     ,  ,    
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

• नए कॉलम जोड़ना (यह सबसे आम परिदृश्य है)
• NullType से डेटा प्रकार बदलें -> किसी भी अन्य प्रकार या ByteType से बढ़ाएँ -> ShortType -> InteervType

• कॉलम हटाएं
• मौजूदा कॉलम का डेटा प्रकार बदलें (स्थान पर)
• नाम बदलने वाले स्तंभ जो केवल संवेदनशील होते हैं (उदाहरण के लिए, "फू" और "फू")

• कॉलम जोड़ना
• कॉलम टिप्पणियाँ बदलें
• तालिका गुणों का निर्धारण करना, जो तालिका के व्यवहार को निर्धारित करता है, उदाहरण के लिए, लेनदेन लॉग भंडारण की अवधि निर्धारित करना।

सर्किट विकास का उपयोग क्या है?

निष्कर्ष

संबंधित आलेख