الغوص في بحيرة دلتا: الإنفاذ والتطور

فهم مخططات الجدول

ما هو تطبيق المخطط؟

كيف يعمل فرض الدائرة؟

• لا يمكن أن تحتوي على أعمدة إضافية غير موجودة في مخطط الجدول الهدف. والعكس صحيح ، كل شيء في محله إذا كانت بيانات الإدخال لا تحتوي على جميع الأعمدة من الجدول - سيتم تعيين هذه الأعمدة بقيم صفرية.
• , . StringType, DataFrame IntegerType, .
• لا يمكن أن تحتوي على أسماء الأعمدة التي تختلف فقط في الحالة. هذا يعني أنه لا يمكن أن يكون لديك أعمدة تحمل الاسمين "Foo" و "foo" في نفس الجدول. على الرغم من أن Spark يمكن استخدامه في حالة الأحرف أو غير حساسة لحالة الأحرف (افتراضي) ، إلا أن Delta Lake حساسة لحالة الأحرف ، ولكنها غير حساسة لحالة الأحرف. الباركيه حساس لحالة الأحرف عند تخزين معلومات العمود وإرجاعها. من أجل تجنب الأخطاء المحتملة أو تلف البيانات أو فقدان البيانات (التي واجهناها شخصيًا في قواعد البيانات) ، قررنا إضافة هذا التقييد.

#  DataFrame ,       Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

#    DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
#    DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
#    DataFrame (  )   
loans.write.format("delta") \
           .mode("append") \
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")\'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

ما فائدة تطبيق مخطط؟

• خوارزميات التعلم الآلي
• لوحات معلومات BI
• أدوات تحليلات البيانات والتصور
• أي نظام إنتاج يتطلب مخططات دلالية دقيقة للغاية ومكتوبة.

منع ترقق البيانات

ما هو تطور الدائرة؟

كيف يعمل تطور الدائرة؟

#   mergeSchema
loans.write.format("delta") \
           .option("mergeSchema", "true") \
           .mode("append") \
           .save(DELTALAKE_SILVER_PATH)

#     ,  ,    
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

• إضافة أعمدة جديدة (هذا هو السيناريو الأكثر شيوعًا)
• تغيير أنواع البيانات من NullType -> أي نوع آخر أو رفعه من ByteType -> ShortType -> IntegerType

• حذف العمود
• تغيير نوع بيانات عمود موجود (في المكان)
• إعادة تسمية الأعمدة الحساسة فقط لحالة الأحرف (على سبيل المثال ، "Foo" و "foo")

• إضافة أعمدة
• تغيير تعليقات الأعمدة
• تحديد خصائص الجدول التي تحدد سلوك الجدول ، على سبيل المثال ، تحديد مدة تخزين سجل المعاملات.

ما هو استخدام تطور الدائرة؟

استنتاج

مقالات ذات صلة