🚖 🎰 👨🏽‍💻 अजगर में अतुलनीय समानांतर अपाचे लकड़ी की छत I / O प्रदर्शन 😤 🤶🏻 🚡

डेटा इंजीनियर पाठ्यक्रम की शुरुआत की प्रत्याशा में , हमने एक छोटी लेकिन दिलचस्प सामग्री का अनुवाद तैयार किया।

इस लेख में, मैं इस बारे में बात करूंगा कि कैसे Parquet एक छोटे पदचिह्न फ़ाइल में बड़े डेटासेट को संपीड़ित करता है, और हम कैसे संगति (मल्टीथ्रेडिंग) का उपयोग करके I / O स्ट्रीम की बैंडविड्थ से अधिक बैंडविड्थ प्राप्त कर सकते हैं।

अपाचे लकड़ी की छत: कम Entropy डेटा पर सबसे अच्छा

जैसा कि आप अपाचे लकड़ी की छत प्रारूप के विनिर्देश से समझ सकते हैं , इसमें कोडिंग के कई स्तर हैं जो फ़ाइल आकार में महत्वपूर्ण कमी प्राप्त कर सकते हैं, जिनमें से हैं:

एक शब्दकोश का उपयोग करते हुए एन्कोडिंग (संपीड़न) (डेटा प्रस्तुत करने के पंडों के समान। लेकिन खुद अवधारणाएं अलग हैं);
डेटा पृष्ठों का संपीड़न (स्नैपी, गज़िप, एलजेडओ या ब्रोटली);
निष्पादन की लंबाई का एन्कोडिंग (शून्य के लिए - शब्दकोश के सूचक और सूचकांक) और पूर्णांक बिट पैकिंग;

आपको यह दिखाने के लिए कि यह कैसे काम करता है, आइए एक डेटासेट देखें:

['banana', 'banana', 'banana', 'banana', 'banana', 'banana',
 'banana', 'banana', 'apple', 'apple', 'apple']

लगभग सभी Parquet कार्यान्वयन संपीड़न के लिए डिफ़ॉल्ट शब्दकोश का उपयोग करते हैं। इस प्रकार, एन्कोड किया गया डेटा निम्नानुसार है:

dictionary: ['banana', 'apple']
indices: [0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1]

शब्दकोश में अनुक्रमित दोहराव कोडिंग एल्गोरिथ्म द्वारा अतिरिक्त रूप से संकुचित होते हैं:

dictionary: ['banana', 'apple']
indices (RLE): [(8, 0), (3, 1)]

वापसी पथ के बाद, आप आसानी से स्ट्रिंग्स के मूल सरणी को पुनर्स्थापित कर सकते हैं।

अपने पिछले लेख में, मैंने एक डेटासेट बनाया जो इस तरह से बहुत अच्छी तरह से संपीड़ित करता है। साथ काम करते समय pyarrow, हम डिक्शनरी का उपयोग करके एन्कोडिंग को सक्षम और अक्षम कर सकते हैं (जो डिफ़ॉल्ट रूप से सक्षम है) यह देखने के लिए कि यह फ़ाइल आकार को कैसे प्रभावित करेगा:

import pyarrow.parquet as pq

pq.write_table(dataset, out_path, use_dictionary=True,
               compression='snappy)

एक डेटा सेट जो 1 जीबी (1024 एमबी) में pandas.DataFrameलेता है, स्नेपी संपीड़न और एक शब्दकोश का उपयोग करके संपीड़न के साथ, केवल 1.436 एमबी लेता है, अर्थात, यह एक डिस्केट को भी लिखा जा सकता है। शब्दकोश का उपयोग किए बिना संपीड़न, यह 44.4 एमबी पर कब्जा कर लेगा।

PyArrow का उपयोग करके लकड़ी की छत में समवर्ती पढ़ना

सी ++ में अपाचे लकड़ी की छत के कार्यान्वयन में - लकड़ी की छत-सीपीपी , जिसे हमने PyArrow में पायथन के लिए उपलब्ध कराया था, समानांतर में कॉलम पढ़ने की क्षमता को जोड़ा गया था।

इस सुविधा को आज़माने के लिए, CondA-forge से PyArrow स्थापित करें :

conda install pyarrow -c conda-forge

अब Parquet फ़ाइल पढ़ते समय, आप तर्क का उपयोग कर सकते हैं nthreads:

import pyarrow.parquet as pq

table = pq.read_table(file_path, nthreads=4)

कम एन्ट्रॉपी वाले डेटा के लिए, डिकम्प्रेसन और डिकोडिंग प्रोसेसर से दृढ़ता से बंधे होते हैं। चूँकि C ++ हमारे लिए सभी कार्य करता है, इसलिए GIL समवर्ती के साथ कोई समस्या नहीं है और हम गति में उल्लेखनीय वृद्धि प्राप्त कर सकते हैं। देखें कि क्वाड-कोर लैपटॉप (Xeon E3-1505M, NVMe SSD) पर एक पांडा डेटाफ़्रेम में 1 जीबी डेटासेट पढ़कर मैं क्या हासिल कर सका :

आप यहां पूरा बेंचमार्किंग परिदृश्य देख सकते हैं ।

मैंने एक शब्दकोश का उपयोग करते हुए और एक शब्दकोश का उपयोग किए बिना दोनों संपीड़न मामलों के लिए यहां प्रदर्शन को शामिल किया है। कम एन्ट्रॉपी वाले डेटा के लिए, इस तथ्य के बावजूद कि सभी फाइलें छोटी हैं (~ 1.5 एमबी डिक्शनरी का उपयोग करते हुए और ~ 45 एमबी बिना), डिक्शनरी का उपयोग करते हुए संपीड़न प्रदर्शन को काफी प्रभावित करता है। 4 थ्रेड्स के साथ, पंडों का प्रदर्शन 4 जीबी / एस तक बढ़ जाता है। यह पंख प्रारूप या किसी अन्य मेरे द्वारा ज्ञात की तुलना में बहुत तेज है।

निष्कर्ष

संस्करण 1.0 के विमोचन के साथ (सी ++ में अपाचे लकड़ी की छत), आप अपने आप में वृद्धि हुई I / O प्रदर्शन को देख सकते हैं जो अब पायथन उपयोगकर्ताओं के लिए उपलब्ध है।

चूंकि सभी बुनियादी तंत्र C ++ में लागू होते हैं, अन्य भाषाओं में (उदाहरण के लिए, R), आप Apache Arrow (स्तंभ डेटा संरचनाएं) और लकड़ी की छत-सीपीपी के लिए इंटरफेस बना सकते हैं । पायथॉन बाइंडिंग कोर लिबेरो और लीवरपार्क C ++ पुस्तकालयों का एक हल्का खोल है ।

बस इतना ही। यदि आप हमारे पाठ्यक्रम के बारे में अधिक जानना चाहते हैं , तो एक खुले दिन के लिए साइन अप करें , जो आज आयोजित किया जाएगा!

अजगर में अतुलनीय समानांतर अपाचे लकड़ी की छत I / O प्रदर्शन

अपाचे लकड़ी की छत: कम Entropy डेटा पर सबसे अच्छा

PyArrow का उपयोग करके लकड़ी की छत में समवर्ती पढ़ना

निष्कर्ष

More articles: