🕯️ 👨🏼‍🍳 🍆 बड़ी मात्रा में डेटा को संसाधित करने में पांडा की मदद कैसे करें? 👩🏼‍💻 🌒 👤

पंडों की लाइब्रेरी खोजपूर्ण डेटा विश्लेषण के लिए सबसे अच्छे साधनों में से एक है । लेकिन इसका मतलब यह नहीं है कि पांडा किसी भी समस्या को हल करने के लिए उपयुक्त एक सार्वभौमिक उपकरण है। विशेष रूप से, हम बड़ी मात्रा में डेटा को संसाधित करने के बारे में बात कर रहे हैं। मैं एक बहुत, बहुत लंबा समय बिताने के लिए, कई फाइलों को पढ़ने के लिए पांडा का इंतजार कर रहा था, या उन्हें संसाधित करता था, उनमें निहित जानकारी के आधार पर गणना करता था जिसमें कुछ संकेतक थे जो मुझे रुचि रखते थे। तथ्य यह है कि पांडा समानांतर डेटा प्रोसेसिंग तंत्र का समर्थन नहीं करते हैं। नतीजतन, यह पैकेज आधुनिक मल्टी-कोर प्रोसेसर की क्षमताओं का पूरा लाभ उठाने में विफल रहता है। पांडा में बड़े डेटासेट को धीरे-धीरे संसाधित किया जाता है।

हाल ही में, मैंने कुछ ऐसा खोजने के लिए तैयार किया जो मुझे बड़े डेटा के प्रसंस्करण में मदद करेगा। मैं वह ढूंढने में कामयाब रहा जिसे मैं ढूंढ रहा था, मैंने अपने डेटा प्रोसेसिंग पाइप लाइन में पाया गया टूल एम्बेड किया। मैं इसका उपयोग बड़ी मात्रा में डेटा के साथ काम करने के लिए करता हूं। उदाहरण के लिए, 10 गीगाबाइट डेटा वाली फ़ाइलों को पढ़ने के लिए, उन्हें फ़िल्टर और एकत्र करने के लिए। जब मैं इस तरह की समस्याओं के समाधान का सामना करता हूं, तो मुझे एक छोटी सी सीएसवी फ़ाइल जो कि पांडा के लिए उपयुक्त है, में बचा लेता हूं, और फिर मैं पांडा के उपयोग से प्राप्त आंकड़ों के साथ काम करना शुरू कर देता हूं।

यहाँ इस सामग्री के उदाहरणों के साथ एक ज्यूपिटर नोटबुक है जिसे आप प्रयोग कर सकते हैं।

Dask

बड़ी मात्रा में डेटा को संसाधित करने के लिए मैं जिस टूल का उपयोग करता हूं वह है Dask लाइब्रेरी । यह समानांतर डेटा प्रोसेसिंग का समर्थन करता है, जिससे आप मौजूदा टूल के काम को गति दे सकते हैं। इसमें सुन्न, पांडा और स्केलेर शामिल हैं। Dask एक निःशुल्क ओपन सोर्स प्रोजेक्ट है। यह पायथन एपीआई और डेटा संरचनाओं का उपयोग करता है, जिससे मौजूदा परियोजनाओं में डस्क को एकीकृत करना आसान हो जाता है। यदि हम संक्षिप्त रूप से डैस्क का वर्णन करते हैं, तो हम कह सकते हैं कि यह पुस्तकालय सामान्य समस्याओं के समाधान को सरल करता है और इससे बड़ी जटिलता की समस्याओं को हल करना संभव हो जाता है।

पंडों और नकाब की तुलना करना

मैं यहां Dask की संभावनाओं का वर्णन कर सकता हूं, क्योंकि इस लाइब्रेरी में बहुत सारी दिलचस्प चीजें हैं, लेकिन इसके बजाय, मैं सिर्फ एक व्यावहारिक उदाहरण पर विचार करता हूं। काम के दौरान, मैं आमतौर पर बड़ी फ़ाइलों के सेट का सामना करता हूं, जिसमें संग्रहीत डेटा का विश्लेषण किया जाना चाहिए। आइए मेरे एक विशिष्ट कार्य को खेलें और 10 फाइलें बनाएं, जिनमें से प्रत्येक में 100,000 रिकॉर्ड हों। ऐसी प्रत्येक फ़ाइल का आकार 196 एमबी है।

from sklearn.datasets import make_classification
import pandas as pd
for i in range(1, 11):
    print('Generating trainset %d' % i)
    x, y = make_classification(n_samples=100_000, n_features=100)
    df = pd.DataFrame(data=x)
    df['y'] = y
    df.to_csv('trainset_%d.csv' % i, index=False)

अब इन फ़ाइलों को पांडा का उपयोग करके पढ़ें और उन्हें पढ़ने के लिए आवश्यक समय को मापें। पांडा में कोई अंतर्निहित समर्थन नहीं है glob, इसलिए हमें फ़ाइलों को लूप में पढ़ना होगा:

%%time
import glob
df_list = []
for filename in glob.glob('trainset_*.csv'):
    df_ = pd.read_csv(filename)
    df_list.append(df_)
df = pd.concat(df_list)
df.shape

पांडा को इन फ़ाइलों को पढ़ने में 16 सेकंड का समय लगा:

CPU times: user 14.6 s, sys: 1.29 s, total: 15.9 s
Wall time: 16 s

यदि हम Dask के बारे में बात करते हैं, तो यह ध्यान दिया जा सकता है कि यह लाइब्रेरी आपको उन फ़ाइलों को संसाधित करने की अनुमति देती है जो स्मृति में फिट नहीं होती हैं। यह उन्हें ब्लॉक में तोड़कर और कार्य श्रृंखलाओं को संकलित करके किया जाता है। आइए इन फ़ाइलों को पढ़ने के लिए Dask के समय को मापें:

import dask.dataframe as dd
%%time
df = dd.read_csv('trainset_*.csv')
CPU times: user 154 ms, sys: 58.6 ms, total: 212 ms
Wall time: 212 ms

डस्क ने 154 एमएस लिया! यह संभव ही कैसे है? वास्तव में, यह संभव नहीं है। नकाब एक देरी कार्य प्रतिमान को लागू करता है। गणना केवल तब की जाती है जब उनके परिणामों की आवश्यकता होती है। हम निष्पादन ग्राफ का वर्णन करते हैं, जो कार्यों के निष्पादन को अनुकूलित करने की क्षमता प्रदान करता है। प्रयोग को दोहराएं। ध्यान दें कि read_csvDask से फ़ंक्शन के साथ काम करने के लिए अंतर्निहित समर्थन है glob:

%%time
df = dd.read_csv('trainset_*.csv').compute()
CPU times: user 39.5 s, sys: 5.3 s, total: 44.8 s
Wall time: 8.21 s

फ़ंक्शन का उपयोग करके computeपरिणाम वापस करने के लिए Dask को बाध्य करता है, जिसके लिए आपको फ़ाइलों को वास्तव में पढ़ने की आवश्यकता होती है। इसका नतीजा यह है कि Dask, पंडों की तुलना में दोगुनी तेजी से फाइल पढ़ती है।

यह कहा जा सकता है कि डैस्क आपको स्केलिंग टूल के साथ पायथन परियोजनाओं से लैस करने की अनुमति देता है।

पंडों और मास्क में सीपीयू उपयोग की तुलना करना

क्या Dask सिस्टम पर सभी प्रोसेसर कोर का उपयोग करता है? फ़ाइलों को पढ़ते समय पांडा और डस्क में प्रोसेसर संसाधनों के उपयोग की तुलना करें। वही कोड जिसकी हमने ऊपर समीक्षा की वह यहां लागू होता है।

पांडा के साथ फाइल पढ़ते समय प्रोसेसर संसाधनों का उपयोग करना

Dask का उपयोग करते समय फ़ाइलों को पढ़ते समय प्रोसेसर संसाधनों का उपयोग करना

। उपरोक्त एनिमेटेड छवियों के एक जोड़े से आप यह स्पष्ट रूप से देख सकते हैं कि फ़ाइलें पढ़ने के दौरान पांडा और Dask प्रोसेसर संसाधनों का उपयोग कैसे करते हैं।

नकाब के आंतों में क्या होता है?

Dask डेटाफ़्रेम में कई पांडा डेटाफ़्रेम शामिल होते हैं, जिन्हें इंडेक्स द्वारा अलग किया जाता है। जब हम read_csvDask से किसी फ़ंक्शन को निष्पादित करते हैं , तो यह एक ही फ़ाइल को कई प्रक्रियाओं द्वारा पढ़ता है।

हम इस कार्य के एक ग्राफ की कल्पना भी कर सकते हैं।

exec_graph = dd.read_csv('trainset_*.csv')
exec_graph.visualize()

कई फ़ाइलों को पढ़ते समय नकाबपोश ग्राफ

नुकसान का नुकसान

शायद अब आपके पास निम्नलिखित विचार है: "यदि डस्क पुस्तकालय बहुत अच्छा है, तो पंडों के बजाय इसका उपयोग क्यों न करें?" लेकिन इतना सरल नहीं है। केवल कुछ पंडों के कार्यों को Dask में पोर्ट किया गया है। तथ्य यह है कि कुछ कार्यों को समानांतर करना मुश्किल है। उदाहरण के लिए, डेटा को सॉर्ट करना और अनुक्रमित को अनसाल्टेड कॉलम में असाइन करना। Dask एक ऐसा उपकरण नहीं है जो डेटा विश्लेषण और प्रसंस्करण के सभी कार्यों को हल करता है। यह लाइब्रेरी केवल डेटा सेट के साथ काम करने के लिए उपयोग करने की सिफारिश की जाती है जो पूरी तरह से मेमोरी में फिट नहीं होती हैं। चूंकि Dask लाइब्रेरी पांडा पर आधारित है, इसलिए पांडा में धीरे-धीरे काम करने वाली हर चीज Dask में धीमी रहेगी। जैसा कि मैंने पहले कहा था, Dask एक उपयोगी उपकरण है जिसे आप डेटा प्रोसेसिंग पाइपलाइन में एम्बेड कर सकते हैं, लेकिन यह उपकरण अन्य पुस्तकालयों को प्रतिस्थापित नहीं करता है।

Dask स्थापित करें

Dask स्थापित करने के लिए, आप निम्न कमांड का उपयोग कर सकते हैं:

python -m pip install "dask[complete]"

सारांश

इस लेख में, मैंने केवल डैस्क की क्षमताओं पर सतही तौर पर छुआ। यदि आप इस पुस्तकालय में रुचि रखते हैं - Dask पर इन महान ट्यूटोरियल पर एक नज़र डालें , और डेटाफ़्रेमम Dask के प्रलेखन । और अगर आप यह जानना चाहते हैं कि डीस्क डेटाफ्रेम का समर्थन किस कार्य में किया जाता है, तो एपीआई विवरण पढ़ें DataFrame।

क्या आप Dask लाइब्रेरी का उपयोग करेंगे?

हम आपको याद दिलाते हैं कि हम भविष्यवाणी प्रतियोगिता जारी रख रहे हैं जिसमें आप एक नया आईफोन जीत सकते हैं। इसमें अभी भी समय है, और सामयिक मूल्यों पर सबसे सटीक पूर्वानुमान बनाने के लिए।

बड़ी मात्रा में डेटा को संसाधित करने में पांडा की मदद कैसे करें?