शायद आपने पांडा डेटाफ्रेम पर समानांतर कंप्यूटिंग के कार्य का सामना किया है। इस समस्या को देशी पायथन दोनों द्वारा हल किया जा सकता है, और एक अद्भुत पुस्तकालय की मदद से - समानांतर। इस लेख में मैं दिखाऊंगा कि कैसे यह लाइब्रेरी आपको सभी उपलब्ध क्षमताओं का उपयोग करके अपने डेटा को संसाधित करने की अनुमति देती है।

पुस्तकालय आपको थ्रेड्स की संख्या के बारे में सोचने की अनुमति नहीं देता है, प्रक्रियाएं बनाता है और प्रगति की निगरानी के लिए एक इंटरैक्टिव इंटरफ़ेस प्रदान करता है।

स्थापना

pip install pandas jupyter pandarallel requests tqdm

जैसा कि आप देख सकते हैं, मैं भी tqdm स्थापित करता हूं। इसके साथ, मैं एक अनुक्रमिक और समानांतर दृष्टिकोण में कोड निष्पादन की गति में अंतर को स्पष्ट रूप से प्रदर्शित करूंगा।

अनुकूलन

import pandas as pd
import requests

from tqdm import tqdm
tqdm.pandas()

from pandarallel import pandarallel
pandarallel.initialize(progress_bar=True)

आप पैंडरेलल डॉक्यूमेंटेशन में सेटिंग्स की पूरी सूची पा सकते हैं।

एक डेटा फ़्रेम बनाएं

प्रयोगों के लिए, एक साधारण डेटा फ़्रेम बनाएं - 100 पंक्तियाँ, 1 स्तंभ।

df = pd.DataFrame(
    [i for i in range(100)],
    columns=["sample_column"]
)

समानांतरकरण के लिए उपयुक्त कार्य का उदाहरण

जैसा कि हम जानते हैं, सभी समस्याओं का समाधान समानांतर नहीं किया जा सकता है। एक उपयुक्त कार्य का एक सरल उदाहरण कुछ बाहरी स्रोत, जैसे कि एपीआई या डेटाबेस को कॉल करना है। नीचे दिए गए फ़ंक्शन में, मैं एक एपीआई को कॉल करता हूं जो मुझे एक यादृच्छिक शब्द देता है। मेरा लक्ष्य इस API से डेटा फ्रेम में दिए गए शब्दों के साथ एक कॉलम जोड़ना है।

def function_to_apply(i):
    r = requests.get(f'https://random-word-api.herokuapp.com/word').json()

    return r[0]

df["sample-word"] = df.sample_column.progress_apply(function_to_apply)

, tqdm, — progress_apply apply. , , progress bar.

"" 35 .

, parallel_apply:

df["sample-word"] = df.sample_column.parallel_apply(function_to_apply)

5 .

pandas , pandarallel, Github .

! — .