🏄 🕷️ 📓 पंडों के 5 अल्पज्ञात रहस्य 🚵🏿 👩🏽‍🎓 👨🏽‍🎨

पंडों को किसी परिचय की आवश्यकता नहीं है: आज यह पायथन में डेटा के विश्लेषण के लिए मुख्य उपकरण है। मैं एक डेटा विश्लेषण विशेषज्ञ के रूप में काम करता हूं, और इस तथ्य के बावजूद कि मैं हर दिन पांडा का उपयोग करता हूं, मैं इस पुस्तकालय की कार्यक्षमता की विविधता पर आश्चर्यचकित होना कभी नहीं रोकता। इस लेख में मैं पाँच छोटे ज्ञात पांडा कार्यों के बारे में बात करना चाहता हूं जो मैंने हाल ही में सीखे हैं और अब उत्पाद का उपयोग करते हैं।

शुरुआती लोगों के लिए: पंडों सरल और सुविधाजनक डेटा संरचनाओं के साथ पायथन में डेटा विश्लेषण के लिए एक उच्च-प्रदर्शन टूलकिट है। नाम "पैनल डेटा" की अवधारणा से आता है, एक अर्थमितीय शब्द जो विभिन्न समयों पर समान विषयों की टिप्पणियों पर डेटा को संदर्भित करता है।

यहां आप लेख से उदाहरणों के साथ ज्यूपिटर नोटबुक डाउनलोड कर सकते हैं ।

1. डेट रेंज [डेट रेंज]

अक्सर बाहरी एपीआई या डेटाबेस से डेटा का अनुरोध करते समय आपको तिथि सीमा निर्दिष्ट करने की आवश्यकता होती है। पंडों ने हमें मुसीबत में नहीं छोड़ा। बस इन मामलों के लिए, डेटा_रेंज फ़ंक्शन होता है , जो दिनों, महीनों, वर्षों, आदि द्वारा बढ़ी हुई तारीखों की एक सरणी लौटाता है।

कहें कि हमें दिन के हिसाब से तारीख सीमा चाहिए:

date_from = "2019-01-01"
date_to = "2019-01-12"
date_range = pd.date_range(date_from, date_to, freq="D")
date_range

हम जनरेट date_rangeकी गई तारीखों को "से" और "से" में बदल देंगे , जिसे संबंधित फ़ंक्शन में स्थानांतरित किया जा सकता है।

for i, (date_from, date_to) in enumerate(zip(date_range[:-1], date_range[1:]), 1):
   date_from = date_from.date().isoformat()
   date_to = date_to.date().isoformat()
   print("%d. date_from: %s, date_to: %s" % (i, date_from, date_to))

1. date_from: 2019-01-01, date_to: 2019-01-02
2. date_from: 2019-01-02, date_to: 2019-01-03
3. date_from: 2019-01-03, date_to: 2019-01-04
4. date_from: 2019-01-04, date_to: 2019-01-05
5. date_from: 2019-01-05, date_to: 2019-01-06
6. date_from: 2019-01-06, date_to: 2019-01-07
7. date_from: 2019-01-07, date_to: 2019-01-08
8. date_from: 2019-01-08, date_to: 2019-01-09
9. date_from: 2019-01-09, date_to: 2019-01-10
10. date_from: 2019-01-10, date_to: 2019-01-11
11. date_from: 2019-01-11, date_to: 2019-01-12

2. स्रोत संकेतक के साथ विलय [संकेतक के साथ विलय]

दो डेटासेट को मिलाना, अजीब तरह से पर्याप्त है, दो डेटासेट को एक में संयोजित करने की प्रक्रिया, जिनकी पंक्तियों को सामान्य कॉलम या गुणों के आधार पर मैप किया जाता है।

मर्ज फ़ंक्शन के लिए दो तर्कों में से एक, जिसे मैंने किसी तरह याद किया, वह है indicator। "संकेतक" _mergeDataFrame में एक कॉलम जोड़ता है जो दिखाता है कि पंक्ति कहाँ से आई है, बाएँ, दाएँ, या दोनों DataFrames से। _mergeमर्ज को सही करने के लिए बड़े डेटा सेट के साथ काम करने पर एक कॉलम बहुत उपयोगी हो सकता है।

left = pd.DataFrame({"key": ["key1", "key2", "key3", "key4"], "value_l": [1, 2, 3, 4]})

right = pd.DataFrame({"key": ["key3", "key2", "key1", "key6"], "value_r": [3, 2, 1, 6]})

df_merge = left.merge(right, on='key', how='left', indicator=True)

_mergeयदि डेटा के साथ पंक्तियों की सही संख्या दोनों DataFrames से ली गई थी, तो यह जांचने के लिए कॉलम का उपयोग किया जा सकता है।

df_merge._merge.value_counts()

both          3
left_only     1
right_only    0
Name: _merge, dtype: int64

3. निकटतम मूल्य से विलय [निकटतम मर्ज]

जब वित्तीय डेटा, जैसे क्रिप्टोकरेंसी और सिक्योरिटीज के साथ काम करते हैं, तो लेनदेन के साथ उद्धरण (मूल्य परिवर्तन) की तुलना करना आवश्यक हो सकता है। मान लें कि हम प्रत्येक व्यापार को एक उद्धरण के साथ जोड़ना चाहते हैं जिसे व्यापार से पहले कुछ मिलीसेकंड अपडेट किया गया था। पंडों के पास एक फ़ंक्शन merge_asofहै जिसके कारण निकटतम कुंजी मान ( timestampहमारे मामले में) द्वारा डेटाफ्रैम को संयोजित करना संभव है । उद्धरण और सौदों के साथ डेटा सेट पांडा उदाहरण से लिया जाता है ।

डेटाफ़्रेम quotes("उद्धरण") में विभिन्न शेयरों के लिए मूल्य परिवर्तन शामिल हैं। एक नियम के रूप में, सौदों की तुलना में बहुत अधिक उद्धरण हैं।

quotes = pd.DataFrame(
   [
       ["2016-05-25 13:30:00.023", "GOOG", 720.50, 720.93],
       ["2016-05-25 13:30:00.023", "MSFT", 51.95, 51.96],
       ["2016-05-25 13:30:00.030", "MSFT", 51.97, 51.98],
       ["2016-05-25 13:30:00.041", "MSFT", 51.99, 52.00],
       ["2016-05-25 13:30:00.048", "GOOG", 720.50, 720.93],
       ["2016-05-25 13:30:00.049", "AAPL", 97.99, 98.01],
       ["2016-05-25 13:30:00.072", "GOOG", 720.50, 720.88],
       ["2016-05-25 13:30:00.075", "MSFT", 52.01, 52.03],
   ],
   columns=["timestamp", "ticker", "bid", "ask"],
)
quotes['timestamp'] = pd.to_datetime(quotes['timestamp'])

DataFrame tradesमें विभिन्न शेयरों के सौदे होते हैं।

trades = pd.DataFrame(
   [
       ["2016-05-25 13:30:00.023", "MSFT", 51.95, 75],
       ["2016-05-25 13:30:00.038", "MSFT", 51.95, 155],
       ["2016-05-25 13:30:00.048", "GOOG", 720.77, 100],
       ["2016-05-25 13:30:00.048", "GOOG", 720.92, 100],
       ["2016-05-25 13:30:00.048", "AAPL", 98.00, 100],
   ],
   columns=["timestamp", "ticker", "price", "quantity"],
)
trades['timestamp'] = pd.to_datetime(trades['timestamp'])

हम टिक्करों (एक उद्धृत उपकरण, जैसे स्टॉक) द्वारा लेनदेन और उद्धरण को मर्ज करते हैं, बशर्ते कि timestampअंतिम उद्धरण लेनदेन से 10 एमएस कम हो। यदि बोली 10 एमएस से अधिक के लेन-देन से पहले दिखाई देती है, तो इस उद्धरण के लिए बोली (वह मूल्य जो खरीदार भुगतान करने के लिए तैयार है) और पूछना (जिस कीमत पर विक्रेता बेचने के लिए तैयार है) वह null(इस उदाहरण में AAPL टिकर) होगा।

pd.merge_asof(trades, quotes, on="timestamp", by='ticker', tolerance=pd.Timedelta('10ms'), direction='backward')

4. एक्सेल रिपोर्ट बनाना

पंडों (XlsxWriter लाइब्रेरी के साथ) आपको डेटाफ़्रेम से एक एक्सेल रिपोर्ट बनाने की अनुमति देता है। इससे आपका एक टन बच जाता है - सीएसवी को डेटाफ़्रेम निर्यात करने और एक्सेल को मैन्युअल स्वरूपित करने के लिए कोई अधिक निर्यात नहीं। सभी प्रकार के आरेख आदि भी उपलब्ध हैं ।

df = pd.DataFrame(pd.np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=["a", "b", "c"])

नीचे दिया गया कोड स्निपेट एक्सेल प्रारूप में एक तालिका बनाता है। किसी फ़ाइल में सहेजने के लिए लाइन को नंगा करें writer.save()।

report_name = 'example_report.xlsx'
sheet_name = 'Sheet1'
writer = pd.ExcelWriter(report_name, engine='xlsxwriter')
df.to_excel(writer, sheet_name=sheet_name, index=False)
# writer.save()

जैसा कि पहले उल्लेख किया गया है, पुस्तकालय का उपयोग करके आप रिपोर्ट में चार्ट भी जोड़ सकते हैं। आपको चार्ट के प्रकार (हमारे उदाहरण में रैखिक) और इसके लिए डेटा श्रेणी (एक्सेल तालिका में डेटा श्रेणी होनी चाहिए) को सेट करने की आवश्यकता है।

#   (workbook)
workbook = writer.book
worksheet = writer.sheets[sheet_name]
#   
chart = workbook.add_chart({'type': 'line'})
#       ,
#      /:
#     [sheetname, first_row, first_col, last_row, last_col]
chart.add_series({
   'categories': [sheet_name, 1, 0, 3, 0],
   'values':     [sheet_name, 1, 1, 3, 1],
})
#   
chart.set_x_axis({'name': 'Index', 'position_axis': 'on_tick'})
chart.set_y_axis({'name': 'Value', 'major_gridlines': {'visible': False}})
#    
worksheet.insert_chart('E2', chart)
#  
writer.save()

5. डिस्क स्थान सहेजें

बड़ी संख्या में डेटा विश्लेषण परियोजनाओं पर काम आमतौर पर विभिन्न प्रयोगों से संसाधित डेटा की एक बड़ी मात्रा के रूप में एक निशान छोड़ देता है। लैपटॉप पर SSD बहुत जल्दी भर जाता है। पंडों आपको डेटा को डिस्क पर सहेजते समय डेटा को संपीड़ित करने की अनुमति देता है और फिर इसे एक संकुचित प्रारूप से फिर से पढ़ता है।

यादृच्छिक संख्या के साथ एक बड़ा DataFrame बनाएँ।

df = pd.DataFrame(pd.np.random.randn(50000,300))

यदि आप इसे CSV के रूप में सहेजते हैं, तो फ़ाइल आपकी हार्ड ड्राइव पर लगभग 300 MB तक ले जाएगी।

df.to_csv('random_data.csv', index=False)

एक तर्क compression='gzip'फ़ाइल का आकार 136 एमबी तक कम कर देता है।

df.to_csv('random_data.gz', compression='gzip', index=False)

एक संपीड़ित फ़ाइल को एक नियमित फ़ाइल के रूप में पढ़ा जाता है, इसलिए हम किसी भी कार्यक्षमता को नहीं खोते हैं।

df = pd.read_csv('random_data.gz')

निष्कर्ष

इन छोटी-छोटी तरकीबों ने पंडों के साथ मेरे दैनिक कार्यों की उत्पादकता को बढ़ाया है। मुझे उम्मीद है कि आपने इस लेख से कुछ उपयोगी विशेषता के बारे में सीखा है जो आपको और अधिक उत्पादक बनने में मदद करेंगे।

पांडा के साथ आपकी पसंदीदा चाल क्या है?