🚾 🛤️ 👨‍🔬 3 जाल जो शुरुआती डेटा वैज्ञानिकों में आते हैं 🚯 👂🏽 😠

यदि आप गणित में अच्छे नहीं हैं तो यही हो सकता है।

नमस्कार! यह पेट्र लुकेनचेंको, लेखक और ओटस में ऑनलाइन पाठ्यक्रम "डेटा के लिए गणित" के नेता हैं। कक्षा में, हम मामलों के साथ सब कुछ चित्रित करना पसंद करते हैं, इसलिए यहां भी, हर समस्या जो शुरुआती होती है, मैं एक उदाहरण के साथ शुरू करूंगा।

इतिहास नंबर 1 ।, , , . , -, , . , 0,95. , «», , . , , , , .

— , , - ?

हमारी कहानी में, प्रशिक्षु ने डेटा को गलत तरीके से तैयार किया क्योंकि उसे समझ में नहीं आया कि यह किस तरह की निर्भरता है। यह सबसे आम और खतरनाक गलती है जो डेटा विश्लेषण के लिए नए लोग करते हैं।

सभी वर्गों में हमने दो चीजों का प्रसारण किया:

कोई भी विश्लेषण एक परिकल्पना के साथ शुरू होना चाहिए
परिकल्पना गलत हो सकती है। गलतियों को करना डरावना नहीं है, समय पर विश्लेषण को समझना, सही करना और जारी रखना महत्वपूर्ण है।

परिकल्पना तैयार करने की क्षमता, जो बाद में डेटा पर परीक्षण की जाती है, डेटा साइंस में शुरुआती, प्रशिक्षुओं और युवा विशेषज्ञों के लिए सबसे बड़ी कठिनाई का कारण बनती है। वे, एक नियम के रूप में, आंकड़ों को अच्छी तरह से जानते हैं, लेकिन उनके पास अनुभव नहीं है, इसलिए वे अक्सर आँख बंद करके विश्वास करते हैं कि मीट्रिक संकेतों का एक अच्छा मूल्य है कि उनका परिणाम मान्य है। इस वजह से, नए लोगों को अक्सर उच्च सहसंबंध मूल्य प्राप्त करने की इच्छा से प्रेरित किया जाता है। लेकिन अपने आप में एक उच्च सह-संबंध सही निर्भरता की गारंटी नहीं है!

काल्पनिक सहसंबंध (रिग्रेशन) आमतौर पर बहुत मज़ेदार होते हैं। आप किसी भी दो मापदंडों को ले सकते हैं, और यदि उनमें से प्रत्येक में एक प्रवृत्ति घटक है, तो अनुमानित सहसंबंध एकता के करीब होगा, जबकि मापदंडों का स्वयं कोई संबंध नहीं हो सकता है।

उदाहरण के लिए, एक व्यक्ति ग्रीनलैंड में ग्लेशियरों का अध्ययन करता है और यह देखने का फैसला करता है कि मानसून के मौसम के दौरान थाईलैंड में वर्षा की मात्रा बर्फ के पिघलने की दर को कैसे प्रभावित करती है। एक निश्चित अवधि में, ये दोनों चर बढ़ जाते हैं, अर्थात्, उनके पास कुछ ट्रेंडिंग घटक हैं: थाईलैंड में, वर्षा की मात्रा उसी समय बढ़ जाती है जब एक गर्म अवधि शुरू होती है और ग्लेशियर तेजी से पिघलते हैं। यदि हम सहसंबंध "हेड-ऑन" पर विचार करते हैं, तो यह एकता के करीब होगा, जिसका अर्थ है कि मूल्यों के बीच सीधा संबंध है। इसलिए, एनालिटिक्स से पहले, आपको पहले डेटा के साथ काम करना होगा - उन्हें प्रवृत्ति घटक को साफ़ करें, अर्थात। वृद्धि का दैनिक मूल्य समझें और प्राप्त करें। और अब ये nowx चर सहसंबंध प्राप्त करने के लिए उपयोग किए जाते हैं। यह एक बहुत ही सरल बात है, जो फिर भी विश्लेषण की गुणवत्ता में काफी सुधार करती है।

इतिहास नंबर २ . - , — . , : , . ?

, , . , , , , .

यह अंशांकन के लिए समय अवधि का गलत विकल्प है, जब बाहरी कारकों को ध्यान में नहीं रखा जाता है, यह सबसे आम गलती है जब पहली बार में काम करने वाला मॉडल बेकार हो जाता है।

एक ब्लैक बॉक्स के रूप में मॉडल में डेटा लोड करें

डेटा साइंस के क्षेत्रों के कई वर्षों के तेजी से विकास के लिए, मानव जाति ने मॉडल और डेटा प्रोसेसिंग के तरीकों के प्रभावशाली पुस्तकालयों को संचित किया है। और यह बहुत अच्छा है - उनका उपयोग सामान्य समस्याओं को हल करने के लिए किया जा सकता है, जो कई विशेषज्ञ न केवल शुरुआती, बल्कि अनुभवी लोगों का भी सहारा लेते हैं। खतरा समाप्त मॉडल को लेने का है, बस इसमें डेटा चिपकाएं और आउटपुट पर कुछ पूर्वानुमानात्मक मूल्य प्राप्त करें। एक अनुभवी विशेषज्ञ हमेशा अपने कार्य को विधि का परीक्षण करने और अनुकूलित करने के लिए गणित के उपकरणों का उपयोग करता है।

शुरुआती लोगों के लिए, पहले से मौजूदा डेटा में अनुभवजन्य वितरण की बहाली की पहचान करना मुश्किल है। और यहां तक कि अगर एक नौसिखिया विशेषज्ञ सफलतापूर्वक पुस्तकालय में उपयुक्त विधि का चयन करता है या एक वरिष्ठ सहयोगी उसे मॉडल स्थापित करने में मदद करता है, तो एक और खतरा उसके इंतजार में है: किसी भी समय, डेटा व्यवहार की प्रकृति बदल सकती है या समय श्रृंखला की आंतरिक प्रक्रिया बदल सकती है। इसका मतलब है कि आपको मॉडल को जल्दी से पुनर्गणना करने की आवश्यकता है, क्योंकि इसकी सटीकता कम हो गई है, और इसके परिणामस्वरूप, पूरी भविष्यवाणी की प्रभावशीलता गिर गई है। इसे पकड़ने और मॉडल को समायोजित करने के लिए, आपको सांख्यिकीय विधियों के स्वामी होने की जरूरत है और यह समझना चाहिए कि यह किस सिद्धांत पर काम करता है।

यहां तक कि अगर विधि पायथन में क्रमादेशित है और बॉक्स में कहीं है, तो कम से कम एक बार इसे काम करने के तरीके को समझने के लिए मैन्युअल रूप से प्रदर्शित किया जाना चाहिए। यदि आप परियोजना में इस पद्धति के पार आते हैं और आपको इसे अनुकूलित करने की आवश्यकता होती है, तो आपको पहले से ही पता चल जाएगा कि आपको कौन सी श्रृंखला में कदम उठाने हैं।

इतिहास नंबर 3। कल्पना करें कि आपके पास 10,000 कॉलम प्रति 10,000 पंक्तियों का डेटा मैट्रिक्स है। ~ 30 मिलीसेकेंड प्रत्येक जोड़ी तत्वों को गुणा करने पर खर्च किया जाता है, अर्थात, आपका एल्गोरिथ्म डेटा को एक घंटे से अधिक समय तक संसाधित करेगा! और अगर यह एक अरब से एक अरब मैट्रिक्स होगा? या क्या आपको बहुत सारे ऐसे एल्गोरिदम चलाने की आवश्यकता है?

कच्चा मैट्रिस

अक्सर ऐसा होता है कि नए लोग विश्लेषण से पहले मैट्रिसेस को प्रोसेस या तैयार नहीं करते हैं। नतीजतन, प्रक्रिया उनके अतिरिक्त समय और प्रयास को दूर ले जाती है। मैट्रिसेस के साथ काम को सरल और तेज करने के लिए, विशेषज्ञ रैखिक बीजगणित से उपकरणों का उपयोग करते हैं। यह इस तरह काम करता है: मौजूदा डेटा मैट्रिक्स को निम्न-श्रेणी के उप-क्षेत्र में पेश किया जाता है और इस तरह अस्थायी रूप से इसके आयाम को कम किया जाता है।

आप हमारे ऑनलाइन पाठ्यक्रमों "डेटा साइंस के लिए गणित" में यह सब करना सीख सकते हैं। बुनियादी स्तर स्कूल पाठ्यक्रम से प्रशिक्षण के लिए डिज़ाइन किया गया है और गणितीय घटक पर केंद्रित है। आपको उन्नत स्तर पर जाना चाहिए यदि आप एक बार, यहां तक कि बहुत लंबे समय तक, उच्च गणित का अध्ययन करते हैं या पहले से ही डेटा साइंस में अनुभव रखते हैं। उन्नत स्तर पर, हम विभिन्न कार्यों के लिए डेटा विश्लेषण विधियों का विश्लेषण करते हैं। पाठ्यक्रम के अंत में, छात्र डिजाइन का काम करते हैं: वे यह समझने के लिए कि यह कैसे व्यवस्थित किया जाता है और इसके किसी एक अनुभाग को संशोधित करने के लिए एक तरीके को मैन्युअल रूप से लागू करने का प्रयास करते हैं। प्रवेश परीक्षा आपको स्तर निर्धारित करने में मदद करेगी।

कक्षा में आप जो सिद्धांत और व्यावहारिक कौशल सीखेंगे, वे मुख्य रूप से मध्य विशेषज्ञों के लिए आवश्यक हैं, लेकिन वे पेशे की शुरुआत में भी उपयोगी होंगे। हमने डेटा साइंस के क्षेत्र में अपने साथी नियोक्ताओं के बीच एक सर्वेक्षण किया और पाया कि उनमें से आधे से अधिक गणित के ज्ञान के साथ एक इंटर्न को तैयार करने के लिए तैयार हैं, भले ही वह यह नहीं जानता कि पायथन पुस्तकालयों के साथ कैसे काम किया जाए।

इसके अलावा, यदि आप काम करते हैं या सिर्फ डेटा साइंस को देखते हैं, तो मैं आपको डेटा स्ट्रीट टेलीग्राम चैनल की सदस्यता लेने के लिए आमंत्रित करता हूं , जहां मैं अपना अनुभव साझा करता हूं और गणित, डेटा विश्लेषण और मशीन सीखने की दुनिया से उपयोगी सामग्री एकत्र करता हूं। मुझे आपको OTUS पाठ्यक्रमों में यहाँ देखकर खुशी होगी!

आप पाठ्यक्रमों के बारे में अधिक जान सकते हैं, साथ ही नीचे दिए गए लिंक पर क्लिक करके अपने ज्ञान का परीक्षण करने के लिए प्रवेश परीक्षा उत्तीर्ण कर सकते हैं:

3 जाल जो शुरुआती डेटा वैज्ञानिकों में आते हैं

एक ब्लैक बॉक्स के रूप में मॉडल में डेटा लोड करें

कच्चा मैट्रिस

More articles: