🖐🏼 🤾🏾 😐 पावेल क्लेमेनकोव, एनवीआईडीआईए: हम एक डेटा वैज्ञानिक क्या कर सकते हैं और उसे क्या करने में सक्षम होने की आवश्यकता है, के बीच अंतर को कम करने की कोशिश कर रहे हैं। 🔭 🕚 ♀️

डेटा साइंस और बिजनेस इंटेलिजेंस में मास्टर प्रोग्राम के छात्रों का दूसरा सेट ओज़ोन मास्टर्स शुरू हुआ - और एक आवेदन छोड़ने और ऑनलाइन परीक्षण पास करने का निर्णय लेने के लिए यह आसान था, हमने कार्यक्रम के शिक्षकों से पूछा कि प्रशिक्षण और डेटा के साथ काम करने से क्या उम्मीद है।

NVIDIA के मुख्य डेटा वैज्ञानिक और बिग डेटा और डेटा इंजीनियरिंग पाठ्यक्रम के शिक्षक पावेल क्लेमेनकोव ने इस बारे में बात की कि गणितज्ञ ओजोन मास्टर्स में दो साल तक कोड क्यों लिखते हैं और अध्ययन करते हैं।

- क्या कई कंपनियां डेटा साइंस एल्गोरिदम का उपयोग करती हैं?

- वास्तव में बहुत। कुछ बड़ी कंपनियों के पास जो वास्तव में बड़े डेटा हैं या तो उनके साथ कुशलता से काम करना शुरू कर देते हैं या लंबे समय से काम कर रहे हैं। यह स्पष्ट है कि बाजार का आधा हिस्सा डेटा का उपयोग करता है जो एक एक्सेल-टैबलेट में फिट हो सकता है या एक बड़े सर्वर पर गिना जा सकता है, लेकिन यह कहना असंभव है कि कुछ ही व्यवसाय हैं जो डेटा के साथ काम कर सकते हैं।

- मुझे डेटा विज्ञान का उपयोग करने वाली परियोजनाओं के बारे में थोड़ा बताएं।

- उदाहरण के लिए, रामबलर में काम करते हुए, हमने एक विज्ञापन प्रणाली बनाई जो RTB (रियल टाइम बिडिंग) के सिद्धांतों पर काम करती है - हमें कई मॉडल बनाने की ज़रूरत थी जो विज्ञापन की खरीद को अनुकूलित करेंगे या, उदाहरण के लिए, एक क्लिक, रूपांतरण, और इसी तरह की संभावना का अनुमान लगा सकते हैं। उसी समय, एक विज्ञापन नीलामी बहुत अधिक डेटा उत्पन्न करती है: विज्ञापन के संभावित खरीदारों के लिए साइट अनुरोधों के लॉग, विज्ञापन छापों के लॉग, क्लिक लॉग्स - ये प्रति दिन दसियों टेराबाइट्स डेटा हैं।

इसके अलावा, इन कार्यों के लिए हमने एक दिलचस्प घटना देखी: मॉडल के प्रशिक्षण के लिए आप जितना अधिक डेटा देते हैं, उसकी गुणवत्ता उतनी ही अधिक होती है। आमतौर पर, डेटा की एक निश्चित राशि के लिए, पूर्वानुमान की गुणवत्ता में सुधार होता है, और सटीकता को और बेहतर बनाने के लिए, आपको मूलभूत रूप से अलग मॉडल, डेटा की तैयारी के लिए एक अलग दृष्टिकोण, सुविधाओं, और इसी तरह का उपयोग करने की आवश्यकता होती है। यहां हमने अधिक डेटा डाला और गुणवत्ता बढ़ी।

यह एक विशिष्ट मामला है जहां विश्लेषकों को, सबसे पहले, बड़े डेटा सेट के साथ कम से कम प्रयोग करने के लिए काम करना था, और जहां एक छोटे से नमूने के साथ प्राप्त करना असंभव था जो एक आरामदायक मैकबुक में फिट बैठता है। उसी समय, हमें वितरित मॉडल की आवश्यकता थी, क्योंकि अन्यथा उन्हें प्रशिक्षित करना असंभव था। उत्पादन में कंप्यूटर विज़न की शुरुआत के साथ, ऐसे उदाहरण अधिक सामान्य होते जा रहे हैं, क्योंकि चित्र एक बड़ी मात्रा में डेटा हैं, और एक बड़े मॉडल को प्रशिक्षित करने के लिए लाखों चित्रों की आवश्यकता होती है।

प्रश्न तुरंत उठता है: इस सभी जानकारी को कैसे संग्रहीत किया जाए, इसे कुशलता से कैसे संसाधित किया जाए, वितरित शिक्षण एल्गोरिदम का उपयोग कैसे किया जाए - नंगे गणित से ध्यान इंजीनियरिंग की ओर स्थानांतरित हो रहा है। यहां तक कि अगर आप उत्पादन में एक कोड नहीं लिखते हैं, तो आपको प्रयोग करने के लिए इंजीनियरिंग उपकरणों के साथ काम करने में सक्षम होना चाहिए।

- हाल के वर्षों में डेटा विज्ञान रिक्तियों के लिए दृष्टिकोण कैसे बदल गया है?

- बड़ा डेटा प्रचार और वास्तविकता बन गया है। हार्ड ड्राइव काफी सस्ते होते हैं, जिसका अर्थ है कि सामान्य रूप से सभी डेटा एकत्र करने का अवसर है, ताकि भविष्य में वे किसी भी परिकल्पना का परीक्षण करने के लिए पर्याप्त हों। नतीजतन, बड़े डेटा के साथ काम करने के लिए उपकरणों का ज्ञान बहुत लोकप्रिय हो रहा है, और इसके परिणामस्वरूप, डेटा इंजीनियरों के लिए अधिक से अधिक नौकरी के अवसर दिखाई दे रहे हैं।

मेरी समझ में, डेटा वैज्ञानिक के कार्य का परिणाम एक प्रयोग नहीं है, बल्कि एक उत्पाद है जो उत्पादन तक पहुंच गया है। और इस दृष्टिकोण से, बड़े डेटा के आसपास प्रचार के आगमन से पहले, प्रक्रिया सरल थी: इंजीनियर विशिष्ट समस्याओं को हल करने के लिए मशीन सीखने में लगे हुए थे, और एल्गोरिदम को उत्पादन में लाने के साथ कोई समस्या नहीं थी।

- एक विशेषज्ञ के बाद बने रहने में क्या लगता है?

- अब बहुत से लोग डेटा साइंस में आ गए हैं जिन्होंने गणित, मशीन लर्निंग थ्योरी सीख ली है, डेटा विश्लेषण प्रतियोगिताओं में भाग लिया है जहाँ एक तैयार बुनियादी ढांचा प्रदान किया गया है: डेटा को साफ़ किया जाता है, मैट्रिक्स को परिभाषित किया जाता है, और प्रतिलिपि प्रस्तुत करने योग्य और तेज़ होने के लिए कोई आवश्यकता नहीं होती है।

नतीजतन, जो लोग व्यवसाय की वास्तविकताओं के लिए खराब रूप से तैयार हैं वे काम पर आते हैं, और शुरुआती और अनुभवी डेवलपर्स के बीच एक अंतर बनता है।

उपकरणों के विकास के साथ जो आपको अपने स्वयं के मॉडल को तैयार किए गए मॉड्यूल से इकट्ठा करने की अनुमति देते हैं - और Microsoft, Google और कई अन्य लोगों के पास पहले से ही ऐसे समाधान हैं - और मशीन लर्निंग स्वचालन, यह अंतर और भी स्पष्ट हो जाएगा। लंबे समय में, नए प्रोफेसरों के साथ आने वाले गंभीर प्रोफेसर, और एक विकसित इंजीनियरिंग कौशल वाले कर्मचारी, जो मॉडल को लागू करेंगे और प्रक्रियाओं को स्वचालित करेंगे, पेशे में मांग होगी। डेटा इंजीनियरिंग में ओजोन परास्नातक पाठ्यक्रम इंजीनियरिंग कौशल विकसित करने और बड़े डेटा पर वितरित मशीन लर्निंग एल्गोरिदम का उपयोग करने की क्षमता पर केंद्रित है। हम एक डेटा वैज्ञानिक क्या कर सकते हैं और उसे व्यवहार में क्या करने में सक्षम होना चाहिए, के बीच अंतर को कम करने की कोशिश कर रहे हैं।

- व्यवसाय में अध्ययन के लिए डिप्लोमा के साथ गणित क्यों जाना जाता है?

- रूसी डेटा विज्ञान समुदाय को समझ में आ गया है कि कौशल और अनुभव बहुत जल्दी धन में परिवर्तित हो जाते हैं, इसलिए जैसे ही किसी विशेषज्ञ के पास व्यावहारिक अनुभव होता है, उसकी लागत बहुत तेज़ी से बढ़ने लगती है, सबसे कुशल लोग बहुत महंगे होते हैं - और यह विकास के वर्तमान क्षण में सच है बाजार।

एक डेटा साइंटिस्ट का ज्यादातर काम डेटा में जाना है, वहां क्या है, इसे समझें, ऐसे लोगों से सलाह लें जो व्यावसायिक प्रक्रियाओं के लिए जिम्मेदार हैं और इस डेटा को उत्पन्न करते हैं - और उसके बाद ही मॉडल बनाने के लिए उनका उपयोग करते हैं। बड़े डेटा के साथ काम करना शुरू करने के लिए, इंजीनियरिंग कौशल होना बेहद जरूरी है - तेज कोनों को दरकिनार करना बहुत आसान है, जो डेटा विज्ञान में कई हैं।

एक विशिष्ट कहानी: आपने एक SQL क्वेरी लिखी है जिसे फ्रेमवर्क हाइव का उपयोग करके निष्पादित किया गया है, जो बड़े डेटा पर चलता है। अनुरोध को दस मिनट में, सबसे खराब स्थिति में - एक या दो घंटे में संसाधित किया जाता है, और अक्सर, जब आप इस डेटा के अपलोड प्राप्त करते हैं, तो आपको पता चलता है कि आप कुछ कारक या अतिरिक्त जानकारी को भूल गए हैं। आपको अनुरोध को फिर से भेजना होगा और इन मिनटों और घंटों का इंतजार करना होगा। यदि आप कार्यकुशलता के प्रतिभाशाली हैं, तो हम एक और कार्य करेंगे, लेकिन, जैसा कि अभ्यास से पता चलता है, हमारे पास दक्षता की कुछ प्रतिभाएं हैं, और लोग बस इंतजार कर रहे हैं। इसलिए, पाठ्यक्रमों में हम दक्षता के लिए काम करने के लिए बहुत समय समर्पित करेंगे ताकि शुरुआत में दो घंटे नहीं बल्कि कई मिनट तक काम कर सकें। यह कौशल उत्पादकता को बढ़ाता है, और इसके साथ एक विशेषज्ञ का मूल्य।

- ओजोन परास्नातक अन्य पाठ्यक्रमों से कैसे अलग है?

- ओजोन कर्मचारी ओजोन मास्टर्स में पढ़ाते हैं, और असाइनमेंट वास्तविक व्यावसायिक मामलों पर आधारित होते हैं जो कंपनियों में हल किए जाते हैं। वास्तव में, इंजीनियरिंग कौशल की कमी के अलावा, जिस व्यक्ति ने विश्वविद्यालय में डेटा विज्ञान सीखा है, उसकी एक और समस्या है: व्यवसाय की भाषा में व्यवसाय कार्य तैयार किया जाता है, और इसका लक्ष्य काफी सरल है: अधिक पैसा बनाना। और गणितज्ञ अच्छी तरह से जानता है कि गणितीय मीट्रिक को कैसे अनुकूलित किया जाए - लेकिन एक मीट्रिक का पता लगाना जो एक व्यापार मीट्रिक के साथ सहसंबंधित होगा, मुश्किल है। और आपको यह समझने की आवश्यकता है कि आप एक व्यावसायिक समस्या को हल कर रहे हैं, ऐसे मैट्रिक्स तैयार करें जो व्यवसाय के साथ गणितीय रूप से अनुकूलित किए जा सकते हैं। यह कौशल वास्तविक मामलों की कीमत पर हासिल किया जाता है, और ओजोन उन्हें देता है।
और यहां तक कि अगर आप मामलों को छोड़ देते हैं, तो स्कूल बहुत सारे चिकित्सकों को सिखाता है जो वास्तविक कंपनियों में व्यावसायिक समस्याओं को हल करते हैं। नतीजतन, शिक्षण का दृष्टिकोण अभी भी अधिक व्यावहारिक है। कम से कम मेरे पाठ्यक्रम में, मैं साधनों का उपयोग करने के तरीके पर ध्यान केंद्रित करने की कोशिश करूंगा कि क्या दृष्टिकोण मौजूद हैं, और इसी तरह। छात्रों के साथ मिलकर, हम समझेंगे कि प्रत्येक कार्य का अपना उपकरण होता है, और प्रत्येक उपकरण में प्रयोज्यता का क्षेत्र होता है।

- डेटा विश्लेषण में सबसे प्रसिद्ध प्रशिक्षण कार्यक्रम, ज़ाहिर है, शाद - विशेष रूप से इससे क्या अंतर है?

- यह स्पष्ट है कि शैड और ओजोन मास्टर्स शैक्षिक समारोह के अलावा, स्थानीय प्रशिक्षण समस्या को हल करते हैं। शीर्ष SHAD स्नातकों को मुख्य रूप से यैंडेक्स में भर्ती किया जाता है, लेकिन पकड़ यह है कि यैंडेक्स, इसकी विशिष्टता के कारण - और यह बड़ा था और बनाया गया था जब बड़े डेटा के साथ काम करने के लिए कुछ अच्छे उपकरण थे - डेटा के लिए काम करने के लिए अपने स्वयं के बुनियादी ढांचे और उपकरण हैं, जिसका अर्थ है उन्हें मास्टर करना होगा। ओजोन परास्नातक का एक अलग संदेश है - यदि आपने सफलतापूर्वक कार्यक्रम में महारत हासिल की है और ओजोन या 99% अन्य कंपनियों में से एक आपको काम करने के लिए आमंत्रित करती है, तो व्यवसाय को लाभान्वित करना शुरू करना बहुत आसान होगा; ओजोन मास्टर्स के माध्यम से हासिल किया गया कौशल सिर्फ काम करना शुरू करने के लिए पर्याप्त होगा।

- पाठ्यक्रम दो साल तक रहता है। इसमें इतना समय क्यों लगता है?

- अच्छा प्रश्न। एक लंबे समय के लिए, क्योंकि शिक्षकों की सामग्री और स्तर एक अभिन्न मास्टर कार्यक्रम है, जिसमें होमवर्क सहित मास्टरिंग के लिए बहुत समय की आवश्यकता होती है।

मेरे पाठ्यक्रम के दृष्टिकोण से, यह उम्मीद करना कि छात्र सप्ताह में 2-3 घंटे कार्यों पर खर्च करेगा एक सामान्य बात है। सबसे पहले, प्रशिक्षण क्लस्टर पर कार्य किए जाते हैं, और किसी भी सामान्य क्लस्टर का अर्थ है कि कई लोग एक साथ इसका उपयोग करते हैं। यही है, आपको कार्य शुरू करने के लिए इंतजार करना होगा, कुछ संसाधनों को चुना जा सकता है और उच्च प्राथमिकता कतार में स्थानांतरित किया जा सकता है। दूसरी ओर, बड़े डेटा वाला कोई भी काम समय लेने वाला होता है।

, — , 25 12:00, Ozon Masters . c Zoom YouTube.