👨🏻‍🔧 🏁 🙇🏿 डेटा इंजीनियर और डेटा वैज्ञानिक: क्या अंतर है? 🗿 🦂 🚨

डेटा साइंटिस्ट और डेटा इंजीनियर के पेशे अक्सर भ्रमित होते हैं। प्रत्येक कंपनी के पास डेटा के साथ काम करने की अपनी विशिष्टता है, उनके विश्लेषण के अलग-अलग लक्ष्य और विशेषज्ञों का एक अलग विचार है कि काम के किस हिस्से में शामिल होना चाहिए, इसलिए प्रत्येक की अपनी आवश्यकताएं हैं।

हम समझते हैं कि इन विशेषज्ञों के बीच क्या अंतर है, वे किन व्यावसायिक समस्याओं का समाधान करते हैं, उनके पास क्या कौशल है और वे कितना कमाते हैं। सामग्री बड़ी निकली, इसलिए हमने इसे दो प्रकाशनों में विभाजित किया।

पहले लेख में, ऐनालिसिस में डेटा साइंस एंड एनालिटिक्स विभाग के प्रमुख, एलेना गेरासिमोवा बताती हैं कि डेटा साइंटिस्ट और डेटा इंजीनियर में क्या अंतर है और वे किन उपकरणों के साथ काम करते हैं।

इंजीनियरों और वैज्ञानिकों की भूमिकाएँ कैसे भिन्न होती हैं

एक डेटा इंजीनियर एक विशेषज्ञ है जो एक तरफ, डेटा के साथ काम करने के लिए बुनियादी ढांचे को विकसित, परीक्षण, और रखरखाव करता है: डेटाबेस, भंडारण और बड़े पैमाने पर प्रसंस्करण प्रणाली। दूसरी ओर, यह वह है जो विश्लेषकों और डेटा वैज्ञानिकों द्वारा उपयोग के लिए डेटा को साफ और "कंघी" करता है, अर्थात यह डेटा प्रोसेसिंग पाइपलाइन बनाता है।

डेटा साइंटिस्ट मशीन लर्निंग एल्गोरिदम और न्यूरल नेटवर्क का उपयोग करके (और न केवल) मॉडल बनाता है, व्यवसायों को छिपे हुए पैटर्न खोजने, घटनाओं की भविष्यवाणी करने और प्रमुख व्यावसायिक प्रक्रियाओं का अनुकूलन करने में मदद करता है।

डेटा साइंटिस्ट और डेटा इंजीनियर के बीच मुख्य अंतर यह है कि उनके पास आमतौर पर अलग-अलग लक्ष्य होते हैं। दोनों यह सुनिश्चित करने के लिए काम करते हैं कि डेटा सुलभ हो और उच्च गुणवत्ता का हो। लेकिन डेटा साइंटिस्ट अपने सवालों के जवाब पाता है और डेटा इकोसिस्टम (उदाहरण के लिए, Hadoop पर आधारित) में परिकल्पना का परीक्षण करता है, और डेटा इंजीनियर उसी इकोसिस्टम के भीतर एक स्पार्क क्लस्टर में डेटा साइंटिस्ट द्वारा लिखित मशीन लर्निंग एल्गोरिदम की सर्विसिंग के लिए एक पाइपलाइन बनाता है।

एक डेटा इंजीनियर एक टीम के रूप में काम करके एक व्यवसाय के लिए मूल्य लाता है। इसका कार्य विभिन्न प्रतिभागियों के बीच एक महत्वपूर्ण कड़ी के रूप में कार्य करना है: डेवलपर्स से व्यवसाय रिपोर्टिंग उपभोक्ताओं तक, और विश्लेषकों की उत्पादकता बढ़ाने के लिए - मार्केटिंग और उत्पाद से बीआई तक।

डेटा साइंटिस्ट, इसके विपरीत, कंपनी की रणनीति में सक्रिय रूप से शामिल है और अंतर्दृष्टि निकालने, निर्णय लेने, स्वचालन एल्गोरिदम को लागू करने, मॉडलिंग और डेटा से मूल्य पैदा करता है।

डेटा के साथ कार्य जीआईजीओ सिद्धांत (कचरा-इन-कचरा आउट) का पालन करता है: यदि विश्लेषकों और डेटा वैज्ञानिकों ने अप्रस्तुत और संभावित रूप से गलत डेटा के साथ व्यवहार किया है, तो परिणाम, यहां तक कि सबसे परिष्कृत विश्लेषण एल्गोरिदम के साथ, गलत होगा।

डेटा इंजीनियर इस समस्या का समाधान प्रसंस्करण, सफाई और डेटा को बदलने और डेटा वैज्ञानिक को उच्च-गुणवत्ता वाले डेटा के साथ काम करने के लिए पाइपलाइनों का निर्माण करके करते हैं।

डेटा के साथ काम करने के लिए बाजार पर कई उपकरण हैं जो प्रत्येक चरण को कवर करते हैं: डेटा की उपस्थिति से आउटपुट के लिए डैशबोर्ड के लिए निदेशक मंडल तक। और यह महत्वपूर्ण है कि उनके उपयोग पर निर्णय इंजीनियर द्वारा किया जाता है, इसलिए नहीं कि यह फैशनेबल है, बल्कि इसलिए कि यह वास्तव में काम में बाकी प्रतिभागियों की मदद करेगा।

सशर्त रूप से: यदि कंपनी को बीआई और ईटीएल के साथ दोस्ती करने की ज़रूरत है - डेटा डाउनलोड करना और रिपोर्ट अपडेट करना, यहां एक विशिष्ट विरासत नींव है जिसके साथ डेटा इंजीनियर को निपटना होगा (अच्छी तरह से, अगर टीम में उसके अलावा एक वास्तुकार है)।

डेटा इंजीनियर जिम्मेदारियाँ

डेटा इन्फ्रास्ट्रक्चर का विकास, निर्माण और रखरखाव।
हैंडलिंग और विश्वसनीय डेटा प्रोसेसिंग पाइपलाइनों के निर्माण में त्रुटि।
विश्लेषकों के काम के लिए विभिन्न गतिशील स्रोतों से असंरचित डेटा को आवश्यक रूप में लाना।
.
, - .
.
, , .
( ).

डेटा इंजीनियर प्रक्षेपवक्र के भीतर एक और विशेषज्ञता है - एमएल इंजीनियर। संक्षेप में, ऐसे इंजीनियर मशीन लर्निंग मॉडल को औद्योगिक परिनियोजन और उपयोग में लाने में माहिर हैं। अक्सर, एक डेटा वैज्ञानिक से प्राप्त एक मॉडल अध्ययन का हिस्सा है और युद्ध में काम नहीं कर सकता है।

डेटा साइंटिस्ट की जिम्मेदारियां

मशीन लर्निंग एल्गोरिदम को लागू करने के लिए डेटा से विशेषताएं निकालें।
डेटा में पैटर्न की भविष्यवाणी करने और वर्गीकृत करने के लिए विभिन्न मशीन लर्निंग टूल्स का उपयोग करना।
ठीक-ट्यूनिंग और अनुकूलन एल्गोरिदम द्वारा मशीन लर्निंग एल्गोरिदम के प्रदर्शन और सटीकता में सुधार।
कंपनी की रणनीति के अनुसार "मजबूत" परिकल्पना का गठन, जिसकी जाँच होनी चाहिए।

Data Engineer, Data Scientist , .

आज, डाटा प्रोसेसिंग पेशेवरों से उम्मीदें बदल गई हैं। इससे पहले, इंजीनियरों ने बड़े एसक्यूएल प्रश्नों को एकत्र किया, मैन्युअल रूप से MapReduce लिखा और डेटा को सूचनात्मक ईटीएल, पेंटाहो ईटीएल, टैलेंड जैसे उपकरणों का उपयोग करके संसाधित किया।

2020 में, एक विशेषज्ञ पायथन और कंप्यूटिंग के लिए आधुनिक उपकरणों (उदाहरण के लिए, एयरफ्लो) के ज्ञान के बिना नहीं कर सकता, क्लाउड प्लेटफार्मों के साथ काम करने के सिद्धांतों को समझना (सुरक्षा के सिद्धांतों का पालन करते हुए, हार्डवेयर पर बचत करने के लिए उनका उपयोग करना)।

SAP, Oracle, MySQL, Redis बड़ी कंपनियों में डेटा इंजीनियर के लिए पारंपरिक उपकरण हैं। वे अच्छे हैं, लेकिन लाइसेंस की लागत इतनी अधिक है कि उनके साथ काम करना सीखना केवल औद्योगिक परियोजनाओं में ही मायने रखता है। इसी समय, पोस्टग्रेज के रूप में एक मुफ्त विकल्प है - यह मुफ़्त है और न केवल प्रशिक्षण के लिए उपयुक्त है।

ऐतिहासिक रूप से, जावा और स्काला को अक्सर अनुरोध किया जाता है, हालांकि जैसे-जैसे तकनीक और दृष्टिकोण विकसित होते हैं, ये भाषाएं पृष्ठभूमि में फीकी पड़ जाती हैं।

फिर भी, कट्टर BigData: Hadoop, Spark और बाकी चिड़ियाघर अब डेटा इंजीनियर के लिए पूर्वापेक्षा नहीं है, लेकिन पारंपरिक ईटीएल को हल नहीं कर सकने वाले कार्यों को हल करने के लिए एक प्रकार का उपकरण है।

प्रवृत्ति में उपकरण का उपयोग करने के लिए सेवाएं हैं, जिसमें भाषा को जानने के बिना उन्हें लिखा जाता है (उदाहरण के लिए, जावा के ज्ञान के बिना Hadoop), साथ ही स्ट्रीमिंग डेटा (वीडियो पर आवाज या छवि मान्यता) के प्रसंस्करण के लिए तैयार सेवाएं प्रदान करता है।

एसएएस और एसपीएसएस के औद्योगिक समाधान लोकप्रिय हैं, जिसमें झांकी, रैपिडमिनर, स्टाटा और जूलिया भी स्थानीय वैज्ञानिकों द्वारा स्थानीय कार्यों के लिए व्यापक रूप से उपयोग किए जाते हैं।

विश्लेषकों और डेटा वैज्ञानिकों के पास केवल कुछ साल पहले पाइपलाइनों के निर्माण का अवसर था: उदाहरण के लिए, अपेक्षाकृत सरल स्क्रिप्ट के साथ पोस्टग्रेएसक्यूएल-आधारित भंडारण के लिए डेटा भेजना पहले से ही संभव है।

आमतौर पर, पाइपलाइनों और एकीकृत डेटा संरचनाओं का उपयोग डेटा इंजीनियरों की जिम्मेदारी बना रहता है। लेकिन आज, पहले से कहीं ज्यादा, प्रवृत्ति टी-आकार के विशेषज्ञों के लिए मजबूत है - संबंधित क्षेत्रों में व्यापक दक्षताओं के साथ, क्योंकि उपकरण लगातार सरलीकृत होते हैं।

क्यों डेटा इंजीनियर और डेटा साइंटिस्ट एक साथ काम करते हैं

इंजीनियरों के साथ मिलकर काम करना, डेटा साइंटिस्ट अनुसंधान भाग पर ध्यान केंद्रित कर सकते हैं, रेडी-टू-यूज़ मशीन लर्निंग एल्गोरिदम का निर्माण कर सकते हैं।
और इंजीनियर स्केलेबिलिटी, डेटा पुनः उपयोग पर ध्यान केंद्रित करते हैं और सुनिश्चित करते हैं कि प्रत्येक व्यक्तिगत परियोजना में डेटा इनपुट और आउटपुट पाइपलाइन वैश्विक वास्तुकला के अनुरूप हैं।

कर्तव्यों का यह पृथक्करण अलग-अलग मशीन सीखने की परियोजनाओं पर काम करने वाले विशेषज्ञों की टीमों के बीच सामंजस्य सुनिश्चित करता है।

सहयोग नए उत्पादों को प्रभावी ढंग से बनाने में मदद करता है। गति और गुणवत्ता सभी के लिए एक सेवा (डैशबोर्ड्स के वैश्विक भंडारण या एकीकरण) और प्रत्येक विशिष्ट आवश्यकता या परियोजना (अत्यधिक विशेष पाइपलाइन, बाहरी स्रोतों को जोड़ने) के कार्यान्वयन के बीच एक संतुलन के लिए धन्यवाद प्राप्त की जाती है।

डेटा वैज्ञानिकों और विश्लेषकों के साथ मिलकर काम करने से इंजीनियरों को बेहतर कोड लिखने के लिए विश्लेषणात्मक और अनुसंधान कौशल विकसित करने में मदद मिलती है। डेटा वेयरहाउस और डेटा झीलों के उपयोगकर्ताओं के बीच ज्ञान का आदान-प्रदान बेहतर बनाता है, जो परियोजनाओं को अधिक लचीला बनाता है और लंबे समय तक स्थायी परिणाम प्रदान करता है।

उन कंपनियों में, जिनका लक्ष्य डेटा के साथ काम करने की संस्कृति विकसित करना और उनके आधार पर व्यावसायिक प्रक्रियाओं का निर्माण करना है, डेटा साइंटिस्ट और डेटा इंजीनियर एक दूसरे के पूरक हैं और एक संपूर्ण डेटा विश्लेषण प्रणाली बनाते हैं।

अगले लेख में, हम इस बारे में बात करेंगे कि डेटा इंजीनियर और डेटा वैज्ञानिकों को किस तरह की शिक्षा होनी चाहिए, उन्हें कौन से कौशल विकसित करने की आवश्यकता है, और बाजार कैसे काम करता है।

नेटोलॉजी के संपादकों से

यदि आप डेटा इंजीनियर या डेटा साइंटिस्ट के पेशे को करीब से देखते हैं, तो हम आपको हमारे पाठ्यक्रमों के कार्यक्रमों का अध्ययन करने के लिए आमंत्रित करते हैं:

पेशा " डेटा इंजीनियर "।
पेशे डेटा साइंटिस्ट ।

डेटा इंजीनियर और डेटा वैज्ञानिक: क्या अंतर है?

इंजीनियरों और वैज्ञानिकों की भूमिकाएँ कैसे भिन्न होती हैं

क्यों डेटा इंजीनियर और डेटा साइंटिस्ट एक साथ काम करते हैं

नेटोलॉजी के संपादकों से

More articles: