🤷🏿 🧜🏾 🔜 बड़े और छोटे डेटा परीक्षक: रुझान, सिद्धांत, मेरी कहानी 🙍 🎇 ⏪

सभी को नमस्कार, मेरा नाम अलेक्जेंडर है, और मैं एक डेटा गुणवत्ता इंजीनियर हूं जो अपनी गुणवत्ता के लिए डेटा की जांच करता है। यह लेख इस बात पर चर्चा करेगा कि मैं इस पर कैसे आया और क्यों 2020 में परीक्षण की यह दिशा एक लहर के शिखर पर है।

संसार की प्रवृत्ति

आज की दुनिया अभी तक एक और तकनीकी क्रांति के दौर से गुजर रही है, जिसमें से एक पहलू यह है कि विभिन्न कंपनियों द्वारा अपने स्वयं के बिक्री चक्का, मुनाफे और पीआर को बढ़ावा देने के लिए विभिन्न डेटा का उपयोग किया जाता है। ऐसा लगता है कि यह अच्छे (गुणवत्ता) डेटा की उपस्थिति है, साथ ही कुशल दिमाग भी है जो उनसे पैसा कमा सकते हैं (सही ढंग से प्रक्रिया, कल्पना, मशीन सीखने के मॉडल आदि का निर्माण), आज कई लोगों के लिए सफलता की कुंजी बन गए हैं। यदि 15-20 साल पहले, बड़ी कंपनियां डेटा के संचय और उनके विमुद्रीकरण के साथ घने काम में लगी हुई थीं, तो आज यह लगभग सभी समझदार लोगों की संख्या है।

इस संबंध में, कई साल पहले, दुनिया भर में सभी जॉब सर्च पोर्टल्स डेटा वैज्ञानिकों के रिक्त पदों के साथ बह निकलना शुरू हो गए थे, क्योंकि सभी को यकीन था कि स्टाफ पर इस तरह के विशेषज्ञ को प्राप्त करके आप मशीन लर्निंग सुपर मॉडल का निर्माण कर सकते हैं, भविष्य की भविष्यवाणी कर सकते हैं और "क्वांटम" बना सकते हैं। कंपनी के लिए लीप। समय के साथ, लोगों ने महसूस किया कि यह दृष्टिकोण लगभग कभी काम नहीं करता है, क्योंकि ऐसे विशेषज्ञों के हाथों में आने वाले सभी डेटा प्रशिक्षण मॉडल के लिए उपयुक्त है।

और डेटा वैज्ञानिकों से अनुरोध शुरू हुआ: "चलो इन और उन लोगों से अधिक डेटा खरीदते हैं ...", "हमारे पास पर्याप्त डेटा नहीं है ...", "हमें कुछ और डेटा और अधिमानतः उच्च-गुणवत्ता की आवश्यकता है ..."। इन अनुरोधों के आधार पर, एक विशेष डेटा सेट के स्वामित्व वाली कंपनियों के बीच कई इंटरैक्शन लाइन अप करने के लिए शुरू हुए। स्वाभाविक रूप से, इसके लिए इस प्रक्रिया के तकनीकी संगठन की आवश्यकता थी - डेटा स्रोत से कनेक्ट करने के लिए, उन्हें डाउनलोड करें, जांचें कि वे पूरी तरह से भरी हुई हैं, आदि ऐसी प्रक्रियाओं की संख्या बढ़ने लगी, और आज हमें एक अन्य प्रकार के विशेषज्ञों की बहुत आवश्यकता है - डेटा गुणवत्ता इंजीनियर - जो सिस्टम में डेटा प्रवाह (डेटा पाइपलाइन), इनपुट और आउटपुट पर डेटा की गुणवत्ता की निगरानी करेंगे, वे उनकी पर्याप्तता, अखंडता और अन्य विशेषताओं के बारे में निष्कर्ष निकालेंगे।

डेटा गुणवत्ता इंजीनियरों के लिए प्रवृत्ति संयुक्त राज्य अमेरिका से हमारे पास आई, जहां पूंजीवाद के उग्र युग के बीच कोई भी डेटा के लिए लड़ाई हारने के लिए तैयार नहीं है। नीचे मैंने संयुक्त राज्य अमेरिका में दो सबसे लोकप्रिय नौकरी खोज साइटों से स्क्रीनशॉट प्रदान किए हैं: www.monster.com और www.dice.com - जो 17 मार्च, 2020 तक पोस्ट की गई रिक्तियों की संख्या के अनुसार डेटा प्रदर्शित करते हैं, कीवर्ड द्वारा: डेटा गुणवत्ता और आँकड़े वाला वैज्ञानिक।

www.monster.com

डेटा वैज्ञानिक - 21,416 नौकरियां	डेटा गुणवत्ता - 41,104 नौकरियां

www.dice.com

डेटा वैज्ञानिक - 404 नौकरियां	डेटा गुणवत्ता - 2020 नौकरियां

जाहिर है, ये पेशे किसी भी तरह से एक दूसरे के साथ प्रतिस्पर्धा नहीं करते हैं। स्क्रीनशॉट के साथ, मैं सिर्फ डेटा गुणवत्ता इंजीनियरों के अनुरोधों के संदर्भ में श्रम बाजार में मौजूदा स्थिति को चित्रित करना चाहता था, जिन्हें अब डेटा वैज्ञानिकों की तुलना में बहुत अधिक आवश्यकता है।

जून 2019 में, ईपीएएम ने आधुनिक आईटी बाजार की जरूरतों का जवाब देते हुए डेटा गुणवत्ता को एक अलग अभ्यास के रूप में रेखांकित किया। अपने दैनिक कार्य के दौरान, डेटा गुणवत्ता इंजीनियर डेटा का प्रबंधन करते हैं, नई स्थितियों और प्रणालियों में उनके व्यवहार की जांच करते हैं, और डेटा की प्रासंगिकता, इसकी पर्याप्तता और प्रासंगिकता को नियंत्रित करते हैं। इस सब के साथ, डेटा गुणवत्ता के व्यावहारिक अर्थ में, इंजीनियर वास्तव में शास्त्रीय कार्यात्मक परीक्षण के लिए थोड़ा समय समर्पित करते हैं, लेकिन यह परियोजना पर बहुत कुछ निर्भर करता है (मैं नीचे एक उदाहरण दूंगा)।

डेटा गुणवत्ता इंजीनियर के कर्तव्यों को डेटाबेस तालिका में "नल, गिनती और रकम" के लिए नियमित मैनुअल / स्वचालित जांच तक सीमित नहीं है, लेकिन ग्राहक की व्यावसायिक जरूरतों और मौजूदा डेटा को उपयोगी व्यावसायिक जानकारी में बदलने की क्षमता के लिए गहरी समझ की आवश्यकता होती है।

डेटा गुणवत्ता का सिद्धांत

ऐसे इंजीनियर की भूमिका की पूरी तरह से कल्पना करने के लिए, आइए जानें कि सिद्धांत में डेटा गुणवत्ता क्या है।

डेटा गुणवत्ता डेटा प्रबंधन के चरणों में से एक है (पूरी दुनिया जिसे हम आपके लिए स्वतंत्र रूप से अध्ययन करने के लिए छोड़ देंगे) और निम्नलिखित मानदंडों के अनुसार डेटा का विश्लेषण करने के लिए जिम्मेदार है:

मुझे लगता है कि यह प्रत्येक अंक (सिद्धांत रूप में उन्हें "डेटा आयाम" कहा जाता है) की व्याख्या करने लायक नहीं है, वे चित्र में काफी अच्छी तरह से वर्णित हैं। लेकिन परीक्षण प्रक्रिया खुद ही इन मामलों की कड़ाई से नकल नहीं करती है परीक्षण मामलों और उनके सत्यापन में। डेटा गुणवत्ता में, किसी अन्य प्रकार के परीक्षण के रूप में, व्यवसाय के निर्णय लेने वाले परियोजना प्रतिभागियों के साथ सहमत डेटा गुणवत्ता के लिए आवश्यकताओं से आगे बढ़ना सबसे पहले आवश्यक है।

डेटा गुणवत्ता परियोजना के आधार पर, एक अभियंता विभिन्न कार्य कर सकता है: डेटा की गुणवत्ता के सतही मूल्यांकन के साथ एक साधारण स्वचालित परीक्षक से, उस व्यक्ति के लिए जो उपरोक्त मानदंडों के अनुसार अपनी गहरी रूपरेखा का संचालन करता है।

डेटा प्रबंधन, डेटा गुणवत्ता और संबंधित प्रक्रियाओं का एक बहुत विस्तृत विवरण "दामा-डीएमबीओके: डेटा प्रबंधन निकाय ज्ञान: 2 डी संस्करण" नामक पुस्तक में अच्छी तरह से वर्णित है । मैं इस विषय के परिचय के रूप में इस पुस्तक की अत्यधिक अनुशंसा करता हूं (आपको लेख के अंत में इसका लिंक मिलेगा)।

मेरी कहानी

आईटी उद्योग में, मैं EPAM में एक जूनियर प्रोडक्ट टेस्टर से लीड डेटा क्वालिटी इंजीनियर बन गया। एक परीक्षक के रूप में लगभग दो वर्षों के बाद, मेरा दृढ़ विश्वास था कि मैंने बिल्कुल सभी प्रकार के परीक्षण किए: प्रतिगमन, कार्यात्मक, तनावपूर्ण, स्थिरता, सुरक्षा, UI, आदि - और बड़ी संख्या में परीक्षण उपकरण की कोशिश की, काम किया। तीन प्रोग्रामिंग भाषाओं में एक ही समय में: जावा, स्काला, पायथन।

पीछे देखते हुए, मैं समझता हूं कि मेरे पेशेवर कौशल का सेट इतना विविध क्यों निकला - मैंने डेटा, बड़े और छोटे के साथ काम करने के लिए बंधी परियोजनाओं में भाग लिया। इसने मुझे बड़ी संख्या में उपकरणों और विकास के अवसरों की दुनिया में पहुँचाया।

नए ज्ञान और कौशल प्राप्त करने के लिए उपकरणों और अवसरों की विविधता की सराहना करने के लिए, बस नीचे दी गई तस्वीर को देखें, जो "डेटा एंड एआई" की दुनिया में उनमें से सबसे लोकप्रिय दिखाती है।

इस तरह का चित्रण सॉफ्टवेयर विकास के मूल निवासी जाने-माने वेंचर कैपिटलिस्ट मैट टर्क द्वारा प्रतिवर्ष संकलित किया जाता है। यहां उनके ब्लॉग और वेंचर कैपिटल फर्म का लिंक दिया गया है, जहां वह भागीदार के रूप में काम करते हैं। विशेष रूप से तेजी से मैं पेशेवर रूप से बढ़ गया जब मैं परियोजना पर एकमात्र परीक्षक था, या कम से कम परियोजना की शुरुआत में। यह ऐसे क्षण में होता है जब आपको पूरी परीक्षण प्रक्रिया के लिए जिम्मेदार होना पड़ता है, और आपके पास केवल आगे की ओर कदम बढ़ाने का अवसर नहीं होता है। पहले यह एक बिजूका था, लेकिन अब इस तरह के परीक्षण के सभी फायदे मेरे लिए स्पष्ट हैं:

आप पूरी टीम के साथ पहले से अधिक संवाद करना शुरू करते हैं, क्योंकि संचार के लिए कोई प्रॉक्सी नहीं है: न तो एक परीक्षण प्रबंधक, न ही साथी परीक्षक।
, , .
« , », , , .
— , , .

जैसे ही परियोजना 100% बढ़ी, मैं उन परीक्षकों के लिए एक संरक्षक बन गया जो उनके पास फिर से आए, उन्हें प्रशिक्षित किया और उस ज्ञान पर पारित किया जो मैंने सीखा था। उसी समय, परियोजना के आधार पर, मुझे हमेशा प्रबंधन से उच्चतम स्तर के ऑटो परीक्षण विशेषज्ञ नहीं मिले और रोजमर्रा की गतिविधियों (डेटा जेनरेशन टूल्स) और सिस्टम में उन्हें लोड करने के लिए उन्हें ऑटोमेशन में प्रशिक्षित करने की (या इच्छा रखने वालों के लिए) प्रशिक्षण की आवश्यकता थी। , लोड परीक्षण / स्थिरता परीक्षण "त्वरित", आदि के संचालन के लिए एक उपकरण)।

विशिष्ट परियोजना उदाहरण

दुर्भाग्य से, गैर-प्रकटीकरण दायित्वों के कारण, मैं उन परियोजनाओं के बारे में विस्तार से बात नहीं कर सकता, जिन पर मैंने काम किया था, हालांकि मैं किसी एक परियोजना पर विशिष्ट डेटा गुणवत्ता इंजीनियर कार्यों का उदाहरण दूंगा।

परियोजना का सार उनके आधार पर प्रशिक्षण मशीन सीखने के मॉडल के लिए डेटा तैयार करने के लिए एक मंच को लागू करना है। ग्राहक संयुक्त राज्य अमेरिका की एक बड़ी दवा कंपनी थी। तकनीकी रूप से, यह एक कुबेरनेट्स क्लस्टर था , जो कि कई विज्ञापनदाताओं के साथ एडब्ल्यूएस ईसी 2 इंस्टेंसेस के लिए बढ़ रहा था और ईपीएएम- लीजन प्रोजेक्ट ने ओपन सोर्स को अंतर्निहित किया, एक विशेष ग्राहक की जरूरतों के लिए अनुकूलित (अब यह परियोजना ओडाहु के रूप में पुनर्जन्म है )। ईटीएल प्रक्रियाएं अपाचे एयरफ्लो का उपयोग करके आयोजित की गईं और इससे डेटा स्थानांतरित किया गयाAWS S3 बाल्टी में SalesForce ग्राहक सिस्टम । इसके बाद, प्लेटफ़ॉर्म पर एक मशीन लर्निंग मॉडल की एक डॉकटर छवि को तैनात किया गया था, जिसे नवीनतम डेटा और REST एपीआई इंटरफ़ेस के आधार पर भविष्यवाणियां दी गई थीं जो व्यवसाय के लिए रुचि रखते थे और विशिष्ट समस्याओं को हल करते थे।

नेत्रहीन, सब कुछ इस तरह से देखा:

इस परियोजना पर बहुत कार्यात्मक परीक्षण किया गया था, और विकासशील सुविधाओं की गति और रिलीज चक्र (दो सप्ताह के स्प्रिंट) की गति को बनाए रखने की आवश्यकता को देखते हुए, सबसे महत्वपूर्ण प्रणाली नोड्स के परीक्षण के स्वचालन के बारे में तुरंत सोचना आवश्यक था। कुबेरनेट्स के साथ अधिकांश प्लेटफ़ॉर्म को रोबोट फ्रेमवर्क पर लागू किए गए स्व-परीक्षणों द्वारा कवर किया गया था ।+ पायथन, लेकिन उन्हें बनाए रखने और विस्तारित करने की भी आवश्यकता थी। इसके अलावा, ग्राहक की सुविधा के लिए, एक क्लस्टर में एम्बेडेड मशीन लर्निंग मॉडल का प्रबंधन करने के लिए एक जीयूआई बनाया गया था, साथ ही यह भी निर्दिष्ट करने की क्षमता थी कि मॉडल प्रशिक्षण के लिए डेटा कहां और कहां स्थानांतरित करना है। इस व्यापक जोड़ ने स्वचालित कार्यात्मक जांच के विस्तार को बढ़ाया, जो कि ज्यादातर REST एपीआई कॉल और एंड-टू-एंड यूआई परीक्षणों की एक छोटी संख्या के माध्यम से किया गया था। इस सभी आंदोलन के भूमध्य रेखा के बारे में, हम एक मैनुअल परीक्षक द्वारा शामिल हुए, जिन्होंने उत्पाद संस्करणों के परीक्षण को स्वीकार करने और अगली रिलीज को स्वीकार करने के बारे में ग्राहक के साथ संवाद करने का एक उत्कृष्ट काम किया। इसके अलावा, एक नए विशेषज्ञ के उद्भव के कारण, हम अपने काम का दस्तावेजीकरण करने और कुछ बहुत ही महत्वपूर्ण मैनुअल जांचों को जोड़ने में सक्षम थे,जिन्हें तुरंत स्वचालित करना मुश्किल था।

और अंत में, जब हमने प्लेटफ़ॉर्म से स्थिरता प्राप्त की और उसके ऊपर एक GUI ऐड-ऑन किया, तो हमने Apache Airflow DAG का उपयोग करके ETL पाइपलाइन का निर्माण शुरू किया। ईटीएल प्रक्रिया के परिणामों के अनुसार डेटा की जांच करने वाले विशेष एयरफ़्लो डीएजी लिखकर स्वचालित डेटा गुणवत्ता नियंत्रण किया गया था। इस परियोजना के हिस्से के रूप में, हम भाग्यशाली थे, और ग्राहक ने हमें अज्ञात डेटा सेट तक पहुंच प्रदान की, जिस पर हमने परीक्षण किया। हमने प्रकारों के अनुपालन के लिए लाइन द्वारा डेटा लाइन की जाँच की, टूटे हुए डेटा की उपस्थिति, पहले और बाद में रिकॉर्ड की कुल संख्या, एकत्रीकरण के लिए ईटीएल प्रक्रिया द्वारा किए गए परिवर्तनों की तुलना, कॉलम और अन्य चीजों के नाम को बदलना। इसके अलावा, इन चेक को अलग-अलग डेटा स्रोतों में स्केल किया गया था, उदाहरण के लिए, सेल्सफ्री के अलावा, MySQL पर भी।

अंतिम डेटा गुणवत्ता की जांच पहले से ही S3 स्तर पर की गई थी, जहां उन्हें संग्रहीत किया गया था और शिक्षण मॉडल सीखने के लिए तैयार करने के लिए उपयोग किया गया था। S3 बाल्टी पर पड़ी अंतिम CSV फ़ाइल से डेटा प्राप्त करने और इसे मान्य करने के लिए, कोड को boto3 क्लाइंट का उपयोग करके लिखा गया था ।

इसके अलावा, ग्राहक की ओर से, एक S3 बाल्टी में डेटा का एक हिस्सा संग्रहीत करने की आवश्यकता थी, दूसरे भाग में। इसके लिए, इस तरह की विश्वसनीयता को सत्यापित करने के लिए अतिरिक्त चेक लिखना भी आवश्यक था।

अन्य परियोजनाओं पर सामान्य अनुभव

एक इंजीनियर की डेटा गुणवत्ता गतिविधियों की सबसे सामान्यीकृत सूची का एक उदाहरण:

एक स्वचालित उपकरण के माध्यम से परीक्षण डेटा (वैध / अमान्य / बड़ा / छोटा) तैयार करें।
मूल स्रोत के लिए तैयार डेटासेट डाउनलोड करें और उपयोग के लिए इसकी तत्परता की जांच करें।
स्रोत भंडारण से अंतिम या मध्यवर्ती तक सेटिंग के एक विशिष्ट सेट का उपयोग करके डेटा सेट करने के लिए ETL प्रक्रिया लॉन्च करें (यदि संभव हो तो ETL कार्य के लिए कॉन्फ़िगर किए गए पैरामीटर सेट करें)।
ETL प्रक्रिया द्वारा संसाधित डेटा को उनकी गुणवत्ता और व्यावसायिक आवश्यकताओं के अनुपालन के लिए सत्यापित करें।

इसी समय, चेक का मुख्य जोर केवल इस तथ्य पर नहीं होना चाहिए कि सिस्टम में डेटा प्रवाह ने काम किया है और अंत तक पहुंच गया है (जो कार्यात्मक परीक्षण का हिस्सा है), लेकिन मुख्य रूप से अपेक्षित आवश्यकताओं के अनुपालन के लिए डेटा के सत्यापन और सत्यापन पर, विसंगतियों की पहचान करना और अन्य बातें।

उपकरण

इस तरह के डेटा नियंत्रण के लिए तकनीकों में से एक डेटा प्रोसेसिंग के प्रत्येक चरण में चेन चेक का संगठन हो सकता है, साहित्य में तथाकथित "डेटा चेन" - स्रोत से अंतिम उपयोग के बिंदु तक डेटा नियंत्रण। इस तरह के चेक एसक्यूएल प्रश्नों को मान्य करके अक्सर लागू किए जाते हैं। यह स्पष्ट है कि इस तरह के अनुरोध संभव के रूप में हल्के होने चाहिए और डेटा गुणवत्ता (तालिकाओं मेटाडाटा, रिक्त लाइनों, NULLs, वाक्य रचना में त्रुटियां - अन्य आवश्यक सत्यापन विशेषताओं) के व्यक्तिगत टुकड़ों की जांच करना चाहिए।

प्रतिगमन परीक्षण के मामले में, जो तैयार किए गए (अपरिवर्तनीय / थोड़ा परिवर्तनशील) डेटा सेट का उपयोग करता है, गुणवत्ता के खिलाफ डेटा की जांच के लिए तैयार किए गए टेम्पलेट (अपेक्षित तालिका मेटाडेटा का विवरण; परीक्षण के दौरान यादृच्छिक रूप से चुनी जा सकने वाली चुनिंदा वस्तुओं को ऑटोटेस्ट कोड में संग्रहीत किया जा सकता है) और इसी तरह)।

परीक्षण के दौरान, आपको Apache Airflow, Apache Spark या GCP Dataprep , GCP Dataflow जैसे ब्लैक-बॉक्स क्लाउड टूल जैसे चौखटों का उपयोग करके परीक्षण ETL प्रक्रियाएँ लिखनी होंगी ।और इसी तरह। यह परिस्थिति परीक्षण के इंजीनियर को उपरोक्त उपकरणों के सिद्धांतों में खुद को विसर्जित कर देती है और इससे भी अधिक प्रभावी ढंग से कार्यात्मक परीक्षण (उदाहरण के लिए, परियोजना पर मौजूदा ईटीएल प्रक्रियाएं) का संचालन करने के लिए और डेटा को सत्यापित करने के लिए उनका उपयोग करता है। विशेष रूप से, अपाचे एयरफ्लो में लोकप्रिय विश्लेषणात्मक डेटाबेस के साथ काम करने के लिए तैयार ऑपरेटर हैं, उदाहरण के लिए जीसीपी बिगविक । इसके उपयोग का सबसे बुनियादी उदाहरण पहले ही यहां दिया जा चुका है , इसलिए मैं इसे नहीं दोहराऊंगा।

तैयार समाधानों के अलावा, कोई भी आपको अपनी तकनीक और उपकरण बेचने से मना नहीं करता है। यह न केवल परियोजना के लिए उपयोगी होगा, बल्कि स्वयं डाटा क्वालिटी इंजीनियर के लिए भी उपयोगी होगा, जो इसके तकनीकी क्षितिज और कोडिंग कौशल को पंप करता है।

यह एक वास्तविक परियोजना पर कैसे काम करता है

"डेटा श्रृंखला", ईटीएल और सर्वव्यापी चेक के बारे में अंतिम पैराग्राफ का एक अच्छा चित्रण वास्तविक परियोजनाओं में से एक से निम्न प्रक्रिया है:

यहां, विभिन्न डेटा (स्वाभाविक रूप से हमारे द्वारा तैयार) हमारे सिस्टम के इनपुट "फ़नल" में आते हैं: मान्य, अमान्य, मिश्रित, आदि। एन।, फिर उन्हें फ़िल्टर्ड किया जाता है और एक मध्यवर्ती भंडारण में समाप्त हो जाता है, फिर वे फिर से परिवर्तनों की एक श्रृंखला की प्रतीक्षा कर रहे हैं और एक अंतिम भंडारण में रखा गया है, जिससे बदले में, एनालिटिक्स, डेटा मैपिंग और व्यावसायिक अंतर्दृष्टि की खोज की जाएगी। ऐसी प्रणाली में, ईटीएल प्रक्रियाओं के कार्यात्मक रूप से जांच के बिना, हम परिवर्तनों से पहले और बाद में डेटा की गुणवत्ता पर ध्यान केंद्रित करते हैं, साथ ही साथ एनालिटिक्स पर भी जाते हैं।

उपरोक्त स्थानों की परवाह किए बिना, जहां मैंने काम किया था, मैं हर जगह डेटा परियोजनाओं में शामिल था, जो निम्नलिखित विशेषताओं को मिलाते थे:

केवल स्वचालन के माध्यम से आप कुछ मामलों को सत्यापित कर सकते हैं और व्यापार के अनुकूल रिलीज चक्र प्राप्त कर सकते हैं।
इस तरह की परियोजना पर परीक्षक सबसे सम्मानित टीम के सदस्यों में से एक है, क्योंकि यह प्रत्येक प्रतिभागियों (त्वरित परीक्षण, डेटा वैज्ञानिक से अच्छा डेटा, शुरुआती चरणों में दोषों की पहचान) में बहुत लाभ पहुंचाता है।
इससे कोई फर्क नहीं पड़ता कि आप अपने हार्डवेयर पर काम करते हैं या बादलों में - सभी संसाधन एक क्लस्टर में जैसे कि हॉर्टनवर्क्स, क्लाउडा, मेसोस, कुबेरनेट्स इत्यादि में सारगर्भित हैं।
परियोजनाएं एक माइक्रोसॉर्स्क दृष्टिकोण, वितरित और समानांतर कंप्यूटिंग पर आधारित हैं।

मैं ध्यान देता हूं कि, डेटा गुणवत्ता के क्षेत्र में परीक्षण करते समय, परीक्षण विशेषज्ञ अपने पेशेवर फ़ोकस को उत्पाद कोड और उपयोग किए गए टूल में स्थानांतरित करता है।

डेटा गुणवत्ता परीक्षण की विशिष्ट विशेषताएं

इसके अलावा, अपने लिए, मैंने निम्नलिखित पर प्रकाश डाला (मैं तुरंत आरक्षण को सामान्यीकृत और विशेष रूप से व्यक्तिपरक बना दूंगा) डेटा (बिग डेटा) परियोजनाओं (सिस्टम) और अन्य क्षेत्रों में परीक्षण की विशिष्ट विशेषताएं:

उपयोगी कड़ियाँ

सिद्धांत: DAMA-DMBOK: डेटा प्रबंधन शरीर का ज्ञान: दूसरा संस्करण ।
EPAM प्रशिक्षण केंद्र
नौसिखिया डेटा गुणवत्ता इंजीनियर के लिए अनुशंसित सामग्री:

निष्कर्ष

डेटा क्वालिटी एक बहुत ही युवा होनहार क्षेत्र है, जिसका एक हिस्सा होना एक स्टार्टअप का हिस्सा होना है। डेटा गुणवत्ता में एक बार, आप मांग में बड़ी संख्या में आधुनिक तकनीकों से जुड़ेंगे, लेकिन सबसे महत्वपूर्ण बात - आपके पास अपने विचारों को उत्पन्न करने और लागू करने के लिए विशाल अवसर होंगे। आप न केवल परियोजना पर निरंतर सुधार के दृष्टिकोण का उपयोग कर सकते हैं, बल्कि खुद के लिए भी, लगातार एक विशेषज्ञ के रूप में विकसित कर रहे हैं।

बड़े और छोटे डेटा परीक्षक: रुझान, सिद्धांत, मेरी कहानी