🎑 👏🏻 🏒 वितरित डेटा जाल के लिए एक निर्बाध डेटा झील से पलायन 🍲 👨🏻‍🔧 🏮

हेलो, हेब्र! मैं आपको लेख के अनुवाद प्रस्तुत करता हूं " झामक देहगानी (झमक देगानी) (सभी चित्र उसी लेख से लिए गए हैं।

सभी बड़ी कंपनियां अब विशाल केंद्रीकृत डेटा वेयरहाउस बनाने की कोशिश कर रही हैं। या इससे भी अधिक विशाल क्लस्टर डेटा झीलों (एक नियम के रूप में, एक hdup पर)। लेकिन मुझे इस तरह के डेटा प्लेटफॉर्म के सफल निर्माण का एक भी उदाहरण नहीं पता है। हर जगह उन लोगों के लिए दर्द और पीड़ा है जो एक डेटा प्लेटफ़ॉर्म का निर्माण कर रहे हैं, और उपयोगकर्ताओं के लिए। नीचे दिए गए लेख में, लेखक (झमक देगानी) डेटा प्लेटफॉर्म के निर्माण के लिए पूरी तरह से नया दृष्टिकोण प्रदान करता है। यह चौथी पीढ़ी के डेटा प्लेटफ़ॉर्म का आर्किटेक्चर है जिसे डेटा मेश कहा जाता है। अंग्रेजी में मूल लेख पढ़ने के लिए बहुत ही कठिन और स्पष्ट है। अनुवाद भी बड़ा हो गया और पाठ बहुत सरल नहीं है: लंबे वाक्य, बल्कि शुष्क शब्दावली। मैंने शब्दांकन की सटीकता बनाए रखने के लिए लेखक के विचारों में सुधार नहीं किया।लेकिन मैं अत्यधिक अनुशंसा करता हूं कि आप अभी भी इस कठिन पाठ के माध्यम से प्राप्त करें और लेख पढ़ें। जो लोग डेटा से निपटते हैं, उनके लिए यह बहुत उपयोगी और बहुत दिलचस्प होगा।

एवेर्नी चर्नी

कई कंपनियां डेटा लेक की अगली पीढ़ी में कंपनी की व्यापक डेटा पहुंच को सरल बनाने और व्यावसायिक अंतर्दृष्टि प्रदान करने और उच्च गुणवत्ता वाले निर्णय लेने की क्षमता के साथ निवेश कर रही हैं। लेकिन डेटा प्लेटफ़ॉर्म के निर्माण के मौजूदा तरीकों में समान समस्याएं हैं जो हमें अपने लक्ष्यों को प्राप्त करने की अनुमति नहीं देती हैं। इन समस्याओं को हल करने के लिए, हमें एक केंद्रीकृत डेटा झील (या इसके पूर्ववर्ती, डेटा वेयरहाउस) के प्रतिमान को छोड़ने की आवश्यकता है। और आधुनिक वितरित वास्तुकला के आधार पर एक प्रतिमान पर आगे बढ़ें: व्यावसायिक डोमेन को प्रथम-स्तरीय प्राथमिकता के रूप में मानें, स्वयं-सेवा की क्षमता के साथ बुनियादी ढाँचा बनाने के लिए प्लेटफ़ॉर्म सोच को लागू करें और डेटा को उत्पाद के रूप में देखें।

सामग्री

एक बड़ी कंपनी में डेटा प्लेटफॉर्म की वर्तमान वास्तुकला
- समस्यात्मक वास्तु दृष्टिकोण
- domain driven
  - -
  - (data pipelines),
- - - (discoverable)
    - (addressable)
    - ,
- data- -
- एक मंच के रूप में केंद्रीकृत डेटा अवसंरचना
प्रतिमान डेटा जाल की ओर शिफ्ट

डेटा-संचालित संगठन का निर्माण उन कई कंपनियों के मुख्य रणनीतिक लक्ष्यों में से एक है, जिनके साथ मैं काम करता हूं। मेरे ग्राहक गुणवत्ता डेटा के आधार पर निर्णय लेने के लाभों से अच्छी तरह परिचित हैं: उच्चतम गुणवत्ता वाली ग्राहक सेवा, उच्च वैयक्तिकरण, अनुकूलन के कारण परिचालन लागत और समय को कम करना, कर्मचारियों को विश्लेषण और व्यावसायिक खुफिया उपकरण प्रदान करना। वे आधुनिक डेटा प्लेटफॉर्म के निर्माण में भारी निवेश करते हैं। लेकिन ऐसे प्लेटफार्मों के निर्माण में बढ़ते प्रयासों और निवेश के बावजूद, कई संगठन परिणामों को औसत दर्जे के रूप में देखते हैं।

संगठनों को डेटा-संचालित कंपनी में बदलने की प्रक्रिया में कई कठिनाइयों का सामना करना पड़ता है: विरासत प्रणालियों और विकास प्रणालियों के दशकों से मौजूदा संस्कृति से प्रतिरोध, और विभिन्न व्यावसायिक प्राथमिकताओं के बीच उच्च प्रतिस्पर्धा। जैसा कि यह हो सकता है, मैं आपके साथ एक वास्तुशिल्प दृष्टिकोण साझा करना चाहता हूं जो डेटा प्लेटफ़ॉर्म के निर्माण के क्षेत्र में कई पहलों की विफलता के कारणों को ध्यान में रखता है। मैं प्रदर्शित करूंगा कि डेटा क्षेत्र में वितरित आर्किटेक्चर के निर्माण में हम पिछले एक दशक के पाठों को कैसे अनुकूलित और लागू कर सकते हैं। मैंने इस नए वास्तुशिल्प दृष्टिकोण को डेटा मेष कहा है ।

आगे पढ़ने से पहले, मैं आपसे इस लेख को पढ़ते समय पारंपरिक डेटा प्लेटफॉर्म वास्तुकला के वर्तमान प्रतिमान द्वारा निर्धारित पूर्वाग्रहों को छोड़ने की कोशिश करने के लिए कहता हूं। एक जानबूझकर वितरित डेटा मेष वास्तुकला के लिए केंद्रीकृत डेटा झीलों से आगे बढ़ने की संभावना के लिए खुला रहें। स्वीकार करें कि डेटा स्वाभाविक रूप से वितरित और सर्वव्यापी है।

एक बड़ी कंपनी में डेटा प्लेटफॉर्म की वर्तमान वास्तुकला

डेटा लेक डेटा के केंद्रीकृत, अखंड और व्यवसाय-स्वतंत्र अर्थ के बारे में बात करते हैं।

लगभग हर ग्राहक जो मैं काम करता है या तो योजना बना रहा है या पहले से ही अपनी तीसरी पीढ़ी के डेटा प्लेटफॉर्म का निर्माण कर रहा है। पिछली पीढ़ियों की गलतियों को पहचानना।

पहली पीढ़ी: मालिकाना उद्यम डेटा गोदामों और व्यापार खुफिया प्लेटफार्मों। ये बड़ी रकम के लिए फैसले हैं, जो कंपनियों को समान रूप से बड़ी मात्रा में तकनीकी ऋण के साथ छोड़ देते हैं। तकनीकी ऋण हजारों असमर्थित ईटीएल नौकरियों, तालिकाओं और रिपोर्टों में है जो केवल विशेषज्ञों का एक छोटा समूह समझता है, जो व्यवसाय पर इस कार्यक्षमता के सकारात्मक प्रभाव को कम करके आंका जाता है।
दूसरी पीढ़ी: चांदी की गोली के रूप में डेटा लेक के साथ बिग डेटा इकोसिस्टम। अत्यधिक विशिष्ट डेटा इंजीनियरों की एक केंद्रीय टीम द्वारा समर्थित बड़े डेटा और लंबे समय तक चलने वाली बैच नौकरियों का एक जटिल पारिस्थितिकी तंत्र। सबसे अच्छा, आर एंड डी एनालिटिक्स के लिए उपयोग किया जाता है।

तीसरी पीढ़ी के डेटा प्लेटफॉर्म कमोबेश पिछली पीढ़ियों की तरह ही हैं, लेकिन इसके प्रति पूर्वाग्रह हैं

कप्पा जैसी वास्तुकला के साथ वास्तविक समय डेटा उपलब्धता प्रदान करने के लिए स्ट्रीमिंग ,
अपाचे बीम जैसे चौखटे का उपयोग करके डेटा को बदलने के लिए बैच और स्ट्रीमिंग प्रोसेसिंग का संयोजन ,
डेटा भंडारण और प्रसंस्करण और क्लाउड मशीन लर्निंग प्लेटफार्मों के लिए क्लाउड सेवाओं का उपयोग।

तीसरी पीढ़ी का डेटा प्लेटफॉर्म पिछली पीढ़ियों की कुछ समस्याओं को दूर करता है, जैसे कि वास्तविक समय डेटा विश्लेषण, और एक बड़े डेटा इन्फ्रास्ट्रक्चर के प्रबंधन की लागत को भी कम करता है। हालांकि, कई अंतर्निहित विशेषताएं जो पिछली पीढ़ियों की विफलताओं के कारण थीं, अभी भी संरक्षित हैं।

चित्र 1: डेटा प्लेटफ़ॉर्म की तीन जेनरेशन

समस्यात्मक वास्तु दृष्टिकोण

उन बुनियादी सीमाओं को उजागर करने के लिए जो सभी पीढ़ियों के डेटा प्लेटफ़ॉर्म अपने आप में हैं, आइए उनकी वास्तुकला और विशेषताओं को देखें। इस लेख में, मैं अपनी अवधारणाओं को समझाने के लिए एक उदाहरण के रूप में इंटरनेट मीडिया (जैसे Spotify, SoundCloud, Apple iTunes) के व्यापार का उपयोग करूंगा।

केंद्रीकृत और अखंड

10,000 मीटर की ऊँचाई से, डेटा प्लेटफ़ॉर्म का आर्किटेक्चर नीचे चित्र 2 जैसा दिखता है।

चित्र 2: एक अखंड डेटा प्लेटफ़ॉर्म पर 10,000 मीटर की ऊँचाई से देखें।

वास्तुकला का केंद्रीय भाग इसके लिए ज़िम्मेदार है:

(to ingest) , , . , , : ; ; ; , ; ( ..).
, , , . , , — .
(to serve) . machine learning BI . , . , Kafka.

डिफ़ॉल्ट रूप से, आम तौर पर स्वीकृत अनुबंध तथ्य यह है कि अखंड डेटा प्लेटफ़ॉर्म स्टोर करता है और डेटा का मालिक होता है जो विभिन्न व्यावसायिक डोमेन से संबंधित होता है। उदाहरण के लिए, 'प्ले इवेंट्स', 'सेल्स KPI', 'आर्टिस्ट्स', 'एल्बम', 'लेबल', 'ऑडियो', 'पॉडकास्ट', 'म्यूजिक इवेंट्स', आदि। - बड़ी संख्या में असमान डोमेन से डेटा।

इस तथ्य के बावजूद कि पिछले एक दशक में हमने अपने सूचना प्रणाली के डिजाइन के लिए डोमेन ड्रिवेन डिजाइन (और इसके प्रमुख बाउंडेड कॉन्टेक्ट पैटर्न ) की अवधारणा को सफलतापूर्वक लागू किया है , हमने डेटा प्लेटफार्मों के डिजाइन में इन अवधारणाओं को काफी हद तक नजरअंदाज कर दिया है। हमने व्यावसायिक डोमेन के स्तर पर डेटा स्वामित्व से व्यावसायिक डोमेन की परवाह किए बिना डेटा स्वामित्व पर स्थानांतरित कर दिया है। हमें गर्व हैजिसने सबसे बड़ा मोनोलिथ - बिग डेटा प्लेटफ़ॉर्म बनाया।

चित्र 3: विभिन्न व्यावसायिक डोमेन से डेटा के बीच स्पष्ट सीमाओं के बिना एक केंद्रीकृत डेटा प्लेटफ़ॉर्म। और व्यवसाय डोमेन द्वारा प्रासंगिक डेटा के स्वामित्व के बिना,

इस तरह का एक केंद्रीकृत मॉडल उन छोटे संगठनों के लिए काम कर सकता है जिनके पास सरल व्यापार डोमेन और सीमित डेटा खपत विकल्प हैं। लेकिन यह बड़ी और जटिल व्यावसायिक डोमेन वाली बड़ी कंपनियों के लिए उपयुक्त नहीं है, बड़ी संख्या में डेटा स्रोत और उपभोक्ताओं के डेटा के साथ काम करने के लिए विविध आवश्यकताएं हैं।

एक केंद्रीकृत डेटा प्लेटफॉर्म की वास्तुकला और संरचना में दो कमजोर लिंक हैं, जो अक्सर इसे बनाने की प्रक्रिया में विफलता का कारण बनते हैं:

बड़ी संख्या में स्रोत और बड़ी मात्रा में डेटा. , , . , . . , , , . , data scientists . , ( ) , . , – - .
. . , . .

यहां मुझे यह स्पष्ट करने की आवश्यकता है कि मैं विखंडित प्रणाली के गहराई में छिपे खंडित, असमान डेटा का उपयोग करने के पक्ष में नहीं बोल रहा हूं। ऐसा डेटा जिसका पता लगाना, समझना और उपयोग करना मुश्किल है। मैं एक ही संगठन के भीतर कई असमान डेटा वेयरहाउस का समर्थन नहीं करता, जो कई वर्षों के संचित तकनीकी ऋण का परिणाम हैं। लेकिन मेरा तर्क है कि इस तरह के दुर्गम खंडित डेटा का उत्तर एक केंद्रीकृत टीम के साथ एक केंद्रीकृत डेटा प्लेटफ़ॉर्म बनाने के लिए नहीं है जो सभी व्यावसायिक डोमेन के डेटा को संग्रहीत और स्वामित्व करता है।

यह दृष्टिकोण बड़े संगठनों में नहीं है, जैसा कि ऊपर दिखाया गया है।

अत्यधिक जुड़ा हुआ कन्वेयर अपघटन

चित्र 4: डेटा प्लेटफ़ॉर्म का आर्किटेक्चरल अपघटन डेटा प्लेटफ़ॉर्म

के पारंपरिक आर्किटेक्चर के साथ दूसरी समस्या यह है कि हम आर्किटेक्चर को कैसे विघटित करते हैं। यदि यह डेटा प्लेटफ़ॉर्म की वास्तुकला से 3,000 मीटर ऊपर गिरता है, तो हम लोडिंग, सफाई, एकत्रीकरण, सेवा डेटा आदि के कार्यों के आसपास एक वास्तु अपघटन पाएंगे। जैसा कि पिछले अनुभाग में वर्णित है, नए स्रोतों और नए उपभोक्ताओं को जोड़ने की आवश्यकता के लिए एक प्लेटफॉर्म वृद्धि की आवश्यकता है। आर्किटेक्ट्स को वास्तुशिल्प क्वांटा में तोड़कर सिस्टम को स्केल करने का एक तरीका खोजना होगा। वास्तुकला क्वांटम, जैसा कि पुस्तक " बिल्डिंग इवोल्यूशनरी आर्किटेक्चर " में वर्णित है", उच्च कार्यात्मक कनेक्टिविटी के साथ एक स्वतंत्र रूप से तैनात घटक है, जिसमें सिस्टम के सही संचालन के लिए आवश्यक सभी संरचनात्मक तत्व शामिल हैं। सिस्टम को आर्किटेक्चरल क्वांटा में विभाजित करने की प्रेरणा मुख्य रूप से स्वतंत्र टीमों को बनाने में शामिल है, जिनमें से प्रत्येक अपने स्वयं के वास्तु क्वांटम (कार्यात्मक सबसिस्टम) का निर्माण और रखरखाव करता है। यह आपको काम को समानांतर बनाने और गति और परिचालन मापनीयता को बढ़ाने की अनुमति देता है।

डेटा प्लेटफ़ॉर्म की पिछली पीढ़ियों से प्रभावित, आर्किटेक्ट प्लेटफ़ॉर्म को डेटा प्रोसेसिंग चरणों की एक श्रृंखला में विभाजित करते हैं। यह एक पाइपलाइन है जो डेटा प्रोसेसिंग को लागू करता है: लोड करना, तैयार करना, एकत्र करना, पहुंच प्रदान करना / उतारना, आदि।

हालाँकि यह विभाजन स्केलिंग का एक निश्चित स्तर प्रदान करता है, इसमें एक आंतरिक सीमा भी होती है जो प्लेटफ़ॉर्म पर नई कार्यक्षमता के विकास को धीमा कर देती है: पाइपलाइन के चरणों के बीच एक उच्च कनेक्टिविटी होती है, जो व्यक्तिगत टीमों के काम की आवश्यक स्वतंत्रता के लिए अनुमति नहीं देती है।

आइए हमारे स्ट्रीमिंग मीडिया उदाहरण पर वापस जाएं। इंटरनेट पर स्ट्रीमिंग मीडिया प्लेटफ़ॉर्म में उनके द्वारा ऑफ़र किए जाने वाले मीडिया के प्रकार के आसपास एक मजबूत डोमेन डिज़ाइन होता है। वे अक्सर "गाने" और "एल्बम" के साथ अपनी सेवाएं शुरू करते हैं, और फिर "संगीत की घटनाओं", "पॉडकास्ट", "रेडियो शो", "फिल्मों", आदि के लिए लागू होते हैं, एक नई सुविधा को सक्षम करना, उदाहरण के लिए, "पॉडकास्ट" के लिए दृश्यता प्ले दर ”, पाइपलाइन के सभी घटकों में बदलाव की आवश्यकता है। "पॉडकास्ट दर" की दृश्यता को जोड़ने के लिए टीमों को डेटा लोड करने, सफाई करने और एकत्र करने (एकत्रीकरण सहित) के लिए नई सेवाओं को विकसित करने की आवश्यकता है। इसके लिए विभिन्न कार्यात्मक टीमों के रिलीज के बीच सिंक्रनाइज़ेशन की आवश्यकता होती है। कई डेटा प्लेटफ़ॉर्म कॉन्फ़िगरेशन-आधारित डाउनलोड टूल का उपयोग करते हैं जो ऐसे कार्यों को आसानी से संभाल सकते हैं।जैसे नए स्रोतों को जोड़ना या मौजूदा का विस्तार करना। लेकिन यह डेटा प्रोसेसिंग पाइपलाइन के सभी चरणों में एंड-टू-एंड रिलीज़ प्रबंधन की आवश्यकता को समाप्त नहीं करता है। किसी भी नए डेटा तक पहुंच प्रदान करने के लिए उपयोगकर्ताओं को प्रदान करने के लिए न्यूनतम वास्तुकला इकाई को बदलना होगा। और यह नए डेटा स्रोतों और उपयोगकर्ताओं के उद्भव के जवाब में डेटा प्लेटफ़ॉर्म के विकास की गति और पैमाने को बढ़ाने की हमारी क्षमता को महत्वपूर्ण रूप से सीमित करता है।और यह नए डेटा स्रोतों और उपयोगकर्ताओं के उद्भव के जवाब में डेटा प्लेटफ़ॉर्म के विकास की गति और पैमाने को बढ़ाने की हमारी क्षमता को महत्वपूर्ण रूप से सीमित करता है।और यह नए डेटा स्रोतों और उपयोगकर्ताओं के उद्भव के जवाब में डेटा प्लेटफ़ॉर्म के विकास की गति और पैमाने को बढ़ाने की हमारी क्षमता को महत्वपूर्ण रूप से सीमित करता है।

अलग और अति विशिष्ट टीमें

आधुनिक डेटा प्लेटफ़ॉर्म के साथ तीसरी समस्या यह है कि हम प्लेटफ़ॉर्म बनाने और बनाए रखने वाली टीमों की संरचना कैसे करते हैं। जब हम किसी पारंपरिक डेटा प्लेटफ़ॉर्म के आर्किटेक्चर पर कम चलते हैं, तो हम उन संगठनात्मक इकाइयों से अलग किए गए विशेष रूप से विशिष्ट डेटा इंजीनियरों के एक समूह को देखेंगे जिसमें डेटा निर्णय लेने के लिए बनाया या उपयोग किया जाता है। डेटा प्लेटफ़ॉर्म इंजीनियरों को अलग-अलग टीमों में केवल उनकी तकनीकी दक्षता और बड़े डेटा प्रौद्योगिकियों के साथ अनुभव के आधार पर चुना जाता है। संबंधित विषय क्षेत्रों (व्यावसायिक डोमेन) का व्यावसायिक ज्ञान ऐसी टीमों में अनुपस्थित है।

चित्र 5: बिखरे हुए विशेष रूप से विशिष्ट डेटा प्लेटफ़ॉर्म टीमों

व्यक्तिगत रूप से, मैं डेटा प्लेटफ़ॉर्म इंजीनियरों के जीवन से ईर्ष्या नहीं करता। उन्हें ऐसी टीमों से डेटा प्राप्त करना चाहिए जिनके पास गुणवत्ता और सही डेटा प्रदान करने के लिए कोई प्रोत्साहन नहीं है। उन्हें उस डेटा के व्यावसायिक अर्थ की समझ की कमी है जिसे आपको डाउनलोड करना है। उन्हें इस डेटा के उपयोग के क्षेत्र में विशेषज्ञों की पहुंच के बिना और इस डेटा के उपयोग के बिना स्पष्ट समझ के बिना, विश्लेषणात्मक और परिचालन जरूरतों को पूरा करने के लिए डेटा तैयार करना होगा।

यह ध्यान दिया जाना चाहिए कि हम पहले टीम जुदाई की एक समान समस्या का सामना कर चुके हैं। और वे इस समस्या का एक सफल समाधान खोजने में सक्षम थे।

मल्टीमीडिया स्ट्रीमिंग के साथ हमारे उदाहरण में, हमारे पास "मीडिया प्लेयर" कमांड है, जो डेटा का मालिक है कि उपयोगकर्ता खिलाड़ी के साथ कैसे बातचीत करते हैं: ऐसे गाने जो उपयोगकर्ता सुनते हैं, खरीदारी करते हैं, उन गीतों की ऑडियो गुणवत्ता जो वे सुनते हैं, आदि। दूसरी ओर, प्रासंगिक डेटा के उपभोक्ताओं की टीम हैं: गीत की सिफारिशों की एक टीम; बिक्री निगरानी टीम; कलाकार भुगतान टीम, आदि और उनके बीच, एक डेटा प्लेटफ़ॉर्म के डेवलपर्स की एक उदास टीम, जो महान प्रयास की कीमत पर, एक टीम से डेटा प्राप्त करती है और सभी उपभोक्ताओं को (प्रारंभिक प्रसंस्करण के बाद) तक पहुंच प्रदान करती है।

वास्तव में, हमारे पास डेटा स्रोतों की बिन बुलाए टीम है और डेटा उपभोक्ताओं की निराश टीम है, जिन्हें डेटा प्लेटफॉर्म विकास टीम के बैकलॉग के शीर्ष पर एक जगह के लिए लड़ना है।

हमने एक वास्तुकला और संगठनात्मक संरचना बनाई है जो आवश्यक मापनीयता प्रदान नहीं करती है और डेटा-संचालित संगठन के निर्माण के लक्ष्यों को प्राप्त करने में सक्षम नहीं है।

नेक्स्ट-जेनेरेशन डेटा प्लेटफॉर्म आर्किटेक्चर

और उन समस्याओं का समाधान क्या है जिनकी हमने ऊपर चर्चा की थी? मेरी राय में, एक बदलाव की जरूरत है। आधुनिक स्केलेबल वितरित वास्तुकला के निर्माण में एक महत्वपूर्ण भूमिका निभाने वाले तरीकों के प्रतिच्छेदन पर एक बदलाव और जिसे प्रौद्योगिकी उद्योग ने एक त्वरित गति से कार्यान्वित किया है। सफल परिणाम प्राप्त करने वाले तरीके।

मेरा मानना है कि अगला एंटरप्राइज डेटा प्लेटफॉर्म आर्किटेक्चर डिस्ट्रीब्यूटेड डोमेन ड्रिवेन आर्किटेक्चर, डिजाइन सेल्फ सर्विस प्लेटफॉर्म और डेटा के लिए प्रोडक्ट थिंकिंग को एकीकृत करना है।

चित्र 6: अगली पीढ़ी के डेटा प्लेटफ़ॉर्म प्रतिमान को स्थानांतरित करना।

मैं समझता हूं कि यह एक वाक्य में बहुत सारे buzzwords की तरह लग सकता है, लेकिन इनमें से प्रत्येक घटक का हमारी सूचना प्रणालियों की तकनीकी नींव को बदलने पर एक अविश्वसनीय सकारात्मक प्रभाव पड़ा है। आइए देखें कि हम पिछली पीढ़ी के डेटा गोदामों के निर्माण के कई वर्षों से स्थानांतरित किए गए वर्तमान प्रतिमान से दूर जाने के लिए इन विषयों में से प्रत्येक को डेटा दुनिया में कैसे लागू कर सकते हैं।

डेटा और वितरित डोमेन संचालित वास्तुकला

व्यापार डोमेन अभिविन्यास पर आधारित डेटा का अपघटन और स्वामित्व

एरिक इवांस की पुस्तक, डोमेन-ड्रिवेन डिज़ाइन , समकालीन स्थापत्य सोच पर गहरा प्रभाव डालती है और इसलिए, संगठनात्मक मॉडलिंग। नए माइक्रोसॉफ़्ट आर्किटेक्चर ने सूचना सेवाओं को वितरित सेवाओं में विघटित कर दिया जो विशिष्ट व्यावसायिक डोमेन की सीमाओं के भीतर निर्मित हैं। इस तरह से टीमों के गठन के तरीके को मौलिक रूप से बदल दिया गया: अब से, एक टीम स्वतंत्र रूप से और स्वायत्त रूप से अपने माइक्रोसर्विसेज का मालिक हो सकती है।

दिलचस्प बात यह है कि हमने डेटा के क्षेत्र में व्यावसायिक डोमेन की अवधारणा को नजरअंदाज कर दिया। डेटा प्लेटफ़ॉर्म आर्किटेक्चर में डोमेन ड्रिवेन डिज़ाइन का एप्लिकेशन आना: यह बिजनेस डोमेन इवेंट्स का उभरना हैसूचना प्रणालियों में और उन्हें अखंड डेटा प्लेटफ़ॉर्म में लोड करना। हालाँकि, डेटा को केंद्रीकृत संग्रहण पर अपलोड किए जाने के बाद, विभिन्न टीमों द्वारा विभिन्न व्यावसायिक डोमेन से डेटा के स्वामित्व की अवधारणा खो जाती है।

एक अखंड डेटा प्लेटफ़ॉर्म को विकेंद्रीकृत करने के लिए, आपको डेटा, इसके स्थान और स्वामित्व के बारे में सोचने के तरीके को बदलने की आवश्यकता है। डेटा को डेटा लेक या प्लेटफ़ॉर्म पर स्थानांतरित करने के बजाय, डोमेन को अपने डेटा सेट को उपयोगकर्ता के अनुकूल तरीके से संग्रहीत और बनाए रखना चाहिए।

हमारे उदाहरण में, रिपॉजिटरी सपोर्ट टीम द्वारा आगे की प्रक्रिया के लिए मीडिया प्लेयर से केंद्रीकृत रिपॉजिटरी में डेटा लोड करने के बजाय, डोमेन के भीतर इन डेटा सेट को स्टोर और प्रोसेस क्यों नहीं किया जाता और किसी अन्य टीम को उन तक पहुंच नहीं दी जाती? जिस स्थान पर ये डेटा सेट भौतिक रूप से संग्रहीत किए जाएंगे, उसी स्थान पर आप अपनी इच्छानुसार तकनीकी रूप से डोमेन के भीतर कार्यान्वित हो सकते हैं। बेशक, आप एक केंद्रीकृत वास्तुकला का उपयोग कर सकते हैं, लेकिन मीडिया खिलाड़ियों का डेटा स्वयं उसी डोमेन की टीम के स्वामित्व और समर्थन में रहेगा जिसमें यह डेटा उत्पन्न होता है। इसी तरह, हमारे उदाहरण में, गीत अनुशंसाएँ विकास डोमेन मीडिया प्लेयर के डेटा के आधार पर प्रारूप में डेटा सेट बना सकती हैं जो उपयोग के लिए सबसे अच्छा है (उदाहरण के लिए, ग्राफ संरचनाओं के रूप में)। यदि अन्य टीमें हैं,जो इस प्रारूप को सुविधाजनक और उपयोगी मानते हैं, वे इसका उपयोग भी कर सकते हैं।

यह, निश्चित रूप से, इसका मतलब है कि हम विभिन्न डोमेन में डेटा को डुप्लिकेट कर सकते हैं जब हम उनके प्रारूप को एक विशेष उपभोक्ता के अनुरूप बदलते हैं।

इस प्रक्रिया को स्केल करने के लिए डेटा (ETL या स्ट्रीमिंग के माध्यम से) से सभी डोमेन के लिए हमारी सोच में बदलाव की आवश्यकता है। डोमेन ओरिएंटेड डेटा प्लेटफ़ॉर्म में आर्किटेक्चरल क्वांटम एक व्यावसायिक डोमेन है, न कि डेटा लोड करने और बदलने का चरण।

चित्र 7: व्यावसायिक डोमेन और डेटा-ऑनिंग टीमों के आधार पर एक वास्तुकला का अपघटन।

स्रोत डोमेन डेटासेट

कुछ व्यापार डोमेन डेटा स्रोतों (सूचना प्रणाली) के साथ अच्छी तरह से संरेखित हैं। आदर्श मामले में, सूचना प्रणाली और इसके साथ मौजूद टीम न केवल व्यावसायिक कार्यक्षमता को जोड़ने और समर्थन करने के लिए जिम्मेदार है, बल्कि संबंधित व्यवसाय डोमेन के तथ्यों और वास्तविकता का वर्णन करने वाले डेटासेट भी प्रदान करती है। हालांकि, एक बड़े संगठन के पैमाने पर, एक नियम के रूप में, व्यापार डोमेन और सूचना प्रणाली के बीच कोई अस्पष्ट पत्राचार नहीं है। एक नियम के रूप में, प्रत्येक डोमेन के लिए कई सूचना प्रणालियां हैं जो किसी दिए गए डोमेन की विभिन्न व्यावसायिक प्रक्रियाओं को स्वचालित करती हैं और तदनुसार, इससे संबंधित डेटा संग्रहीत करती हैं। ऐसे डोमेन के लिए, पूरे व्यापार डोमेन में संगत और संरेखित डेटा सेट प्राप्त करने के लिए डेटा को एकीकृत और एकीकृत करने की आवश्यकता है।

एक व्यावसायिक डोमेन का वर्णन करने वाले तथ्यों को संग्रहीत करने के लिए सबसे अच्छा प्रारूप डोमेन ईवेंट है । उन्हें टाइमस्टैम्प के साथ वितरित इवेंट लॉग के रूप में संग्रहीत किया जा सकता है। इस लॉग को अधिकृत उपभोक्ताओं तक पहुंच प्रदान की जा सकती है।

इन लॉग के अलावा, डेटा स्रोतों को अपने डोमेन में प्रमुख डेटासेट के आवधिक स्नैपशॉट भी प्रदान करने होंगे। इस तरह की छवियां अलग-अलग समय अंतराल के लिए हैं जो आपके डोमेन के लिए परिवर्तनों के अंतराल को दर्शाती हैं (आमतौर पर एक दिन / सप्ताह / माह / तिमाही, आदि)।

कृपया ध्यान दें कि उपभोक्ताओं के लिए तैयार किए गए व्यावसायिक डोमेन डेटा सेट को स्रोतों के आंतरिक डेटा सेट (जो सूचना प्रणाली अपने काम के लिए उपयोग करती है) से अलग किया जाना चाहिए। उन्हें बड़े डेटा के साथ काम करने के लिए उपयुक्त शारीरिक रूप से अलग जगह पर संग्रहित किया जाना चाहिए। इसके बाद, यह वर्णित किया जाएगा कि इस तरह के डेटा वेयरहाउस और सर्विस इन्फ्रास्ट्रक्चर कैसे बनाएं।

उपभोक्ताओं के लिए तैयार डोमेन-विशिष्ट डेटासेट पूरे आर्किटेक्चर के सबसे बुनियादी तत्व हैं। वे रूपांतरित नहीं होते हैं और एक विशिष्ट उपभोक्ता के अनुरूप नहीं होते हैं, लेकिन कच्चे और असंसाधित डेटा होते हैं।

उपभोक्ता डोमेन डेटासेट

अन्य डोमेन डेटा उपभोक्ताओं से निकटता से संबंधित हैं। ऐसे डोमेन के डेटा सेट इस तरह से बनाए जाते हैं कि, जब उपयोग किया जाता है, तो वे उपयोगकर्ता परिदृश्यों के संबंधित सेट को फिट करते हैं। ये डेटासेट स्रोत डोमेन डेटासेट से भिन्न होते हैं। यह कच्चा डेटा नहीं है, लेकिन डेटा परिवर्तन के कई चरणों से गुजरा है। इन डेटा सेटों की संरचना और उनकी प्रस्तुति उनके उपयोग के विशिष्ट मामलों के अनुरूप है। उन। यह एक केंद्रीकृत भंडार में विशेष डेटा मौसा का एक एनालॉग है। उपभोक्ता डोमेन के ऐसे डेटा सेट के लिए (उपभोक्ता डोमेन डेटासेट) कच्चे डेटा से तेजी से पुनर्प्राप्ति की संभावना प्रदान की जानी चाहिए।

वितरित डोमेन के भीतर कार्यान्वित डेटा पाइपलाइन

हमारी नई वास्तुकला में डेटा का स्वामित्व केंद्रीय प्लेटफ़ॉर्म से व्यावसायिक डोमेन के भीतर टीमों के लिए भेजा जाता है, लेकिन डेटा की सफाई, तैयारी और एकत्रीकरण (डेटा पाइपलाइन का उपयोग करके) की आवश्यकता गायब नहीं होती है। इसलिए, अपनी स्वयं की डेटा पाइपलाइन का कार्यान्वयन व्यवसाय डोमेन टीम का आंतरिक कार्य बन जाता है। परिणामस्वरूप, हम सभी डोमेन पर वितरित अपने स्वयं के डोमेन डेटा पाइपलाइन प्राप्त करते हैं।

उदाहरण के लिए, स्रोत डोमेन में डेटा क्लींजिंग, डुप्लिकेट निष्कासन, डेटा संवर्धन आदि शामिल होना चाहिए, ताकि अन्य डोमेन इस डेटा का उपयोग बिना पूर्व प्रसंस्करण के कर सकें। डेटा गुणवत्ता के संदर्भ में इस तरह के प्रत्येक डेटा सेट को अपने सेवा स्तर के उद्देश्य का पालन करना चाहिए।

इसी प्रकार, डेटा को संसाधित करने के लिए एक केंद्रीकृत पाइपलाइन के विशेष शोकेस के निर्माण के चरण उपभोक्ता डोमेन डेटासेट बनाने वाले उपभोक्ता डोमेन के स्वयं के डेटा पाइपलाइन में जाते हैं।

चित्र 8: अपने डोमेन के भीतर कार्यान्वित डेटा प्रोसेसिंग पाइपलाइनों को वितरित करें

ऐसा लग सकता है कि इस तरह के मॉडल से डेटा प्रोसेसिंग पाइपलाइन के अपने स्वयं के कार्यान्वयन को बनाने के लिए प्रत्येक डोमेन में प्रयासों का एक बड़ा दोहराव होगा। हम इस मुद्दे पर "एक प्लेटफॉर्म के रूप में केंद्रीकृत डेटा इन्फ्रास्ट्रक्चर" अनुभाग में बात करेंगे।

डेटा और उत्पाद सोच

डेटा डोमेन के विकास और रखरखाव के लिए जिम्मेदारी और डेटा प्रोसेसिंग पाइपलाइनों के स्वामित्व का हस्तांतरण व्यावसायिक डोमेन के पक्ष में इस तरह के वितरित डेटा सेटों की निरंतर उपलब्धता और उपयोग में आसानी के बारे में गंभीर चिंता का कारण हो सकता है। इसलिए, यहां हम डेटा के संबंध में उपयोगी उत्पाद सोच में आते हैं।

एक उत्पाद के रूप में डोमेन डेटा

पिछले दस वर्षों में, उत्पाद की सोच ने संगठनों की सूचना प्रणालियों के विकास में गहराई से प्रवेश किया है और इस विकास के दृष्टिकोण को गंभीरता से बदल दिया है। सूचना प्रणालियों के विकास के लिए डोमेन टीमें एपीआई के रूप में नई क्षमताएं प्रदान करती हैं जो डेवलपर्स उच्च आदेश कार्यक्षमता और उच्च मूल्य बनाने के लिए बिल्डिंग ब्लॉक के रूप में संगठनों में उपयोग करते हैं। टीमें स्पष्ट और विस्तृत प्रलेखन के माध्यम से अपने एपीआई के उपयोगकर्ताओं के लिए सबसे अच्छा अनुभव बनाने का प्रयास करती हैं जो उपयोगकर्ताओं के लिए उपयोग करना आसान है; परीक्षण वातावरण ध्यान से गुणवत्ता संकेतकों पर नज़र रखी।

वितरित डेटा प्लेटफ़ॉर्म सफल होने के लिए, डेटा डोमेन की डेटा-टीम को डेटासेट प्रदान करने के संबंध में उत्पाद सोच को लागू करना चाहिए: डेटा को वे उत्पाद के रूप में तैयार करते हैं, और उपभोक्ता (विश्लेषक, डेटा वैज्ञानिक, डेटा इंजीनियर, एमएल विशेषज्ञ) आदि) अपने ग्राहकों के रूप में।

चित्र 9: उत्पादों के रूप में डोमेन डेटासेट की विशेषताएं

हमारे उदाहरण पर विचार करें - इंटरनेट पर मीडिया सामग्री स्ट्रीमिंग। सबसे महत्वपूर्ण व्यावसायिक डोमेन प्रजनन की कहानी है: किसके द्वारा, कहाँ, कब और कौन से गाने सुने गए। इस डोमेन में संगठन के भीतर विभिन्न प्रमुख डेटा उपभोक्ता हैं। उपयोगकर्ता अनुभव और किसी भी समस्या और प्लेबैक त्रुटियों का समय पर पता लगाने का अध्ययन करने के लिए वास्तविक समय मोड के पास डेटा की आवश्यकता होती है। दूसरों को दिन या महीने द्वारा एकत्र किए गए ऐतिहासिक स्नैपशॉट में रुचि है। इसलिए, हमारा डोमेन दो स्वरूपों में डेटा प्रदान करता है: स्ट्रीमिंग फॉर्मेट में प्लेबैक इवेंट (स्ट्रीमिंग, काफ्का में विषय या ऐसा कुछ) और बैच फॉर्मेट (फाइल, हाइव में टेबल आदि) में एग्रीगेटेड प्लेबैक इवेंट।

उपभोक्ताओं के लिए सर्वोत्तम उपयोगकर्ता अनुभव प्रदान करने के लिए, व्यापार डोमेन डेटा उत्पादों में निम्नलिखित मुख्य विशेषताएं होनी चाहिए।

पता लगाने की सुविधा और आसानी (खोज योग्य)

यह उन परिस्थितियों को सुनिश्चित करने के लिए आवश्यक है जिनके तहत किसी भी डेटा-उत्पाद को आसानी से पाया जा सकता है। इस आवश्यकता का सबसे आम कार्यान्वयन एक रजिस्ट्री की उपस्थिति है - आवश्यक मेटा-जानकारी (जैसे कि मालिक, उत्पत्ति के स्रोत, डेटा सेट के नमूने, अद्यतन आवृत्ति, डेटा सेट की संरचना, आदि) के साथ सभी उपलब्ध डेटा-उत्पादों की एक सूची। इस तरह की एक केंद्रीकृत सेवा डेटा उपभोक्ताओं को आसानी से उस डेटा सेट को खोजने की अनुमति देती है जिसमें वे रुचि रखते हैं। किसी भी व्यावसायिक डोमेन के प्रत्येक डेटा उत्पाद को एक केंद्रीकृत डेटा निर्देशिका में पंजीकृत होना चाहिए।

कृपया ध्यान दें कि एक एकल केंद्रीकृत प्लेटफ़ॉर्म से एक बदलाव है जो विभिन्न डेटा डोमेन के डेटा उत्पादों को वितरित करने के लिए सभी डेटा का मालिक है जो एकल डेटा निर्देशिका में पंजीकृत हैं।

अद्वितीय पता (पता करने योग्य)

प्रत्येक डेटा-उत्पाद में एक अद्वितीय पता होना चाहिए (वैश्विक समझौते के अनुसार), जो अपने उपभोक्ताओं को इसके लिए प्रोग्रामेटिक एक्सेस प्राप्त करने की अनुमति देगा। डेटा के भौतिक संग्रहण के उपलब्ध तरीकों और डेटा के स्वरूपों के आधार पर संगठन डेटा उत्पादों और उनके स्थान के नाम पर विभिन्न समझौतों को अपना सकते हैं। वितरित विकेन्द्रीकृत वास्तुकला के लिए, इस तरह के सामान्य सम्मेलन आवश्यक हैं। डेटा उत्पादों को खोजने और एक्सेस करने पर डेटासेट एड्रेस मानक घर्षण को खत्म कर देंगे।

आँकड़े की गुणवत्ता

कोई भी एक उत्पाद का उपयोग नहीं करेगा जो विश्वसनीय नहीं है। वर्तमान पीढ़ी के डेटा प्लेटफ़ॉर्म में, त्रुटियों वाले डेटा को डाउनलोड करना और प्रकाशित करना और संपूर्ण व्यावसायिक सत्य को प्रतिबिंबित नहीं करना व्यापक है, अर्थात। ऐसा डेटा जिस पर भरोसा नहीं किया जा सकता। यह इस भाग में है कि ईटीएल नौकरियों की एक महत्वपूर्ण संख्या केंद्रित है, जो लोड होने के बाद स्पष्ट डेटा है।

नए आर्किटेक्चर को डेटा उत्पादों के मालिकों को डेटा की सटीकता, विश्वसनीयता और प्रासंगिकता के संदर्भ में एसएलओ (सर्विस लेवल ऑब्जेक्टिव) को अपनाने की आवश्यकता होती है। स्वीकार्य गुणवत्ता सुनिश्चित करने के लिए, डेटा उत्पाद बनाने के चरण में डेटा सफाई और स्वचालित डेटा अखंडता परीक्षण जैसे तरीकों का उपयोग करना आवश्यक है। प्रत्येक डेटा उत्पाद के मेटाडेटा में डेटा वंश पर जानकारी उपभोक्ताओं को उत्पाद में अतिरिक्त विश्वास और विशिष्ट आवश्यकताओं के लिए इसकी उपयुक्तता प्रदान करती है।

डेटा गुणवत्ता संकेतक (या स्वीकार्य सीमा) का लक्ष्य मूल्य किसी विशेष व्यवसाय डोमेन के डेटा उत्पाद के आधार पर भिन्न होता है। उदाहरण के लिए, "रीप्ले ईवेंट" डोमेन दो अलग-अलग उत्पाद प्रदान कर सकता है: एक वास्तविक समय मोड में निकट स्तर पर सटीकता के निम्न स्तर के साथ (याद किए गए या दोहराए जाने वाले घटनाओं सहित); और दूसरी अधिक लंबी देरी और उच्च स्तर की डेटा गुणवत्ता के साथ। प्रत्येक डेटा-उत्पाद SLO (सेवा स्तर उद्देश्य) के एक सेट के रूप में अपने डेटा की अखंडता और विश्वसनीयता के लक्ष्य स्तर को परिभाषित करता है और बनाए रखता है।

शब्दार्थ और डेटा सिंटैक्स का स्पष्ट विवरण

गुणवत्ता वाले उत्पादों का उपयोग करना आसान होना चाहिए। विश्लेषकों, इंजीनियरों और डेटा वैज्ञानिकों द्वारा उपयोग किए जाने वाले डेटा उत्पादों को यथासंभव सरल बनाना, अच्छी तरह से वर्णित शब्दार्थ और डेटा सिंटैक्स की उपस्थिति की आवश्यकता है। आदर्श रूप में, नमूना डेटासेट उदाहरण के रूप में प्रदान किए जाते हैं।

डाटा इंटग्रैबिलिटी एंड ऑर्गनाइजेशन-वाइड स्टैंडर्ड्स

एक वितरित डोमेन संचालित डेटा आर्किटेक्चर में मुख्य समस्याओं में से एक विभिन्न डोमेन से डेटा को एकीकृत करने की आवश्यकता है। डोमेन के बीच आसान और कुशल डेटा एकीकरण की कुंजी नियमों और मानकों को परिभाषित करना और उनका पालन करना है। इस तरह के मानकों को संगठन स्तर पर परिभाषित किया जाना चाहिए। उनके आवेदन के लिए स्वीकार्य डेटा प्रकार और नियमों के निर्धारण के क्षेत्र में मानकीकरण की आवश्यकता है, डेटा उत्पादों के नाम और पते, मेटाडेटा प्रारूप आदि पर कन्वेंशन।

उन संस्थाओं के लिए जिन्हें एक अलग रूप में संग्रहीत किया जा सकता है और विभिन्न डोमेन में विशेषताओं के एक अलग सेट के साथ, मास्टर प्रबंधन प्रबंधन के अभ्यास को लागू करना आवश्यक है। उन्हें वैश्विक पहचानकर्ता असाइन करें और सेट को संरेखित करें और, सबसे महत्वपूर्ण, सभी डोमेन के बीच मानों को विशेषता दें।

संगठन के स्तर पर डेटा उत्पादों को संग्रहीत करने और प्रस्तुत करने के लिए मानकों को परिभाषित करने के साथ-साथ उनके प्रभावी एकीकरण के लिए डेटा की अंतर को सुनिश्चित करना, इस तरह के वितरित प्रणालियों के निर्माण के बुनियादी सिद्धांतों में से एक है।

डेटा सुरक्षा और अभिगम नियंत्रण

आर्किटेक्चर केंद्रीकृत है या नहीं, इसकी परवाह किए बिना डेटा तक सुरक्षित पहुंच सुनिश्चित करना जरूरी है। विकेंद्रीकृत व्यापार डोमेन-उन्मुख डेटा उत्पादों की दुनिया में, प्रत्येक डेटा सेट के लिए ग्रैन्युलैरिटी की उच्च डिग्री के साथ एक्सेस कंट्रोल (और लागू किया जाना चाहिए) है। डेटा एक्सेस कंट्रोल नीतियों को केंद्रीय रूप से परिभाषित किया जा सकता है, लेकिन प्रत्येक डेटा उत्पाद के लिए अलग से लागू किया जाता है। डेटा सेट तक पहुंच नियंत्रण को लागू करने के लिए एक सुविधाजनक तरीके के रूप में, आप एंटरप्राइज़ आइडेंटिटी मैनेजमेंट सिस्टम और रोल-आधारित एक्सेस कंट्रोल का उपयोग कर सकते हैं ।

अगला, एक एकल बुनियादी ढांचे का वर्णन किया जाएगा, जो आपको प्रत्येक डेटा उत्पाद के लिए उपरोक्त सुविधाओं को आसानी से और स्वचालित रूप से लागू करने की अनुमति देता है।

क्रॉस-फंक्शनल बिजनेस डोमेन डेटा कमांड

डेटा उत्पाद और डेटा इंजीनियर के स्वामी: डेटा उत्पादों के रूप में डेटा प्रदान करने वाली टीमों में निम्नलिखित भूमिकाओं का प्रतिनिधित्व किया जाना चाहिए।

डेटा उत्पाद का मालिक अवधारणा और रोडमैप, अपने उत्पादों के जीवन चक्र के लिए जिम्मेदार है। अपने ग्राहकों की संतुष्टि को मापता है और अपने व्यवसाय डोमेन के डेटा की गुणवत्ता को लगातार मापता है और सुधारता है। यह डेटा उपभोक्ताओं की आवश्यकताओं के साथ अपने डेटा उत्पादों के बैकलॉग को भरता है और संतुलित करता है।

इसके अलावा, डेटा उत्पाद मालिकों को अपने उत्पादों के लिए प्रमुख मीट्रिक और प्रदर्शन संकेतक (KPI) को परिभाषित करना होगा। उदाहरण के लिए, अपने आप को परिचित करने और उपयोगकर्ता द्वारा डेटा उत्पाद का उपयोग शुरू करने के लिए आवश्यक समय इनमें से एक मैट्रिक्स हो सकता है।

व्यवसाय डोमेन के अंदर अपनी स्वयं की डेटा पाइपलाइन बनाने और बनाए रखने के लिए, टीम में डेटा इंजीनियर शामिल होना चाहिए। इसका एक अच्छा दुष्प्रभाव व्यापार डोमेन के भीतर प्रासंगिक कौशल का प्रसार होगा। मेरी टिप्पणियों के अनुसार, वर्तमान में कुछ डेटा इंजीनियर, हालांकि अपने उपकरणों और प्रौद्योगिकियों का उपयोग करने में सक्षम हैं, जब डेटा उत्पाद बनाने की बात आती है तो मानक सॉफ़्टवेयर विकास प्रथाओं का ज्ञान नहीं होता है। सबसे पहले, इस तरह के DevOps निरंतर वितरण और स्वचालित परीक्षण के रूप में अभ्यास करते हैं। दूसरी ओर, सॉफ्टवेयर डेवलपर जो सूचना प्रणाली विकसित करते हैं, अक्सर एक उत्पाद के रूप में डेटा के साथ काम करने के लिए प्रौद्योगिकियों और उपकरणों के क्षेत्र में पर्याप्त अनुभव और ज्ञान नहीं होता है।व्यावसायिक डोमेन के भीतर उन्हें मल्टीफंक्शनल टीमों में शामिल करने से व्यापक प्रोफ़ाइल के विशेषज्ञों का उदय होगा। हमने देवो के विकास के दौरान कुछ इसी तरह का अवलोकन किया जब नए प्रकार के इंजीनियर दिखाई दिए, जैसे किSRE ।

चित्र 10: कार्यात्मक डोमेन डेटा कमांड क्रॉस करें

एक मंच के रूप में केंद्रीकृत डेटा अवसंरचना

डेटा प्लेटफ़ॉर्म के वितरित डोमेन संचालित वास्तुकला के संवेदनशील पहलुओं में से एक डेटा पाइपलाइनों में उपयोग किए जाने वाले बुनियादी ढांचे और प्रौद्योगिकी स्टैक को संचालित करने के लिए आवश्यक प्रयासों और कौशल के प्रत्येक डोमेन में दोहराव की आवश्यकता है। सौभाग्य से, एक मंच के रूप में एक सामान्य बुनियादी ढांचे का निर्माण एक ऐसा कार्य है जिसे आईटी में हल करना अच्छी तरह से सीखा जाता है (लेकिन डेटा के साथ काम करने के क्षेत्र में नहीं)।

डेटा इन्फ्रास्ट्रक्चर टीम को अपने डेटा उत्पादों को इकट्ठा करने, संसाधित करने और संग्रहीत करने के लिए व्यवसाय डोमेन के लिए आवश्यक उपकरण के रूप में खुद को प्रदान करना चाहिए।

चित्र 11: एक मंच के रूप में डेटा इन्फ्रास्ट्रक्चर

प्लेटफ़ॉर्म के रूप में डेटा इन्फ्रास्ट्रक्चर किसी भी डोमेन-विशिष्ट अवधारणाओं या व्यावसायिक तर्क से मुक्त होना चाहिए। इसके अलावा, प्लेटफ़ॉर्म को उपयोगकर्ताओं से इसके कार्यान्वयन की जटिलता को छिपाना चाहिए और स्वयं-सेवा मोड में उपयोग के लिए इसकी कार्यक्षमता की अधिकतम मात्रा प्रदान करना चाहिए। यहाँ कुछ विशेषताओं की एक सूची दी गई है जो एक केंद्रीकृत डेटा अवसंरचना जैसे कि एक मंच प्रदान करना चाहिए:

विभिन्न स्वरूपों में स्केलेबल डेटा स्टोरेज
डेटा एन्क्रिप्शन (यहाँ हैशिंग, प्रतिरूपण आदि)
डेटा उत्पादों का संस्करण
डेटा उत्पाद डेटा स्कीमा संग्रहीत करना
डेटा एक्सेस कंट्रोल
लॉगिंग
थ्रेड्स / डेटा प्रोसेसिंग प्रक्रियाओं का ऑर्केस्ट्रेशन
इन-मेमोरी कैशिंग
मेटाडेटा और डेटा वंश संग्रह
निगरानी, अलर्ट, लॉगिंग
डेटा उत्पादों के लिए गुणवत्ता मैट्रिक्स की गणना
डेटा कैटलॉग रखरखाव
मानकीकरण और नीतियां, अनुपालन को नियंत्रित करने की क्षमता
डेटा उत्पादों को संबोधित करना
डेटा उत्पादों के लिए CI / CD पाइपलाइन

एक केंद्रीकृत डेटा बुनियादी ढांचे का निर्माण करते समय, यह सुनिश्चित करना आवश्यक है कि इस तरह के बुनियादी ढांचे पर डेटा उत्पाद के निर्माण में यथासंभव कम समय लगता है। इसलिए, मुख्य कार्यक्षमता का अधिकतम स्वचालन बहुत महत्वपूर्ण है, जैसे: सरल कॉन्फ़िगरेशन का उपयोग करके डेटा डाउनलोड करने की क्षमता, डेटा निर्देशिका में एक डेटा उत्पाद का स्वत: पंजीकरण, आदि। क्लाउड इन्फ्रास्ट्रक्चर का उपयोग परिचालन लागत को कम कर सकता है और मांग पर डेटा इन्फ्रास्ट्रक्चर तक पहुंच प्रदान करने की गति को बढ़ा सकता है।

प्रतिमान डेटा जाल की ओर शिफ्ट

यह एक लंबा पढ़ा था! आइए संक्षेप में ऊपर लिखे गए सभी चीजों को संक्षेप में प्रस्तुत करें। हमने आधुनिक डेटा प्लेटफार्मों की कुछ प्रमुख विशेषताओं की जांच की: केंद्रीकृत, अखंड, जटिल डेटा पाइपलाइन (सैकड़ों और हजारों नौकरियों के साथ एक दूसरे से जुड़े हुए), संकीर्ण रूप से विशिष्ट टीमों को अलग करते हैं। जब हम एक नए डेटा जाल दृष्टिकोण के बारे में बात करते हैं, जिसमें होस्टिंग के लिए एक सामान्य डेटा अवसंरचना का उपयोग करके क्रॉस-फ़ंक्शनल टीमों (डेटा उत्पादों और डेटा इंजीनियरों के मालिकों के साथ) द्वारा प्रबंधित व्यावसायिक डोमेन पर केंद्रित डेटा उत्पाद शामिल हैं।

डेटा मेष एक वितरित आर्किटेक्चर है, जिसमें केंद्रीकृत प्रबंधन और विकसित मानक हैं जो डेटा पूर्णता सुनिश्चित करते हैं, और एक केंद्रीकृत बुनियादी ढांचे के साथ जो स्वयं-सेवा के उपयोग की अनुमति देता है। मुझे आशा है कि पाठक काफी स्पष्ट है कि इस तरह की वास्तुकला दुर्गम डेटा के शिथिल युग्मित भंडारण के सेट से बहुत दूर है, स्वतंत्र रूप से विभिन्न विभागों में विकसित की गई है।

चित्रा 12: 10,000 मीटर से डेटा मेष वास्तुकला

आप पूछ सकते हैं: डेटा लेक या डेटा वेयरहाउस इस वास्तुकला में कैसे फिट बैठता है? वे इस वितरित वास्तुकला में बस अलग नोड्स (डोमेन) हैं। एक उच्च संभावना है कि इस तरह की वास्तुकला में हमें अब डेटा झील की आवश्यकता नहीं होगी। आखिरकार, हमारे पास विभिन्न व्यावसायिक डोमेन के मूल डेटा पर शोध करने के लिए एक्सेस होगा, जिसे डेटा-उत्पादों के रूप में डिज़ाइन किया जाएगा।

तदनुसार, डेटा लेक अब पूरी वास्तुकला का केंद्रीय तत्व नहीं है। लेकिन हम डेटा लेक बनाने के लिए उपयोग की जाने वाली तकनीकों और उपकरणों का उपयोग करना जारी रखेंगे, या तो एक आम डेटा इन्फ्रास्ट्रक्चर बनाने के लिए, या हमारे डेटा-उत्पादों के आंतरिक कार्यान्वयन के लिए।

यह वास्तव में हमें वापस लाता है जहां यह सब शुरू हुआ। जेम्स डिक्सन2010 में उन्होंने एक व्यावसायिक डोमेन के लिए डेटा लेक का उपयोग करने का इरादा किया, और कई डेटा डोमेन वॉटर गार्डन का निर्माण करेंगे।

मुख्य प्रतिमान पारी व्यापार डोमेन डेटा उत्पाद को पहली प्राथमिकता वाले कार्य के रूप में और दूसरी प्राथमिकता वाले कार्य के रूप में औजारों और तकनीकों को लागू करना है (कार्यान्वयन विवरण के रूप में)। यह एक केंद्रीकृत डेटा झील से डेटा मॉडल के पारिस्थितिकी तंत्र में मानसिक मॉडल को मोड़ने के लिए है जो एक दूसरे के साथ मूल और कुशलता से एकीकृत करते हैं।

रिपोर्टिंग और विज़ुअलाइज़ेशन के बारे में कुछ शब्द (बीआई उपकरण आदि का उपयोग करके)। एक ही सिद्धांत उन पर लागू होता है: इस वास्तुकला में वे अलग-अलग नोड हैं। उन। वे एक व्यवसाय डोमेन के भीतर स्वतंत्र डेटा-उत्पाद हैं, मुख्य रूप से उपभोक्ता पर केंद्रित है, और डेटा स्रोत पर नहीं।

मैं स्वीकार करता हूं कि यद्यपि मैं अपने ग्राहकों द्वारा डेटा मेष सिद्धांतों के सफल अनुप्रयोग को देखता हूं, इन सिद्धांतों को बड़े संगठनों में स्केल करना एक लंबा रास्ता तय करना है। लेकिन प्रौद्योगिकी स्पष्ट रूप से यहाँ एक सीमा नहीं है। आज हम जो भी उपकरण उपयोग करते हैं, वे सभी अलग-अलग टीमों द्वारा डेटा उत्पादों के वितरण और स्वामित्व के लिए समान रूप से उपयोग किए जा सकते हैं। विशेष रूप से, पैकेट और स्ट्रीम डेटा प्रोसेसिंग नौकरियों के मानकीकरण के लिए संक्रमण, साथ ही अपाचे बीम या Google क्लाउड डेटाफ़्लो जैसे उपकरणों का उपयोग , अद्वितीय पतों के साथ विभिन्न डेटा सेटों को संसाधित करना आसान बनाता है।

डेटा कैटलॉग प्लेटफ़ॉर्म जैसे Google क्लाउड डेटा कैटलॉग, वितरित व्यापार डोमेन के डेटा सेटों की खोज में आसानी, अभिगम नियंत्रण और केंद्रीकृत प्रबंधन प्रदान करते हैं। बड़ी संख्या में क्लाउड प्लेटफ़ॉर्म व्यापार डोमेन को अपने डेटा-उत्पादों के लक्षित भंडारण के लिए उपयुक्त चुनने की अनुमति देता है।

एक प्रतिमान बदलाव की आवश्यकता स्पष्ट है। इसके लिए सभी आवश्यक तकनीकें और उपकरण हैं। व्यावसायिक अधिकारियों और डेटा प्रोसेसिंग पेशेवरों को यह स्वीकार करना चाहिए कि वर्तमान बिग डेटा प्रतिमान और एक बड़े डेटा लेक प्लेटफ़ॉर्म के साथ दृष्टिकोण केवल अतीत की विफलताओं को दोहराएगा, नए क्लाउड प्रौद्योगिकियों और टूल का उपयोग करेगा।

आइए एक केंद्रीकृत अखंड डेटा प्लेटफ़ॉर्म से डेटा उत्पादों के एक पारिस्थितिकी तंत्र की ओर बढ़ें।

विषय पर प्राथमिक स्रोतों और अतिरिक्त सामग्रियों के लिंक

martinfowler.com/articles/data-monolith-to-mesh.html
www.youtube.com/watch?v=On4WBHOaP4c
softwareengineeringdaily.com/2019/07/29/data-mesh-with-zhamak-deghani
www.dataengineeringpodcast.com/zhamak-dehghani-data-mesh-episode-90
www.infoq.com/presentations/data-mesh-paradigm
www.infoq.com/podcasts/domain-oriented-data
fast.wistia.net/embed/iframe/vys2juvzc3?videoFoam (वीडियो, वीपीएन के माध्यम से उपलब्ध)

वितरित डेटा जाल के लिए एक निर्बाध डेटा झील से पलायन