👨🏼‍🎨 ⛩️ 👃🏽 घर में DataGovernance 🗑️ 🔂 🍫

नमस्कार, हेब्र!

डेटा कंपनी की सबसे मूल्यवान संपत्ति है। यह लगभग हर कंपनी द्वारा एक डिजिटल पूर्वाग्रह के साथ कहा गया है। यह तर्क करना कठिन है: डेटा के प्रबंधन, भंडारण और प्रसंस्करण के तरीकों पर चर्चा किए बिना, एक भी प्रमुख आईटी सम्मेलन नहीं हो रहा है।

डेटा बाहर से हमारे पास आता है, वे कंपनी के अंदर भी बनते हैं, और अगर हम दूरसंचार कंपनी के डेटा के बारे में बात करते हैं, तो आंतरिक कर्मचारियों के लिए यह ग्राहक, उसके हितों, आदतों, स्थान के बारे में जानकारी का भंडार है। सक्षम रूपरेखा और विभाजन के साथ, विज्ञापन की पेशकश सबसे अधिक कुशलता से होती है। हालांकि, व्यवहार में, सब कुछ इतना रसीला नहीं है। कंपनी द्वारा संग्रहीत डेटा निराशाजनक रूप से पुराना, निरर्थक, डुप्लिकेट हो सकता है, या इसके अस्तित्व के बारे में कोई नहीं जानता, सिवाय उपयोगकर्ताओं के एक संकीर्ण चक्र के। ¯ \ _ (ツ) _ / ツ

एक शब्द में, डेटा को प्रभावी ढंग से प्रबंधित करने की आवश्यकता है - केवल इस मामले में वे एक संपत्ति बन जाएंगे जो व्यवसाय के लिए वास्तविक लाभ और मुनाफा लाता है। दुर्भाग्य से, डेटा प्रबंधन के मुद्दों को हल करने के लिए, काफी कठिनाइयों को दूर करना होगा। वे मुख्य रूप से सिस्टम के "चिड़ियाघरों" के रूप में दोनों ऐतिहासिक विरासतों के कारण हैं, और उन्हें प्रबंधित करने के लिए सामान्य प्रक्रियाओं और दृष्टिकोणों की कमी है। लेकिन "डेटा का प्रबंधन" क्या मतलब है?

यही हम कट के नीचे के बारे में बात करेंगे, साथ ही साथ खुले स्रोत स्टैक ने हमें कैसे मदद की।

रणनीतिक डेटा प्रबंधन डेटा गवर्नेंस (डीजी) की अवधारणा पहले से ही रूसी बाजार में अच्छी तरह से जानी जाती है, और इसके कार्यान्वयन के परिणामस्वरूप व्यवसाय द्वारा प्राप्त लक्ष्य स्पष्ट और स्पष्ट रूप से कहा गया है। हमारी कंपनी कोई अपवाद नहीं थी और खुद को डेटा प्रबंधन की अवधारणा को लागू करने का कार्य निर्धारित किया।

तो हमने कहां से शुरुआत की? शुरू करने के लिए, हमने अपने लिए प्रमुख लक्ष्य बनाए हैं:

हमारे डेटा की उपलब्धता सुनिश्चित करें।
डेटा जीवन चक्र की पारदर्शिता सुनिश्चित करें।
कंपनी उपयोगकर्ताओं को लगातार, लगातार डेटा दें।
कंपनी उपयोगकर्ताओं को सत्यापित डेटा दें।

आज तक, सॉफ्टवेयर बाजार में डेटागवर्नेंस क्लास के एक दर्जन उपकरण हैं।

लेकिन एक विस्तृत विश्लेषण और समाधान के अध्ययन के बाद, हमने अपने लिए कई महत्वपूर्ण टिप्पणियाँ तय कीं:

अधिकांश निर्माता समाधानों का एक व्यापक सेट प्रदान करते हैं, जो हमारे लिए निरर्थक है और मौजूदा कार्यक्षमता को डुप्लिकेट करता है। इसके अलावा, वर्तमान आईटी परिदृश्य में संसाधन-महंगा एकीकरण।
कार्यक्षमता और इंटरफ़ेस प्रौद्योगिकीविदों के लिए अभिप्रेत है, अंतिम उपयोगकर्ता नहीं।
उत्पादों की कम उत्तरजीविता दर और रूसी बाजार में सफल कार्यान्वयन की कमी।
सॉफ्टवेयर की उच्च लागत और आगे रखरखाव।

रूसी कंपनियों के लिए सॉफ्टवेयर के आयात प्रतिस्थापन के बारे में ऊपर बताए गए मानदंड और सिफारिशें हमें ओपनसोर्स स्टैक पर अपने स्वयं के विकास की ओर जाने के लिए आश्वस्त करती हैं। एक मंच के रूप में, उन्होंने जिओगो को चुना, जो कि पाइथन में लिखा गया एक स्वतंत्र और मुक्त ढांचा है। और इस प्रकार, हमने अपने लिए प्रमुख मॉड्यूलों की पहचान की, जो ऊपर दिए गए लक्ष्यों में योगदान करेंगे:

रिपोर्ट का रजिस्टर।
-.
.
BI-.
.

बड़ी कंपनियों में आंतरिक अनुसंधान के परिणामों के अनुसार, डेटा से जुड़ी समस्याओं को हल करना, कर्मचारी 40-80% समय उनके लिए खोज करते हैं। इसलिए, हम खुद को मौजूदा रिपोर्टों के बारे में खुली जानकारी देने का काम करते हैं जो पहले केवल ग्राहकों के लिए उपलब्ध थीं। इस प्रकार, हम नई रिपोर्टिंग के गठन के लिए समय कम करते हैं और डेटा के लोकतंत्रीकरण को सुनिश्चित करते हैं।

रिपोर्ट का रजिस्टर विभिन्न क्षेत्रों, विभागों, विभागों से आंतरिक उपयोगकर्ताओं के लिए एकल रिपोर्टिंग विंडो बन गया है। यह कंपनी के कई कॉर्पोरेट भंडारण सुविधाओं में बनाई गई सूचना सेवाओं पर जानकारी को समेकित करता है, और रोस्टेलकॉम में उनमें से बहुत सारे हैं।

लेकिन रजिस्ट्री केवल विकसित रिपोर्टों की एक सूखी सूची नहीं है। प्रत्येक रिपोर्ट के लिए, हम उपयोगकर्ता को स्वतंत्र रूप से उसे जानने के लिए आवश्यक जानकारी प्रदान करते हैं:

;
;
;
;
;
- ;
;
;
.

रिपोर्टों के अनुसार, प्रयोज्य के स्तर के विश्लेषिकी उपलब्ध हैं, और रिपोर्ट अद्वितीय उपयोगकर्ताओं की संख्या के आधार पर लॉग एनालिटिक्स के आधार पर सूची में सबसे ऊपर आती हैं। और ऐसा नहीं है। सामान्य विशेषताओं के अलावा, हमने मूल्यों और गणना विधियों के उदाहरणों के साथ रिपोर्टों की विशेषता संरचना का विस्तृत विवरण भी प्रदान किया। इस तरह का विवरण पहले से ही तुरंत उपयोगकर्ता को एक जवाब देता है कि रिपोर्ट उसके लिए उपयोगी है या नहीं।

इस मॉड्यूल का विकास डेटा लोकतांत्रीकरण के संदर्भ में एक महत्वपूर्ण कदम था और आवश्यक जानकारी खोजने के लिए आवश्यक समय को काफी कम कर दिया। खोज समय को कम करने के अलावा, सलाह के लिए समर्थन टीम को कॉल की संख्या भी कम हो गई है। यह असंभव नहीं है कि हम एक और उपयोगी परिणाम को नोट करें, जो हमने अलग-अलग संरचनात्मक इकाइयों के लिए डुप्लिकेट रिपोर्टों के विकास को रोकते हुए - रिपोर्टों का एक ही रजिस्टर विकसित करके हासिल किया।

व्यापार शब्दावली

आप सभी जानते हैं कि एक ही कंपनी के भीतर भी, एक व्यवसाय विभिन्न भाषाएं बोलता है। हां, वे समान शर्तों का उपयोग करते हैं, लेकिन उनका मतलब पूरी तरह से अलग चीजों से है। इस समस्या को हल करने के लिए व्यावसायिक शब्दावली को बनाया गया है।

हमारे लिए, एक व्यापार शब्दावली केवल शब्दों के विवरण और गणना पद्धति के साथ एक मार्गदर्शिका नहीं है। यह शब्दावली के विकास, समन्वय और अनुमोदन के लिए एक पूर्ण पर्यावरण है, कंपनी के अन्य सूचना परिसंपत्तियों के साथ शर्तों के संबंध का निर्माण। व्यावसायिक शब्दावली में प्रवेश करने से पहले, शब्द को व्यावसायिक ग्राहकों और डेटा गुणवत्ता केंद्र के साथ समन्वय के सभी चरणों से गुजरना चाहिए। इसके बाद ही यह उपयोग के लिए उपलब्ध हो जाता है।

जैसा कि मैंने ऊपर लिखा था, इस उपकरण की विशिष्टता यह है कि यह आपको व्यवसाय शब्द के स्तर से विशिष्ट उपयोगकर्ता रिपोर्टों में कनेक्शन बनाने की अनुमति देता है जिसमें इसका उपयोग किया जाता है, साथ ही साथ भौतिक डेटाबेस ऑब्जेक्ट के स्तर पर भी।

यह रजिस्ट्री रिपोर्ट और भौतिक डेटाबेस ऑब्जेक्ट के विवरण के विस्तृत विवरण में शब्दावली शब्द पहचानकर्ताओं के उपयोग के माध्यम से संभव बनाया गया था।

अब शब्दावली में 4000 से अधिक शब्द परिभाषित और सहमत हैं। इसका उपयोग कंपनी की सूचना प्रणालियों में आने वाले परिवर्तन अनुरोधों के प्रसंस्करण को सरल और तेज करता है। यदि आवश्यक संकेतक पहले से ही किसी भी रिपोर्ट में लागू किया गया है, तो उपयोगकर्ता तुरंत तैयार रिपोर्ट का एक सेट देखेगा जहां इस सूचक का उपयोग किया गया है, और मौजूदा कार्यक्षमता के प्रभावी पुन: उपयोग या किसी नई रिपोर्ट के विकास के लिए नए अनुरोधों को शुरू किए बिना इसके न्यूनतम सुधार पर निर्णय लेने में सक्षम होगा।

तकनीकी परिवर्तन का विवरण मॉड्यूल और डेटालाइन

आप पूछते हैं, ये मॉड्यूल क्या हैं? यह केवल रिपोर्ट रजिस्ट्री और शब्दावली को लागू करने के लिए पर्याप्त नहीं है, फिर भी आपको भौतिक डेटाबेस मॉडल पर सभी व्यावसायिक शर्तों को पूरा करना होगा। इस प्रकार, हम डेटा वेयरहाउस की सभी परतों के माध्यम से सोर्स सिस्टम से BI विज़ुअलाइज़ेशन तक डेटा जीवन चक्र बनाने की प्रक्रिया को पूरा करने में सक्षम थे। दूसरे शब्दों में, एक डाटालाइन बनाएँ।

हमने नियमों और डेटा परिवर्तन तर्क के विवरण के लिए कंपनी द्वारा उपयोग किए गए प्रारूप के आधार पर एक इंटरफ़ेस विकसित किया। इंटरफ़ेस के माध्यम से, उसी जानकारी को पहले की तरह अधिग्रहीत किया जाता है, लेकिन व्यावसायिक शब्दावली से शब्द पहचानकर्ता का निर्धारण एक शर्त बन गया है। इसलिए हम व्यापार और भौतिक परतों के बीच संबंध बनाते हैं।

इसकी जरूरत किसे है? उस पुराने प्रारूप के अनुरूप नहीं था जिसके साथ उन्होंने कई वर्षों तक काम किया? आवश्यकताओं के निर्माण के लिए श्रम आवश्यकताओं में कितनी वृद्धि हुई है? हमें उपकरण को लागू करने की प्रक्रिया में ऐसे मुद्दों से निपटना था। यहां उत्तर काफी सरल हैं - हम सभी को इसकी आवश्यकता है, हमारी कंपनी और हमारे उपयोगकर्ताओं के डेटा कार्यालय।

वास्तव में, कर्मचारियों का पुनर्गठन किया जाना था, सबसे पहले यह दस्तावेज़ीकरण तैयार करने के लिए श्रम लागतों में महत्वहीन वृद्धि का कारण बना, लेकिन हमने इस मुद्दे का पता लगा लिया। समस्या क्षेत्रों के अभ्यास, पहचान और अनुकूलन ने अपना काम किया है। हमने मुख्य चीज हासिल की - हमने विकसित आवश्यकताओं की गुणवत्ता में सुधार किया। अनिवार्य फ़ील्ड, एकीकृत निर्देशिका, इनपुट मास्क, अंतर्निहित चेक - इन सभी ने परिवर्तन विवरणों की गुणवत्ता में काफी सुधार करना संभव बना दिया। हमने विकास आवश्यकताओं के रूप में लिपियों को स्थानांतरित करने का अभ्यास छोड़ दिया, साझा ज्ञान जो केवल विकास टीम के लिए उपलब्ध था। उत्पन्न मेटाडेटा डेटाबेस कई बार प्रतिगमन विश्लेषण करने के लिए आवश्यक समय को कम करता है, और आईटी परिदृश्य (स्टोरफ्रंट रिपोर्ट, एग्रीगेट, स्रोत) की किसी भी परत पर परिवर्तनों के प्रभाव का शीघ्रता से आकलन करने की क्षमता प्रदान करता है।

और साधारण रिपोर्ट उपयोगकर्ता कहां हैं, उनके लिए प्लसस क्या हैं? DataLineage बनाने की क्षमता के लिए धन्यवाद, हमारे उपयोगकर्ता, यहां तक कि जो SQL और अन्य प्रोग्रामिंग भाषाओं से दूर हैं, वे जल्दी से स्रोतों और वस्तुओं के बारे में जानकारी प्राप्त करते हैं, जिसके आधार पर यह या वह रिपोर्ट उत्पन्न होती है।

डेटा गुणवत्ता नियंत्रण मॉड्यूल

डेटा पारदर्शिता के बारे में हमने जो कुछ भी ऊपर बात की है वह यह समझे बिना महत्वपूर्ण नहीं है कि हम उपयोगकर्ताओं को जो डेटा देते हैं वह सही है। हमारी डेटा गवर्नेंस अवधारणा का एक महत्वपूर्ण मॉड्यूल डेटा गुणवत्ता नियंत्रण मॉड्यूल है।

वर्तमान स्तर पर, यह चयनात्मक संस्थाओं पर जाँच की एक सूची है। उत्पाद विकास का तात्कालिक लक्ष्य निरीक्षणों की सूची का विस्तार करना और रिपोर्टों की रजिस्ट्री के साथ एकीकरण करना है।
यह क्या और किसको देगा? रजिस्ट्री के अंतिम उपयोगकर्ता के लिए, रिपोर्ट की उपलब्धता की योजनाबद्ध और वास्तविक तारीखों पर जानकारी उपलब्ध होगी, डायनामिक्स के साथ पूर्ण निरीक्षण के परिणाम और रिपोर्ट पर अपलोड किए गए स्रोतों की जानकारी।

हमारे लिए, डेटा गुणवत्ता मॉड्यूल कार्य प्रक्रियाओं में एकीकृत है:

ग्राहकों की अपेक्षाओं का त्वरित गठन।
डेटा के भविष्य के उपयोग पर निर्णय लेना।
नियमित गुणवत्ता नियंत्रण के विकास के लिए काम के प्रारंभिक चरणों में समस्या के प्रारंभिक सेट को प्राप्त करना।

बेशक, ये एक पूर्ण डेटा प्रबंधन प्रक्रिया के निर्माण के पहले चरण हैं। लेकिन हमें यकीन है कि केवल उद्देश्यपूर्ण तरीके से इस काम को करने से, वर्कफ़्लो में DataGovernance टूल्स को सक्रिय रूप से पेश करके, हम अपने ग्राहकों को जानकारी, डेटा में एक उच्च स्तर का विश्वास, उनकी प्राप्ति में पारदर्शिता और नई कार्यक्षमता के आउटपुट की गति बढ़ाएंगे।

डेटाऑफ़िस टीम

घर में DataGovernance

व्यापार शब्दावली

तकनीकी परिवर्तन का विवरण मॉड्यूल और डेटालाइन

डेटा गुणवत्ता नियंत्रण मॉड्यूल

More articles: