🤜🏻 🤢 💱 पेट्रोकेमिकल्स में डेटा-संचालित की विशेषताएं 👨‍🎓 👨🏻‍🎤 ❎

किसी भी व्यवसाय को बनाते समय, उसके प्रत्येक विभाजन को स्वचालित करता है। एक नियम के रूप में, उनके बीच अंत-से-अंत डेटा प्रवाह एकल हैं। यह इस तथ्य की ओर जाता है कि डेटा की एक दूसरे के साथ तुलना नहीं की जा सकती, क्योंकि प्रत्येक विभाग उन्हें अपने तरीके से मानता है। कोई समस्या नहीं अगर आप पूरी कंपनी के लिए कुछ मेट्रिक्स एकत्र करते हैं, लेकिन जब एंड-टू-एंड संकेतक, पूर्वानुमान या मॉडलिंग और अनुकूलन समस्याओं को हल करने की बात आती है, तो अराजकता शुरू होती है।

डेटा वेयरहाउसिंग (DWH) कोई नई कहानी नहीं है। परंपरागत रूप से, उनका उपयोग रिपोर्टिंग के लिए किया गया है। लेकिन DWH डेटा पर एंड-टू-एंड बिजनेस प्रक्रियाओं का पूर्ण मॉडलिंग और पूर्वानुमान अपेक्षाकृत हाल ही में शुरू हुआ। एकत्र किए गए डेटा का उपयोग करते हुए, आधुनिक विश्लेषण उपकरण न केवल ड्रॉप-डाउन विंडो के साथ डैशबोर्ड बनाने के लिए संभव बनाते हैं, बल्कि एक पूरे के रूप में पूरे उद्यम के लिए गेम थ्योरी एल्गोरिदम को स्केल करने के लिए प्रत्येक विशेषता के लिए पूर्वानुमान और अनुकूलन एल्गोरिदम भी सेट करते हैं। और वास्तविक डेटा पर व्यवसाय के आगे विकास के बारे में परिकल्पना का निर्माण और तुरंत परीक्षण भी करते हैं।

और ऐसा लगता है जैसे सब कुछ बहुत अच्छा लग रहा है। लेकिन सभी कंपनियां प्रमुख विशेषज्ञों (Booking.com, Amazon.com) से एक उदाहरण लेने की जल्दी में नहीं हैं और हमेशा की तरह काम करना जारी रखती हैं। तो उन्हें क्या रोक रहा है? कम से कम, डेटा प्रोसेसिंग टूल में बड़े पैमाने पर निवेश की व्यवहार्यता को समझने, डेटा विवरण प्रक्रियाओं को लागू करने की श्रमसाध्यता, नई भूमिकाओं का उभरना (डेटा की गुणवत्ता, डेटा इंजीनियरों और वास्तुकारों, आदि के लिए जिम्मेदार डेटा क्यूरेटर), डेटा प्रबंधन को लागू करने के आर्थिक प्रभाव पर विचार करना सीखते हैं। , स्पष्ट रूप से लागत के ड्राइवरों को अलग करना, कार्यालय को आत्मनिर्भर बनाना, कंपनी की रणनीति के साथ सामंजस्य स्थापित करना और उन लोगों को चुनना जो कंपनी को आगे बढ़ाएंगे, और बहुत कुछ।

मेरा नाम विक्टोरिया क्रासनोवा है, मैं SIBUR के कॉर्पोरेट डेटा प्रबंधन का प्रमुख हूं। मेरे सहयोगी, डेटा गवर्नेंस टीम के लीडर, रिनाट अब्दुरखमानोव के साथ, हम आपको बताएंगे कि हम इसे कैसे करते हैं।

जब बड़े खुदरा विक्रेताओं (वॉलमार्ट) ने डिजिटलीकरण करना शुरू किया, तो उन्हें यह पता लगाना था कि कौन से डिजिटल पैरों के निशान और कलाकृतियां एक व्यावसायिक प्रक्रिया को पीछे छोड़ देती हैं और अगले को इनपुट के रूप में लिया जाता है। यही है, एंड-टू-एंड व्यापार प्रक्रिया का वर्णन करें। किसी अन्य कंपनी के डिजिटलीकरण के लिए भी इसकी आवश्यकता है। इस अनुरोध का उत्तर देने का एक तरीका डेटा प्रबंधन और डेटा वास्तुकला की अवधारणा है।

एक अर्थ में, इसका मतलब है: एक स्थान पर सबसे महत्वपूर्ण और बहुत महत्वपूर्ण कंपनी डेटा एकत्र नहीं करना, इसे स्पष्ट भाषा में वर्णन करना, व्यावसायिक प्रक्रियाओं से लिंक करना और इस डेटा तक पहुंच के उपयोगकर्ता-अनुकूल तरीके बनाना।

डेटा आर्किटेक्चर, इसके अन्य कार्यों के बीच, "यह कहां माना जाता है?", "क्या माना जाता है?", "" यह क्यों माना जाता है? "," गुणवत्ता के लिए जिम्मेदार कौन है? " और "यह कहाँ स्थित है, यह किस प्रणाली में है?"।

यह महत्वपूर्ण है कि इन प्रश्नों के उत्तर व्यवसाय से अलग हों। यह अक्सर ऐसा होता है: विश्लेषक एक परिकल्पना का परीक्षण करना चाहता है। ऐसा करने के लिए, उसे अपने मालिक से आवश्यक डेटा के लिए जाने और पूछने की ज़रूरत है, यह साबित करें कि यह क्यों और क्यों आवश्यक है और महत्वपूर्ण है, इस पर आधा दिन खर्च करें। बेहतरीन परिदृश्य। और अंत में इंकार कर दिया। क्यों? क्योंकि डेटा स्वामी डेटा तक पहुँच प्रदान करने और उनके बाद के प्रसार के लिए ज़िम्मेदार है, क्योंकि यह ज्ञात नहीं है कि विश्लेषक द्वारा डेटा की व्याख्या कैसे की जाएगी और यह उसके अनुरूप नहीं हो सकता है, आदि।

इसलिए, ऐसी संरचना और तर्क का निर्माण करना आवश्यक है जो सहज हो, समान नियमों के अनुसार काम करेगा और तत्काल कार्यों से या तो स्वयं या डेटा स्वामी को विचलित नहीं करेगा।

इन उद्देश्यों के लिए, एक तार्किक डेटा मॉडल उत्कृष्ट है - एक लचीली भूमिका मॉडल के साथ संयोजन में, तकनीकी विवरण का विवरण देने की व्यावसायिक भाषा में डेटा का विवरण। इस मामले में, विश्लेषक कंपनी में अपनी भूमिका के आधार पर रिपॉजिटरी और डेटा सेट तक पहुंच प्राप्त करता है। और वह सामान्य ज्ञान के आधार पर आवश्यक डेटा सेट एकत्र करता है, न कि इस ज्ञान पर कि 2005 में एक निश्चित कॉमरेड ने कंपनी में काम किया, जिसमें फ़ाइल में आवश्यक डेटा शामिल है।

संरचना के लिए ऐसा दृष्टिकोण लोगों को जल्दी से विश्लेषण करने की अनुमति देता है, डेटा को तुलनीय बनाता है, और परिणामस्वरूप माध्यमिक लाभ प्राप्त करने की अनुमति देता है - चरणों में पूरे व्यवसाय को डिजिटल बनाने के लिए।

हमारे सामने क्या चुनौतियां हैं

SIBUR में, कुछ प्रक्रियाओं को काफी अच्छी तरह से डिजिटाइज़ किया जाता है, उदाहरण के लिए, विपणन, वित्त, आपूर्ति श्रृंखला प्रबंधन, उत्पादन डेटा और उत्पादन संयंत्र के लिए डेटा की तैयारी बाईपास। बाकी सब कुछ अधिक जटिल है, क्योंकि SIBUR एक चक्र के साथ एक उत्पादन है जिसमें, व्यापार के दृष्टिकोण से, उसी गति से जानकारी एकत्र करने की आवश्यकता नहीं है, जैसी कि खुदरा, दूरसंचार या बैंकों में आवश्यक है। तदनुसार, डेटा के विश्लेषण में गति का मुद्दा भी नहीं उठाया गया था। लेकिन मुश्किल - असंभव का मतलब नहीं है। इस वर्ष हम प्रक्रियाओं को अनुकूलित करने, डेटा गणना को अधिक पारदर्शी बनाने, निर्णय लेने के लिए डेटा ट्रांसफर दर में वृद्धि करने की योजना बनाते हैं, और जहां संभव हो, प्रक्रियाओं के सभी चरणों में डिजिटल ट्रैक एकत्र करना शुरू करते हैं।

निर्णय लेने के लिए डिजिटल कंपनियां अत्यधिक सटीक और तेज़ क्यों हैं? क्योंकि उनके पास गलती करने के लिए व्यावहारिक रूप से कोई मार्जिन नहीं है यदि डेटा अचानक गलत हो जाता है। उत्पादन में, सब कुछ अलग है - यह बंद नहीं होगा, अगर एनालिटिक्स के डेटा में कोई अशुद्धि है तो पौधे खड़े नहीं होंगे। इसलिए, डेटा आर्किटेक्चर बहुत बल है, जो हर चीज के विपरीत है, डिजिटल दिशा में उत्पादन का नेतृत्व करता है। और डेटा प्रबंधन एक पुस्तकालय है जो आपको पूरे कंपनी में डेटा के प्रवाह को कारगर बनाने की अनुमति देता है।

हाल ही में, हमने एक लाइन लॉन्च की जो डेटा विवरण से संबंधित है। हालांकि हम डेटा का वर्णन करने के लिए एक उपकरण की तलाश में हैं, स्टोर और आराम से विवरणों तक पहुंच सकते हैं। यदि विवरण के लिए उपकरण असुविधाजनक है, और इस वजह से हम सूची को अद्यतित नहीं रख पाएंगे, तो इसका उपयोग करने का अब कोई मतलब नहीं होगा। परिणामस्वरूप, रिपॉजिटरी में डेटा प्रासंगिक नहीं हो सकता है। हमें डेटा के आधार पर कुछ बनाने की आवश्यकता क्यों है जिसकी समाप्ति तिथि पहले ही समाप्त हो चुकी है?

यहां हमारे पास अभी तक एक और कार्य है: मौजूदा सूचना प्रणालियों के साथ आर्किटेक्ट को कैसे प्रेरित किया जाए, डेटा का वर्णन करें और इसे अद्यतित रखें। "आप इसे बनाते हैं, इसे चलाते हैं" का सिद्धांत डिजिटल कंपनियों में लोकप्रिय है। हमारा ऐतिहासिक रूप से इसे लागू करता है ताकि कुछ लोग इसका परिचय दें, लेकिन अन्य इसका समर्थन करते हैं। अक्सर प्रलेखन अद्यतित नहीं होता है, और कुछ एल्गोरिदम केवल पुराने समय के लोगों के दिमाग में रहते हैं। इसलिए, सिस्टम का वर्णन एक बहुत समय लेने वाला काम है, खासकर जब इसे खरोंच से किया जाता है (जैसा कि हमारे मामले में)। वास्तव में, वास्तव में, इस काम का प्रभाव उनके लिए बाद में आएगा, केवल डेटा के एक महत्वपूर्ण द्रव्यमान का वर्णन करने के बाद। लेकिन अंत में, एक और नई प्रणाली शुरू करते समय, उन्हें इसे बिजली देने के लिए डेटा की तलाश नहीं करनी होगी। अब इन आंकड़ों की खोज में औसतन दो सप्ताह या उससे अधिक का समय लगता है।

डेटा को न केवल नई प्रणालियों को पेश करने की आवश्यकता है, बल्कि परिकल्पनाओं का परीक्षण करने की भी आवश्यकता है। वे आमतौर पर बहुत उत्पन्न होते हैं, और उन्हें बैचों में परीक्षण किया जाता है। और वास्तव में, यह पता चला है कि डेटा है, उनमें से बहुत कुछ है, वे विविध हैं, लेकिन उनकी खोज में केवल बहुत समय और पैसा खर्च किया जाता है।

एक स्थान पर "चेतावनी के बिना" डेटा बदलने पर एक और बिंदु दूसरी जगह डेटा गलत हो जाता है। उदाहरण के लिए, संकेतक "प्रोडक्शन वॉल्यूम" को पुनर्वितरण के चरणों में खाते के नुकसान को ध्यान में रखा जाता था, और फिर बंद कर दिया जाता था। उन्होंने सिस्टम को बदल दिया, लेकिन बाकी आज तक नहीं हैं, और पहले की तरह संकेतक का उपयोग करना जारी रखें। परिणामस्वरूप, प्रबंधन निर्णय लेने के लिए डेटा गलत हैं। या कुछ बिंदु पर यह पता चला है कि डेटा तुलनीय नहीं है, लोग त्रुटियों की तलाश करना शुरू करते हैं। और यह भी श्रम है, केवल अदृश्य और असाध्य है।

सामान्य तौर पर, जैसा कि आप समझते हैं, हमने डेटा के साथ काम करने के लिए एक उपकरण चुनने के मुद्दे का अच्छी तरह से सामना किया है। और इससे पहले कि आप जाएं और एक उपकरण चुनें, आपको ऐसी पसंद के लिए पर्याप्त मानदंड लिखने की आवश्यकता है।

साधन चयन मानदंड

हम एक ऐसे उपकरण की तलाश में हैं जो ऑब्जेक्ट मॉडल के रूप में मेटाडेटा के विवरण का समर्थन करेगा, जिसमें स्वतंत्र रूप से नए प्रकार की वस्तुओं को जोड़ने की क्षमता होगी। सभी उत्पाद इस सुविधा की पेशकश नहीं करते हैं। उदाहरण के लिए, कुछ उपकरण आपको केवल भौतिक तालिकाओं को वस्तुओं के रूप में प्रदर्शित करने की अनुमति देते हैं, लेकिन वैचारिक या तार्किक संस्थाओं के लिए वस्तुओं का कोई वर्ग नहीं है।
वस्तुओं के बीच कनेक्शन का लचीला विन्यास बहुत महत्वपूर्ण है। उदाहरण के लिए, आज हमारे पास अमूर्तता के तीन तार्किक स्तर हैं, लेकिन हमें किसी भी स्तर के स्तर को गिराने या जोड़ने की हमारी क्षमता में सीमित होना चाहिए।

एक अन्य महत्वपूर्ण मानदंड विशेष रूप से एसएपी के लिए निर्मित कनेक्टरों से स्रोत प्रणालियों तक की उपस्थिति है। हमारे पास बहुत सारे SAPa हैं (मुझे लगता है कि किसी भी बड़ी कंपनी, सिद्धांत रूप में, SAPa का एक बहुत कुछ है) - एक विशाल स्थापना, और इसे अपने हाथों से फावड़ा करना पूरी तरह से धन्यवाद रहित कार्य है। आदर्श अगर कोई है। यदि ऐसा कोई कनेक्टर नहीं है, तो आप इसे स्वयं लिख सकते हैं।

आइए पूर्ण-पाठ खोज, शब्दार्थों के अपने स्वयं के शब्दकोशों को जोड़ने की क्षमता के साथ शब्दार्थ खोज के बारे में मत भूलना (उदाहरण के लिए, एकीकृत इलास्टिक्स खोज)।

प्रतिक्रिया की संभावना द्वारा एक महत्वपूर्ण भूमिका निभाई जाती है। इसके अलावा, आदर्श रूप से टिप्पणी करने की संभावना होनी चाहिए, 1-5 सितारों के सिद्धांत पर मूल्यांकन करना, किसी विशेष इकाई के लिए जिम्मेदार व्यक्ति के साथ सीधा संचार या ध्यान आकर्षित करने के लिए झंडे और टैग सेट करने के साथ-साथ वस्तुओं को पसंदीदा में जोड़ना।

इसके अलावा, यह अच्छा है। एसएएस डीक्यू या किसी अन्य उपकरण के लिए एक देशी कनेक्टर होगा जिसका उपयोग डेटा की गुणवत्ता का आकलन करने और किसी विशेष इकाई के स्वास्थ्य सूचकांक को प्रदर्शित करने के लिए किया जा सकता है, ताकि उपयोगकर्ता तुरंत देख सकें कि डेटा पर भरोसा किया जा सकता है, क्योंकि वे सत्यापन के माध्यम से चलाए जा रहे थे। और इस पर अपनी प्रतिक्रिया दें।

सामान्य तौर पर, आपको कुछ इस तरह की आवश्यकता होती है:

यहां आपके लिए एक विशिष्ट मामले का एक उदाहरण दिया गया है: एक व्यक्ति ने देखा कि आप डेटा पर भरोसा कर सकते हैं, अधिक बारीकी से देखा और एक त्रुटि पाई, और सीधे मालिक को लिखा कि उसे इसे ठीक करने के लिए कहें। यह इस तरह के एक डेटा स्वास्थ्य प्रदर्शन को दर्शाता है। इस तरह का खुलापन और डेटा की व्यापक उपलब्धता धीरे-धीरे उपयोगकर्ताओं और मालिकों दोनों के अविश्वास की डिग्री को कम करती है। डेटा तक सबसे बुनियादी पहुंच वाला एक विश्लेषक जल्दी से सत्यापित की गई आवश्यक जानकारी प्राप्त कर सकता है, और साथ ही, यह उस डेटा के स्वामी पर निर्भर नहीं करता है जो इस जानकारी को योगदान देता है। फायदे का सौदा।

लेकिन आमतौर पर हर किसी के पास एक्सेल में सब कुछ होता है, और यह एक बड़ी समस्या है (एक्सेल ही नहीं, बिल्कुल, लेकिन ऐसी स्थिति)। लोगों ने संकेतकों को गिना, फिर उन्हें अपने टैबलेट में सही किया, लेकिन सामान्य प्रणाली में कुछ भी नहीं बदला। और विश्लेषक सार्वजनिक रूप से उपलब्ध कॉर्पोरेट स्रोतों से कुछ आंकड़ा लेने से डरते हैं, एक सहयोगी के पास जाना और एक फ़ाइल के लिए पूछना आसान है। इससे निपटना काफी मुश्किल है। वास्तव में, डेटा कार्यालय को लागू करने की सफलता की कसौटी पर्यावरण के निर्माण को माना जा सकता है जिसमें कर्मचारी, एक नियम के रूप में, निर्णय लेते समय विश्लेषण के परिणामों पर भरोसा करते हैं, और टूल्स से SQL और पायथन पसंद करते हैं।

अलग-अलग, यह "वाणिज्यिक गुप्त", "सार्वजनिक डेटा", "व्यक्तिगत डेटा", "सीमित वितरण का कॉर्पोरेट डेटा" डेटा की वर्तमान स्थितियों के रखरखाव का उल्लेख करने योग्य है। यही है, एक डेटा विश्लेषक के लिए, यह जानना महत्वपूर्ण है कि वह वर्तमान में ब्राउज़ और अनलोडिंग कर रहा है या अपने सहयोगियों को देखने दे रहा है।

आखिरकार, जब औसत व्यक्ति व्यापार रहस्य और गोपनीय जानकारी से संबंधित कानून की ओर मुड़ता है, तो वह सामान्य जानकारी देखता है कि कंपनियों को क्या नुकसान पहुंचा सकता है। अक्सर मामलों में, वे सामान्य डेटा में महत्वपूर्ण डेटा के रूप में विचार करना शुरू करते हैं जिसमें संख्याएं होती हैं (अचानक कुछ)। तदनुसार, जब विश्लेषण के लिए डेटा प्रदान करने के लिए कहा जाता है, तो मालिक खुद से पूछना शुरू कर देता है: "क्या यह एक वाणिज्यिक रहस्य है?", "आवेदक के कार्यों को नुकसान के लिए पूछेंगे?", और, पुनर्बीमा होने के नाते, यह अक्सर मना कर देता है। आखिरकार, वह इस जानकारी के लिए जिम्मेदार है, और यह नहीं जानता कि विश्लेषक इसका उपयोग कैसे करेंगे।

एक और मामला था: जब हम एक डेटा डेमोक्रिटाइज़ेशन प्रोजेक्ट के लिए गोपनीय जानकारी की एक सूची पर काम कर रहे थे, तो यह पता चला कि इस सूची में डेटा है जिसे मालिक गोपनीय कहते हैं, और हमें आधिकारिक वेबसाइट पर उन्हें प्रदान करने के लिए कानून की आवश्यकता है। और, ज़ाहिर है, वे वहाँ प्रकाशित होते हैं। यही है, ऐसी परिस्थितियों में जहां कोई एकल उपकरण नहीं है जिसमें हर कोई एक बार में स्पष्ट रूप से सत्यापित जानकारी देख सकता है, बहुत सारे लोग "कोई बात नहीं" मोड में काम करते हैं और बहुत ही पुनर्बीमाकृत होते हैं।

तो, यह सब मापदंड के बारे में है। लेकिन वास्तव में हमने क्या चुना।

समाधान के लिए खोजें

हम कहते हैं "चुनें" क्योंकि हमने अभी तक नहीं चुना है, हम अभी भी सही उपकरण की तलाश में हैं। प्रारंभ में, हमने कोलिब्रा, एसएएस डीजी, अलशन, एलर्टेक्स कनेक्ट और इंफॉर्मेटिका से चुना। हमने विदेशी ओपन-सोर्स प्रोजेक्ट्स के माध्यम से भी देखा, लेकिन उन्होंने उन्हें लगभग तुरंत बदल दिया, क्योंकि कोई भी नहीं जानता कि सिरिल्ल वर्णमाला के साथ कैसे काम किया जाए।

फिर कोलिब्रा के साथ असफल अनुभव हुआ। हमने लगभग सौदा पूरा कर लिया, लेकिन यह गिर गया - हम शर्तों पर सहमत नहीं हुए। अल्पावधि में, वे पूरी तरह से बादल में चले जाएंगे, और किसी भी रूसी कंपनी के लिए यह एक विकल्प नहीं है। वास्तव में, वे एक उत्पाद प्रदान नहीं करेंगे, लेकिन एक सेवा: Collibra एक सदस्यता प्रदान करता है, और हम अपना डेटा प्रदान करते हैं। औपचारिक रूप से, यह एक व्यापार रहस्य नहीं है, लेकिन मेटाडेटा है, लेकिन वास्तव में, अगर कुछ गलत होता है, तो व्यवसाय पूरी तरह से पंगु हो जाएगा।

इस कहानी के बाद, हमें एहसास हुआ कि हम एक लंबे समय के लिए बॉक्स का चयन करेंगे: हमारे पास लंबी प्रक्रियाएं हैं, हम लेनदेन, शर्तों और ठेकेदारों से सावधानी से संपर्क करते हैं, हम यह सुनिश्चित करने के लिए कई बार जांच करते हैं कि जोखिम न्यूनतम है। इन सभी विशेषताओं को जानते हुए, हम उपयोगकर्ताओं के लिए कम से कम एक अस्थायी समाधान बनाने के लिए अपने स्वयं के विकास में चले गए। आखिरकार, डेटा डालना है, और बिना विवरण के इसका उपयोग करना असंभव है! समानांतर में, हम Alation और Alteryx Connect को करीब से देखते हैं और उनके समाधान के साथ उनकी कार्यक्षमता और लागत की तुलना करते हैं।

हमने स्वयं भंडारण के तार्किक मॉडल का आविष्कार किया, यह हमारे लिए अन्य उद्योगों की तुलना में यहां थोड़ा अधिक जटिल है। उदाहरण के लिए, बैंकों और टेलीकॉमों के लिए, संदर्भ डेटा आर्किटेक्चर हैं - आम तौर पर स्वीकृत संरचनाओं और क्या और कैसे डेटा को विघटित करने के लिए सिफारिशें। पेट्रोकेमिकल्स के लिए, सार्वजनिक डोमेन में रचनात्मक उधार लेने के लिए स्रोतों का पूरा चक्र नहीं है। यह समझने में केवल एक साल लगा कि व्यवसाय पूरे काम कैसे करता है। SIBUR में एक जटिल उत्पादन है, बड़ी संख्या में नामकरण, प्रक्रियाएं, व्यवसाय, जो प्रणालियों में परिलक्षित होते हैं, जिसका अर्थ है कि इसके लिए विश्लेषण की आवश्यकता है।

यहां इसने हमारी मदद की कि तथाकथित ज्ञान-गहन नेतृत्व है। उदाहरण के लिए, अन्य उद्योगों में अक्सर, प्रबंधक और प्रबंधक उद्योग में बहुत अच्छी तरह से वाकिफ नहीं होते हैं। ऐसा होता है, सिद्धांत रूप में, यह सीधे तौर पर कुछ भयानक नहीं है, अंत में, उनका व्यवसाय परियोजनाओं का प्रबंधन करना है, और यह पता चलता है कि प्रत्येक नए प्रबंधक का लिंक आमतौर पर पिछले एक की तुलना में थोड़ा कम जानता है। लेकिन यह पता चला है कि प्रबंधक वे लोग हैं जो उंगलियों पर आपको समझाने में सक्षम हैं वे सभी प्रक्रियाएं जो अपने जीवन पथ में ब्यूटाडाइन के साथ हो सकती हैं, उदाहरण के लिए।

तो, निर्णय के बारे में। एक रचनात्मक खोज एक ऐसी चीज है जो एक साल, दो या दो जीवन ले सकती है। इसलिए, खोज अच्छी है, लेकिन आपको अभी कुछ पर काम करने की आवश्यकता है।

इसलिए, हम अपने स्वयं के विकास पर गए, इसे dg_light कहा जाता है। मोर्चे के विकास में 4 सप्ताह का समय लगा (सत्य को बताने के लिए, खरोंच से नहीं, हमने हाल ही में असेंबली लाइन से हटकर आए टाइमशैयर विश्लेषण उपकरण की उपलब्धियों का पुन: उपयोग किया)।

परियोजना संरचना:

बैकएंड: डोकर, नोड.जेएस, एनजीआईएनएक्स, क्रॉसबार.आईओ
फ़्रंटेंड: रिएक्ट, रेडक्स, मटेरियल यूआई, हाईचर्ट्स, ऑटोबान.जेएस
डेटा संग्रहण: PostgreSQL
प्रोटोकॉल: WAMP, WebSocket, HTTP (S)
OS: CentOS 7

भंडारण सुविधाओं की संरचना और कार्यप्रणाली डेटा आर्किटेक्ट से इनपुट थे। सामने के डिजाइन का अध्ययन करने के लिए, उन्होंने विभिन्न परिपक्वता स्तरों के कई विश्लेषकों को लगाया और पूछा: "आप इसे कैसे पसंद करेंगे?" वास्तव में, वे खुद के लिए चित्रित करते हैं।

सभी विकास में 6 सप्ताह लगे।

एक वाजिब सवाल यह है कि जब हम औद्योगिक खरीद लेंगे, तो हम क्या करेंगे? यह मूल रूप से योजना बनाई गई थी कि दोनों समाधान समानांतर में रहेंगे: "बड़े" डीजी में डेटा मॉडल, एक शब्दकोष, एक रोल मॉडल होगा, और dg_light उन जटिल चिप्स को छोड़ देगा जो डेटा वंश जैसे बॉक्सिंग समाधान में लागू करना आसान नहीं है। भविष्य में क्या होगा यह उपयोग का अनुभव दिखाएगा।

डेटा मॉडल

भौतिकी । यह सब एक गोदाम डेटा मॉडल के निर्माण के साथ शुरू हुआ। हमने लंबे समय तक तर्क दिया कि कैसे एक विस्तृत भंडारण परत का निर्माण किया जाए, और फैसला किया कि हम एक तैयार अवधारणा को काम में नहीं लेंगे, लेकिन हम डेटा वॉल्ट 2.0 और एंकर (6NF) को जोड़ देंगे। फिर से, क्योंकि हमारे पास मौजूद डेटा स्रोत बहुत अलग हैं। एक तरफ, यह एसएपी है, जो गहराई में कहीं ओएलएपी है, और कहीं ओएलटीपी, और व्यावसायिक तर्क है जो अपने स्वयं के कानूनों द्वारा रहता है और अधिकतम विस्तार की आवश्यकता होती है। दूसरी ओर, वे निर्माण प्रक्रिया नियंत्रण प्रणाली (एमईएस) का एक प्रभावशाली जीवन जीते हैं, जिसमें हर समय डेटा प्रवाह और कुंजी-मूल्य इतिहास प्रवाह होता है।

हब, सैटेलाइट्स, DV2.0 के लिंक और अंकोर की अधिकतम ग्रैन्युलैरिटी के संयोजन ने एक ही स्थान पर यह सब शादी करने की अनुमति दी। हां, ऐसी प्रणाली में मैन्युअल रूप से प्रश्न लिखना मुश्किल होगा, लेकिन इसकी सभी सामग्री सही है। और हम सिस्टम की अखंडता की गारंटी दे सकते हैं, भले ही हमारे आसपास सब कुछ अचानक बदलना या ढहना शुरू हो।

लॉजिक्स। भौतिक स्तर पर वास्तुकला के संगठन के मुद्दे को हल करने के बाद, हम इसके तार्किक विवरण पर चले गए। और सहकर्मियों के साथ हमारी चर्चा अपने आप को निर्धारित करने के प्रयास में एक दार्शनिक विमान में चली गई कि क्या सार है और वे एक दूसरे से कैसे संबंधित हैं। थोड़ी देर बहस करने के बाद, उन्होंने DAMA-DMBOK का रुख किया, उसमें से परिभाषाएँ निकालीं और इसे अपने संदर्भ में लागू किया। नतीजतन, यह पता चला कि संस्थाएं संज्ञाएं हैं जिनके साथ हम SIBUR के ढांचे के भीतर काम करते हैं, संपूर्ण व्यावसायिक मूल्य और कई सवालों के जवाब देते हैं। संस्थाओं में समुच्चय और रिपोर्टों को शामिल करना या नहीं करना अभी भी बहस है। प्रत्येक वास्तुकार की अपनी राय, अपनी गणनाएं होती हैं, और अब हम अपने विचारों को एक आम भाजक तक पहुँचाने की कोशिश कर रहे हैं। यह उन कार्यों में से एक है, जिन्हें हमें हल करना है, जिसमें वे लोग भी हैं जिन्हें हम एक टीम के रूप में देख रहे हैं।

लेकिन तार्किक मॉडल सभी नहीं है। इसके अतिरिक्त, इसके आधार पर, हमने वैचारिक मॉडल भी बनाया जिसे प्रबंधन को समझने की आवश्यकता है कि आखिर क्या हो रहा है। उनके लिए तार्किक मॉडल बहुत विस्तृत है, इसलिए हमने डेटा डोमेन में सब कुछ समूहीकृत किया जो कंपनी में वर्णित व्यावसायिक प्रक्रियाओं में अच्छी तरह से फिट होता है। अब हम ARIS में प्रक्रियाओं के लिए तार्किक संस्थाओं के प्रत्येक ऐसे समूह को बांधने के लिए प्रक्रिया कार्यालय के साथ बातचीत करने की कोशिश कर रहे हैं।

इसके अलावा, हम चौड़ाई और इससे भी अधिक बढ़ गए: हमने एक एकल लॉजिकल डेटा मॉडल बनाया, जहाँ हम प्रत्येक सिस्टम के लॉजिकल एंट्रीज़ में प्रवेश करते हैं, जबकि सोर्स सिस्टम को एक-दूसरे से सिस्टम के संबंध का संकेत देते हैं।

हम स्पार्क्स एंटरप्राइज आर्किटेक्ट में कॉरपोरेट आर्किटेक्ट्स को इस ज्ञान का निर्यात करते हैं, उन्हें संस्थाओं को प्रवाह और इंटरफेस को एकीकृत करने के लिए बाध्य करने की आवश्यकता है।
डेटा आर्किटेक्चर का ऐसा संगठन उन लोगों की मदद करेगा जो भविष्य में प्रभाव विश्लेषण में संलग्न होने की योजना बनाते हैं, इससे पूर्ण-विकसित डेटा वंश का निर्माण करना संभव होगा। सामान्य तौर पर, हम उम्मीद करते हैं कि समाधान का उपयोग न केवल सभी पट्टियों के वास्तुकारों द्वारा किया जाएगा, बल्कि व्यापार इकाइयों, डेटा वैज्ञानिकों और हर किसी में एनालिटिक्स के लोग जो किसी न किसी तरह विश्लेषण से जुड़े हैं।

अब हम एक अधिक श्रमसाध्य कार्य का सामना करते हैं - यह सब कैसे उपयोग करने के लिए कर्मचारियों को सिखाना है।

लोग और डेटा

हमारी वैश्विक योजनाएँ SIBUR को एक डेटा-संचालित कंपनी बनाना है, जब कोई भी कर्मचारी किसी चीज़ का विश्लेषण कर सकता है। हमने सामान्य रणनीति को तीन भागों में विभाजित किया है - लोगों के बारे में, प्रक्रियाओं के बारे में और उपकरणों के बारे में। उपकरण के साथ, कोई कह सकता है, उन्होंने इस मुद्दे को तय किया, डेटा के साथ अपना मंच बनाया। अब हम लोगों को इसका उपयोग शुरू करने की आवश्यकता है।

मुख्य विशेषता कर्मचारियों की मानसिकता है। वे एक खतरनाक पेट्रोकेमिकल उद्योग में काम करते हैं, जहां सुरक्षा उन सभी के लिए लिखी जाती है जिनके खून में लिखा है। और लोगों को निर्देशों का कड़ाई से पालन करने के लिए प्रशिक्षित किया जाता है, यह शाब्दिक रूप से सबकोर्टेक्स पर अंकित होता है। ऐसा राज्य विश्लेषक की स्वतंत्र सोच के विपरीत है।

हमने छोटे से शुरू किया: धीरे-धीरे कर्मचारियों को किसी भी अधिक या कम महत्वपूर्ण अवसरों पर प्रस्तुतियां देने और उन्हें डैशबोर्ड पर स्थानांतरित करने के लिए। चूंकि कंपनी के लोग जिम्मेदार और कार्यकारी हैं, वे एक तैयार प्रस्तुति लेने की कोशिश करते हैं और एक इंटरैक्टिव संस्करण में सभी को समान रूप से आकर्षित करते हैं। लेकिन डैशबोर्ड विभिन्न कानूनों के अनुसार रहते हैं, और एक व्यक्ति के लिए यह पूरी तरह से श्रम लागत का एक अलग स्तर है, डेटा के पूरे इतिहास को लोड करना और इसे सत्यापित करना आवश्यक है। डेटा स्वचालित रूप से गणना और गैर-मैनिपुलेटेड हो जाता है - आपने इसे अपने हाथों से तब तक नहीं बदला है जब तक कि आप शुरू में इसे ठीक से सेट नहीं करते हैं।

वास्तव में, आंतरिक प्रक्रियाओं के सभी स्वचालन एक्सेल + मेल के एक गुच्छा के साथ समाप्त होते हैं। और एक्सेल के साथ लोगों को प्रत्यारोपण करना लगभग असंभव कार्य है। ठीक है, ठीक है, हमें पायथन और एसक्यूएल की आवश्यकता क्यों है, क्योंकि एक्सेल में आप सब कुछ कर सकते हैं! और इससे निपटना काफी कठिन है।

SIBUR में डेटा प्रबंधन प्रणाली के पिछले संस्करणों में सूचना संग्रह के मालिक के रूप में ऐसी बात थी - एक कर्मचारी जो डेटा तक पहुंच देता है और जानता है कि कौन सी संख्या सही है। इस दृष्टिकोण ने उन बाधाओं को पैदा किया जो मैंने ऊपर के बारे में लिखा था। उन्हें तोड़ने के लिए, हमने गार्टनर की "सर्वोत्तम प्रथाओं" का लाभ उठाया और अलग से एक डेटा क्यूरेटर और एक डेटा गुणवत्ता अधिकारी की पहचान की।

एक डेटा क्यूरेटर डिवीजन के निदेशक के स्तर पर एक प्रबंधक है जो उन नियमों को निर्धारित करता है जिनके द्वारा वह डेटा तक पहुंच देने के लिए तैयार है। डेटा गुणवत्ता अधिकारी सीधे सूचना के साथ काम करता है और जानता है कि कौन सा आंकड़ा सही है। अब हम यह सुनिश्चित करने के लिए काम कर रहे हैं कि प्रत्येक आंकड़े के लिए गुणवत्ता के लिए जिम्मेदार व्यक्ति है जो त्रुटि या अशुद्धि के मामले में सहयोगियों से अनुरोधों का जवाब देगा। पहले से ही, हम डेटा को कंपनी के भीतर सभी के लिए उपलब्ध जानकारी, किसी विशेष इकाई के भीतर उपलब्ध जानकारी और वाणिज्यिक रहस्यों का प्रतिनिधित्व करने वाली जानकारी में विभाजित कर रहे हैं।

और यदि कोई प्रबंधक विशिष्ट डेटा को बंद करना चाहता है, तो हम शटल वार्ताओं को पूरा करते हैं और बताते हैं कि सूचना के बंद होने से अन्य इकाइयों पर प्रत्यक्ष या अप्रत्यक्ष रूप से इसके साथ काम करना प्रभावित होगा। इस प्रकार, कंपनी के भीतर खुले डेटा का प्रतिशत मौलिक रूप से संशोधित किया गया है। SIBUR के मानकों से, यह एक वास्तविक क्रांति है।

निष्कर्ष

हमारे पास एक तैयार उपकरण है, लेकिन अभी तक बहुत कम लोग हैं जो इसका उपयोग कर सकते हैं। और हम उन्हें शिक्षित करते हैं। पंखे प्रशिक्षण की प्रक्रिया का निर्माण करने के बाद जब हमने प्रत्येक कर्मचारी को प्रशिक्षण दिया, तब इस प्रक्रिया में तेजी आई। हमने विश्लेषकों को काम पर रखने के बजाय अपने स्वयं के कर्मचारियों को प्रशिक्षित करने का रास्ता अपनाया, क्योंकि हमारे मामले में मैक्रो एसक्यूएल और पायथन के देवताओं को पायरोलिसिस और इसकी विशेषताओं के बारे में समझाने के लिए भयानक विश्लेषकों की तुलना में सिखाना आसान है। और उसी समय उनके चेहरे को देखें।

हम लोगों को कैसे आकर्षित करते हैं और अध्ययन के लिए प्रेरित करते हैं यह एक अलग पोस्ट के योग्य कहानी है।

आंतरिक विश्लेषकों को शिक्षित करने के अलावा, हम आर्किटेक्ट की तलाश में हैं, जो लोग डेटा प्रबंधन के बारे में जानकार हैं। यह न केवल रूस के लिए, बल्कि पूरे विश्व के लिए भी एक नई दिशा है और लोग डेटा आर्किटेक्चर की अवधारणा की व्याख्या करना जारी रखते हैं, जो कि बहुत है। बिजनेस एनालिटिक्स, सिस्टम एनालिटिक्स, कॉर्पोरेट आर्किटेक्चर के साथ समझने योग्य कहानियां हैं।

हम SIBUR में डेटाबेस और व्यवसाय से संबंधित प्रक्रियाओं के साथ सिस्टम टुकड़ों के जंक्शन पर एक अनुशासन के रूप में डेटा आर्किटेक्चर को परिभाषित करते हैं। एक व्यक्ति को यह समझना चाहिए कि जिस संगठन में वह काम करता है वह कैसे व्यवस्थित होता है, और प्रक्रियाएं विभिन्न प्रणालियों में अपने बारे में डेटा कैसे छोड़ती हैं। और पहले को दूसरे के साथ कैसे जोड़ा जाए।