भूगर्भीय, भूभौतिकीय और क्षेत्र डेटा प्रबंधन प्रणाली के विकास के होनहार दिशाओं पर एक नज़र

गज़प्रोमनेफ्ट के अनुरोध पर, 2019 में, भूवैज्ञानिकों और भूभौतिकीविदों को सामान्य रूप से डेटा प्रबंधन से निपटने के लिए एक छोटी निबंध समीक्षा लिखी। शायद यह पाठकों के एक व्यापक सर्कल के लिए दिलचस्प होगा - मैं तदनुसार प्रकाशित करता हूं।

श्रृंखला "द बिग बैंग थ्योरी" में सबसे प्यारी वेट्रेस पेनी सैद्धांतिक भौतिक विज्ञानी लियोनार्ड (बातचीत का समर्थन करने के लिए) से पूछती है कि कण भौतिकी की दुनिया में नया क्या है? और वह जवाब देता है कि हिग्स बोसोन की खोज के बाद से यानी। 1964 के बाद से, मूल रूप से कुछ भी नहीं। बातचीत नहीं हुई है :)



और डेटाबेस और भूवैज्ञानिक-भूभौतिकीय और उत्पादन (GGiP) डेटा के बैंकों के क्षेत्र में, सब कुछ उसी उबाऊ के बारे में है। जैसा कि आप डेलॉयट डिजिटल के शोध से देख सकते हैं, तेल श्रमिक, खनिक और बड़े ट्रक चालक बड़े विस्फोटों से दूर हैं। नए डेटाबेस और स्टोरेज बनाए गए हैं, लेकिन लगभग हमेशा एक विशेष एप्लिकेशन के लिए डेटा के साथ काम करने की कार्यक्षमता सुनिश्चित करने के लिए। कठोर वास्तविकता के आयोजन और भंडारण के लिए लक्षित तरीके से बनाए गए डेटा को व्यवस्थित और संग्रहीत करने के लिए सिस्टम। वे एक व्यावसायिक प्रक्रिया से बाहर निकल जाते हैं जो अनुप्रयोग प्रसंस्करण, व्याख्या और मॉडलिंग सिस्टम के आसपास घूमती है। इस संबंध में, डेटा एप्लिकेशन डेटाबेस में जमा होता रहता है, विशेष प्रणालियों के आसपास बहता है और एक्सेल तालिकाओं और फ़ाइल फ़ोल्डरों में आसानी से व्यवस्थित होता है, सर्वोत्तम कॉर्पोरेट और केंद्रीकृत (यदि ऐसा संसाधन उपयोगकर्ताओं को प्रदान किया जाता है)।

नए डेटा स्टोरेज और ऑर्गनाइजेशन सिस्टम की मुख्य गाइडलाइन, हमारी राय में, रिलेशनल स्ट्रक्चर से अलग है। ऐतिहासिक रूप से, सभी डेटा संगठन कार्यों को बाजार में रिलेशनल टूल की प्रमुख स्थिति के कारण रिलेशनल मॉडलिंग का उपयोग करके हल किया गया था। स्थिति बदल गई है, और कई संग्रह में रिलेशनल तकनीकों का उपयोग करने की अक्षमता (लिखने के लिए एक बार कई पढ़ें) सिस्टम स्पष्ट हो गए हैं।

यदि हम अंत में एक "सर्वशक्तिमान अंगूठी" के भ्रम को त्याग देते हैं, जो उन्हें हमेशा के लिए एकजुट कर देगा, तो यह स्वीकार करना शेष है कि भौगोलिक रूप से वितरित एप्लिकेशन डेटाबेस का यह सेट विभिन्न प्रकार, फ़ाइल सिस्टम और तालिकाओं का हमारा डेटाबेस है। मध्यम रूप से वितरित, अत्यंत विषम, शिथिल युग्मित डेटाबेस जिसे हमें काम करना सीखना होगा क्योंकि उपरोक्त विशेषताएं व्यापार की प्रकृति के कारण अगले दशक में बदलने की संभावना नहीं है। नील मैकनोटन के अनुसार, GiP डेटा प्रबंधन के क्षेत्र में कुछ व्यवस्थित शोधकर्ताओं में से एक: “परियोजनाओं में काम करना सीमित है। हमें केवल इस कारण से डेटा को प्रोजेक्ट में ट्रिम करने के लिए मजबूर किया जाता है कि हम अभी तक एक बार में सभी डेटा के साथ काम नहीं कर सकते हैं ”(मुक्त बोली)।

इसलिए, विश्व स्तर पर डेटा संचय की प्रक्रिया को व्यवस्थित करने के प्रयासों को छोड़ दें (सब कुछ अपलोड करें!) और प्राकृतिक आपदाओं से डीआईटी विशेषज्ञों को अखंडता, बैकअप और सुरक्षा सुनिश्चित करने के लिए, उनकी रीमास्टरिंग की देखभाल को छोड़ दें - हमारे पास केवल एक ही चिंता है: पहुंच! लेकिन यह एक महत्वपूर्ण चिंता है, क्योंकि पहुंच केवल भौतिक हस्तांतरण और गति नहीं है, बल्कि परिसीमन और अधिकार, विश्वसनीयता और गुणवत्ता का एक निश्चित स्तर, जानकारी की संरचना, दोनों प्रारंभिक और अनुरोध के अनुसार, आदि।

हम खोज तकनीकों पर आधारित डेटा तक पहुंच बनाने में लगे हुए हैं, लेकिन खोज लंबे समय से आगे बढ़ गई है जिसे हम उन्हें कॉल करते थे। कार्यस्थल के बाहर की जानकारी के साथ हमारी सभी बातचीत वास्तव में अंतर्निहित खोज तकनीकों के माध्यम से होती है। आइए हम डेटा तक पारदर्शी पहुंच और उन्हें दूर करने के तरीकों को व्यवस्थित करने की कठिनाइयों पर संक्षेप में ध्यान केंद्रित करते हैं:

सिस्टम की एक महत्वपूर्ण संख्या के साथ इंटरफेस।भले ही इंटरफ़ेस केवल पढ़ने के लिए है, कार्य तुच्छ नहीं है। आईटी के बुनियादी ढांचे और डेटा मॉडल (उदाहरण के लिए, नए संस्करणों के साथ) के संदर्भ में सिस्टम दोनों बदल रहे हैं। कई प्रणालियों में अभिगम नियंत्रण विशुद्ध रूप से व्यक्तिगत है। तदनुसार, एक प्रणाली जो लगातार समर्थन करती है, यहां तक ​​कि बड़ी संख्या में अन्य प्रणालियों के साथ सबसे सरल इंटरफेस, इन इंटरफेस के लिए निरंतर समर्थन की आवश्यकता होती है। लागत और निरंतर विकास चक्र।

पुश या पुल इंटरफेस?इंटरफेस की प्रकृति के दृष्टिकोण से, इस तथ्य पर भरोसा करना मुश्किल है कि थर्ड-पार्टी सिस्टम डेटा को बाहरी रूप से तैयार करेगा और प्रसारित करेगा (भले ही डेवलपर्स इसे घोषित करें) - यह उनकी कार्यात्मक जिम्मेदारियों का हिस्सा नहीं है। तदनुसार, मुख्य रूप से एक्सेस टूल प्लेटफॉर्म के इंटरफेस / एजेंट तीसरे पक्ष के सिस्टम से डेटा प्राप्त करने के लिए जिम्मेदार होंगे।

मल्टी मॉडल।प्रत्येक सिस्टम का अपना डेटा मॉडल होता है, जो दूसरों से अलग होता है। आपको संपूर्ण डेटा के साथ काम करने के लिए विभिन्न व्यावसायिक आवश्यकताओं के लिए विभिन्न मॉडलों के डेटा, साथ ही साथ उनके अर्थ सामान्यीकरण या मेटा-मॉडल का समर्थन करना होगा। जीपीएन सिमेंटिक मॉडलिंग के क्षेत्र में सक्रिय रूप से अनुसंधान कर रहा है। डेटा संवर्धन, नामित संस्थाओं के निष्कर्षण, और मशीन सीखने के वास्तव में औद्योगिक दृष्टिकोणों के सक्रिय अनुप्रयोग के बारे में बात करना यहां भी उचित है। मैं उपयोगकर्ता को "मल्टी-मॉडल" डेटा की संरचित प्रस्तुति की समस्या का भी उल्लेख करना चाहूंगा। बस दस्तावेजों की एक सूची न तो लोगों और न ही एल्गोरिदम भी काम करेगी। विचारशील मुखरता, मेटा-मॉडल और अंत-से-अंत प्रश्नों के महत्व को कम करना मुश्किल है।

कैशिंग और रिवर्स इंडेक्स।अभ्यास से पता चलता है कि एक प्रणाली जो अनुरोधों के लिए अन्य प्रणालियों पर पूरी तरह से निर्भर हो गई है (और क्लासिक पोर्टल एक्सेस सिस्टम अक्सर व्यवस्थित होते हैं), दो महत्वपूर्ण समस्याएं हैं:

ए। प्रदर्शन - थर्ड-पार्टी सिस्टम अप्रत्याशित प्रदर्शन के साथ अनुरोध करता है, कभी-कभी बेहद धीरे-धीरे।

ख। विश्वसनीयता, किसी भी समय बड़ी संख्या में कनेक्टेड सिस्टम के साथ, उनमें से एक या अधिक आवश्यक रूप से विफल हो जाएंगे और अनुरोध का जवाब नहीं दे सकते हैं।

इन बीमारियों को हराने का एकमात्र तरीका सूचना का गहन अनुक्रमण और सूचकांक के साथ प्रभावी कार्य है।

पहुँच नियंत्रण।डेटा तक पहुंच को प्रतिष्ठित किया जाना चाहिए। सभी आईटी सिस्टम एक ही तरह से एक्सेस कंट्रोल को व्यवस्थित नहीं करते हैं। इस संबंध में, कुछ प्रणालियों के लिए, कॉर्पोरेट डोमेन के उपयोगकर्ताओं और समूहों के साथ आंतरिक उपयोगकर्ताओं के संचार को संग्रहीत या पुनर्स्थापित करना और लगातार अद्यतन करना आवश्यक है।

NSI के साथ संचार। गुणवत्ता की।बड़ी संख्या में सिस्टम से बड़ी मात्रा में डेटा कनेक्ट करते समय, हम अनिवार्य रूप से डेटा की प्रासंगिकता और गुणवत्ता के विश्वसनीय निर्धारण की समस्याओं का सामना करते हैं। डेटा के किसी भी पूर्व और बाद के प्रसंस्करण, जिसमें संज्ञानात्मक उपकरण शामिल हैं जो हमें अनुरोध के जवाब में प्राप्त डेटा की प्रासंगिकता और गुणवत्ता को मज़बूती से निर्धारित करने में मदद करेंगे, मांग में है! दिलचस्प है, गुणवत्ता उपयोग का एक कार्य है, न कि चारों ओर का रास्ता। उच्च-गुणवत्ता वाला डेटा जहां कोई लगातार इसका उपयोग करता है। उच्चतम गुणवत्ता डेटा के साथ सबसे अच्छा डेटाबेस जो 10 वर्षों से लावारिस है, कई आश्चर्य से भरा हुआ है।

उपरोक्त सभी मुद्दों को हल करने की प्रक्रिया में, हम पाते हैं कि हालांकि हमारे पास अपेक्षाकृत कम डेटा है, अनुक्रमण, प्रसंस्करण और विश्लेषण की मात्रा इतनी महत्वपूर्ण है कि हम आत्मविश्वास से अत्यधिक भरी हुई प्रणालियों के क्षेत्र में आते हैं और औद्योगिक कार्यान्वयन में गंभीर औद्योगिक समाधानों पर भरोसा करने के लिए मजबूर होते हैं।

मैं इस छोटे निबंध को खोजशब्दों से भरे पैराग्राफ के साथ पूरा करना चाहता हूँ। DevOps विशेषज्ञता - कंपनी में इसके विकास पर विशेष ध्यान देने की आवश्यकता है। ये लोग, डेटासाइंस स्पेशलाइज़ेशन के लोगों के साथ , कंपनी में डेटा के साथ काम करने के भविष्य के लिए जिम्मेदार हैं। JSON अभी भी SQL सिंटैक्स के प्रेमियों के लिए एक अरबी लिपि है, लेकिन यह मास्टर करने के लिए आवश्यक प्रतीत होता है। अजगर- मुख्य समस्या सिंटैक्स के मालिक होने में उतनी नहीं है जितनी कि समय और उपलब्धता के लिए भूवैज्ञानिक और भूभौतिकीय विशिष्टताओं में विशेषज्ञों के लिए प्रेरणा है। सर्वश्रेष्ठ में से, COSS (ओपन सोर्स कमर्शियल सॉफ्टवेयर) बेशक एलीस्टेक खोज है । और किसी भी ओएसएस के रूप में - ओएसएस निर्माता से स्वयं बॉक्स समाधान के बारे में सभी प्रकार के भ्रम छोड़ दें।

एक ही श्रृंखला से एक मजाक खत्म करो:
- नमस्कार! मैं देख रहा हूँ तुम व्यस्त हो?
- अरे हां! काला पदार्थ! गुरुत्वाकर्षण और क्वांटम यांत्रिकी का संतुलन। फर्मी-बोस समरूपता। मैंने आज की भौतिकी की सबसे बड़ी चुनौतियों का सामना किया!
"और इसलिए, आपने उन सभी का फैसला किया जो एक झपट्टा मारा था?"
- नहीं, मुझे केवल एहसास हुआ कि वे सबसे महान कार्य हैं।