नियामक रिपोर्टिंग के लिए डेटा प्लेटफ़ॉर्म

बैंकिंग विनियामक रिपोर्टिंग का गठन सटीकता, विश्वसनीयता, सूचना की गहराई के लिए उच्च आवश्यकताओं के साथ एक जटिल प्रक्रिया है। परंपरागत रूप से, संगठन रिपोर्टिंग को स्वचालित करने के लिए क्लासिक डेटा स्टोरेज और प्रोसेसिंग सिस्टम का उपयोग करते हैं। इसी समय, कार्यों की संख्या हर साल सक्रिय रूप से बढ़ रही है, जहां न केवल बड़ी मात्रा में विषम डेटा के विश्लेषण का संचालन करना आवश्यक है, बल्कि व्यवसाय द्वारा आवश्यक गति से भी करना है।

इन कारकों के संयोजन से डेटा प्रबंधन प्रक्रियाओं में बदलाव आया है। डेटा प्लेटफ़ॉर्म - एक दृष्टिकोण जो बिग डेटा प्रौद्योगिकियों और डेटा लेक प्लेटफार्मों के निर्माण में उपयोग किए जाने वाले नए तरीकों का उपयोग करके शास्त्रीय डेटा वेयरहाउस (QCD) की पारंपरिक अवधारणा का पुनर्विचार प्रस्तुत करता है। डेटा प्लेटफ़ॉर्म आपको गुणात्मक रूप से ऐसे महत्वपूर्ण कारकों को ध्यान में रखने की अनुमति देता है जैसे कि उपयोगकर्ताओं की संख्या में वृद्धि, time2customer (परिवर्तनों के कार्यान्वयन की उच्च गति की संभावना प्रदान करने के लिए), साथ ही इसके आगे के स्केलिंग और विकास को ध्यान में रखते हुए परिणामी समाधान की लागत।

विशेष रूप से, हम आरएएस के तहत रिपोर्टिंग के स्वचालन के अनुभव पर विचार करने का प्रस्ताव करते हैं, टैक्स क्लियरिंग और नेशनल क्लीयरिंग सेंटर (बाद में - एनसीसी) में रोसफिनमोनिटोरिंग पर रिपोर्टिंग करते हैं।
वास्तुकला की पसंद जो आपको निम्नलिखित आवश्यकताओं को ध्यान में रखते हुए समाधान को लागू करने की अनुमति देती है, वह बेहद सावधान थी। प्रतियोगिता में क्लासिक सॉल्यूशंस और कई बिगडेट सॉल्यूशंस - हॉर्टोनवर्क्स और ओरेकल एप्लाएंस दोनों ने भाग लिया।

समाधान के लिए मुख्य आवश्यकताएं थीं:

• नियामक रिपोर्टिंग के निर्माण को स्वचालित करें;
• समय पर डेटा संग्रह और प्रसंस्करण की गति में वृद्धि, अंतिम रिपोर्ट का निर्माण (दिन के लिए सभी रिपोर्टिंग के निर्माण के समय प्रत्यक्ष आवश्यकताएं);
• सामान्य खाता बही से परे रिपोर्टिंग प्रक्रियाओं को हटाकर एबीएस को उतारने के लिए;
• मूल्य बिंदु से सबसे अच्छा समाधान चुनें;
• , , ;
• , .

ओपन-सोर्स Hadoop Hortopworks प्लेटफॉर्म पर आधारित Neoflex Reporting Big Data Edition प्रोडक्ट को पेश करने के पक्ष में निर्णय लिया गया था।



डीबीएमएस ऑफ़ सोर्स सिस्टम ओरेकल है, स्रोत भी विभिन्न स्वरूपों और छवियों (कर निगरानी उद्देश्यों के लिए) की फ्लैट फाइलें हैं, व्यक्तिगत जानकारी आरईएसटी एपीआई के माध्यम से डाउनलोड की जाती हैं। इस प्रकार, संरचित और असंरचित दोनों डेटा के साथ काम करने का कार्य प्रकट होता है।

आइए हम हडोप क्लस्टर के भंडारण क्षेत्रों पर अधिक विस्तार से विचार करें:

ऑपरेशन डेटा स्टोर (ओडीएस) - डेटा को उसी रूप में "सिस्टम के" रूप में संग्रहीत किया जाता है और स्रोत प्रणाली द्वारा निर्धारित प्रारूप में है। कई आवश्यक संस्थाओं के लिए इतिहास संग्रहीत करने के लिए, एक अतिरिक्त संग्रह डेटा परत (ADS) लागू की गई है।

सीडीसी (डेटा कैप्चर बदलें) - डेल्टा कैप्चर क्यों छोड़ दिया

, , . Hadoop .

( ) :

• append-only , , , , ;
• , , , .. , ;
• , «» ;
• CDC- «» , «» «».

, , :

• ODS, AS IS. , , Hadoop , ;
• ODS , ();
• PDS «1 1 » PDS.

पोर्टफोलियो डेटा स्टोर (पीडीएस) एक ऐसा क्षेत्र है जिसमें महत्वपूर्ण डेटा तैयार किया जाता है और एकीकृत केंद्रीकृत प्रारूप में संग्रहीत किया जाता है, जो न केवल डेटा की गुणवत्ता पर बढ़ती मांगों के अधीन है, बल्कि सिंटैक्स और शब्दार्थ की संरचना भी है। उदाहरण के लिए, डेटा में ग्राहक रजिस्टर, लेनदेन, बैलेंस शीट आदि शामिल हैं।

ईटीएल प्रक्रियाओं को डेटाग्राम का उपयोग करके स्पार्क एसक्यूएल का उपयोग करके विकसित किया जाता है। यह समाधानों के वर्ग से संबंधित है - "एक्सीलरेटर", और आपको सामान्य SQL सिंटैक्स का उपयोग करके दृश्य डिजाइन और डेटा परिवर्तनों के विवरण के माध्यम से विकास प्रक्रिया को सरल बनाने की अनुमति देता है - और, बदले में, स्कैला भाषा में कार्य का कोड स्वचालित रूप से उत्पन्न होता है। इस प्रकार, विकास जटिलता का स्तर अधिक पारंपरिक और परिचित टूल जैसे कि Informatica और IBM InfoSphere DataStage पर ETL विकसित करने के बराबर है। इसलिए, इसके लिए विशेषज्ञों के अतिरिक्त प्रशिक्षण या बिग डेटा तकनीकों और भाषाओं के विशेष ज्ञान वाले विशेषज्ञों की भागीदारी की आवश्यकता नहीं है।

अगले चरण में, रिपोर्टिंग रूपों की गणना की जाती है। गणना के परिणाम ओरेकल डीबीएमएस की खिड़कियों में रखे गए हैं, जहां ओरेकल एपेक्स के आधार पर इंटरैक्टिव रिपोर्ट बनाई जाती हैं। पहली नज़र में, यह ओपन-सोर्स बिग डेटा तकनीकों के साथ-साथ वाणिज्यिक ओरेकल का उपयोग करने के लिए काउंटरिंटिटिव लग सकता है। निम्नलिखित कारकों के आधार पर, विशेष रूप से ओरेकल और एपेक्स का उपयोग करने का निर्णय लिया गया था:

• एक नि: शुल्क-वितरित डीबीएमएस के साथ संगत बीआई-समाधान के अभाव और नियामक रिपोर्टिंग के ऑन-स्क्रीन / मुद्रित रूपों के निर्माण के संदर्भ में एनसीसी व्यवसाय की आवश्यकताओं को पूरा करना;
• एक Hadoop क्लस्टर के लिए सोर्स सिस्टम के रूप में शामिल DWH के लिए Oracle का उपयोग करना;
• ओरेकल पर लचीले नियोफ्लेक्स रिपोर्टिंग प्लेटफॉर्म का अस्तित्व, जिसमें नियामक रिपोर्टों का बहुमत है और आसानी से बिग डेटा प्रौद्योगिकी स्टैक के साथ एकीकृत है।

डेटा प्लेटफ़ॉर्म क्लासिक क्यूसीडी के विपरीत, स्रोत प्रणालियों के सभी डेटा को संग्रहीत करता है, जहाँ डेटा विशिष्ट समस्याओं को हल करने के लिए संग्रहीत किया जाता है। उसी समय, डेटा प्लेटफ़ॉर्म में केवल उपयोगी, आवश्यक डेटा का उपयोग, वर्णन, तैयार और प्रबंधित किया जाता है, अर्थात् यदि कुछ डेटा का उपयोग निरंतर आधार पर किया जाता है, तो उन्हें कई संकेतों के अनुसार वर्गीकृत किया जाता है और हमारे क्षेत्र में अलग-अलग खंडों, विभागों में रखा जाता है और प्रबंधित किया जाता है। इन विभागों की विशेषताओं के अनुसार। क्यूसीडी में, इसके विपरीत, सिस्टम पर अपलोड किए गए सभी डेटा तैयार किए जाते हैं, उनके आगे उपयोग की आवश्यकता की परवाह किए बिना।

इसलिए, यदि कार्यों के एक नए वर्ग में विस्तार करना आवश्यक है, तो QCD अक्सर संबंधित T2C के साथ वास्तव में एक नई कार्यान्वयन परियोजना का सामना करता है, जबकि डेटा प्लेटफ़ॉर्म में सभी डेटा पहले से ही सिस्टम में है और प्रारंभिक तैयारी के बिना किसी भी समय उपयोग किया जा सकता है। उदाहरण के लिए, डेटा को ओडीएस से एकत्र किया जाता है, जिसे तुरंत संसाधित किया जाता है, एक विशिष्ट कार्य के लिए "खराब" किया जाता है और अंतिम उपयोगकर्ता को प्रेषित किया जाता है। यदि प्रत्यक्ष उपयोग से पता चला है कि कार्यक्षमता सही है और भविष्य में लागू है, तो पूरी प्रक्रिया शुरू की जाती है, जिसमें लक्ष्य परिवर्तन किए जाते हैं, डेटा पोर्टफोलियो तैयार किए जाते हैं या समृद्ध होते हैं, स्टोरफ्रंट परत सक्रिय होती है और पूर्ण इंटरैक्टिव रिपोर्ट या अपलोड बनाया जाता है।

परियोजना अभी भी कार्यान्वयन के अधीन है, हालांकि, हम कई उपलब्धियों को नोट कर सकते हैं और मध्यवर्ती परिणाम ले सकते हैं:

1. :
   
   
   • , ;
   • LDAP ;
   • : 35 HDFS, 15 (50 . ) ;
   • HDFS «» Big Data;
   • (PDS) Hadoop .
2. Hadoop;
3. open-source , .. Hadoop Spark, ( , ) . , ;
4. «» , ;
5. Datagram , ETL- .

— , - Big Data Solutions «»