🧒🏼 🚣🏿 ⛏️ कैसे पूरी तरह से एनएलपी टेक्नोलॉजीज समाचार की निगरानी और जोखिम को प्रबंधित करने के लिए सीखते हैं 👐🏾 👴🏻 👨🏼‍🤝‍👨🏻

एबीबीवाई प्रौद्योगिकियों का उपयोग करके हल किए जा सकने वाले कार्यों की श्रेणी को एक और दिलचस्प अवसर के साथ फिर से भर दिया गया है। हमने अपने इंजन को एक बैंक अंडरराइटर के काम में प्रशिक्षित किया - एक व्यक्ति जो समाचारों की विशाल धारा से प्रतिपक्षियों की घटनाओं को पकड़ता है और जोखिमों का आकलन करता है।

अब, एबीबीवाई प्रौद्योगिकियों पर आधारित इस तरह की प्रणाली पहले से ही कई बड़े रूसी बैंकों द्वारा उपयोग की जाती है। हम इस समाधान को लागू करने की बारीकियों के बारे में बात करना चाहते हैं - बल्कि यह कि हमारे ऑन्कोलॉजिस्ट को अप्रत्याशित और अप्रत्याशित चुनौतियों का सामना करना पड़ा।

समाचार प्रवाह पर अंकुश

सफल होने के लिए, एक बैंक को यह जानने की आवश्यकता होती है कि वह किसके साथ काम कर रहा है और अपने समकक्षों के जीवन में महत्वपूर्ण परिवर्तनों के लिए जल्दी से प्रतिक्रिया करता है। खासकर जब ये अन्य बैंक या बड़े कॉर्पोरेट ग्राहक हैं - आईटी कंपनियां, कृषि उद्यम और अन्य। इसके लिए, अधिकांश रूसी बैंकों में विशेष विशेषज्ञ हैं - अंडरराइटर। वे बैंक के लिए जोखिम कारकों के लिए समाचार रिपोर्टों सहित विभिन्न स्रोतों से जानकारी का विश्लेषण करते हैं। यह न केवल समाचार पढ़ने के लिए आवश्यक है, बल्कि यह भी मूल्यांकन करने के लिए है कि यह बैंक और उसके ग्राहकों को कैसे प्रभावित करेगा।

जोखिम कारक भिन्न हो सकते हैं:

दिवाला,
शेयरधारकों संघर्ष
स्वामित्व या प्रबंधन संरचना में परिवर्तन,
धोखाधड़ी के तथ्य, ग्राहक द्वारा व्यवसाय के नुकसान की धमकी,
नियामक एजेंसियों द्वारा दावों और अनिर्धारित निरीक्षणों के बारे में जानकारी,
दावों की उपस्थिति
,
.

यदि अंडरराइटर एक जोखिम कारक की पहचान करता है, तो इस तरह के प्रतिपक्ष के साथ दीर्घकालिक सहयोग बैंक में समस्याओं को ला सकता है, परीक्षण तक। और एक नकारात्मक परिणाम की संभावना जितनी जल्दी हो सके पता लगाना महत्वपूर्ण है। यह इतना सरल क्यों नहीं है? समाचार में, न केवल समकक्षों का उल्लेख महत्वपूर्ण है, बल्कि संदर्भ भी है। आपको यह समझने की आवश्यकता है कि बैंक के जोखिम स्रोतों से संबंधित कारकों के साथ किसी व्यक्ति या कंपनी का क्या संबंध है।

इस बीच, समाचार प्रवाह, विशेष रूप से न केवल संघीय, बल्कि क्षेत्रीय मीडिया पर भी विचार किया जा रहा है, यह बहुत बड़ा है और लगातार बढ़ रहा है। अकेले मेडियोलॉजी, एक समाचार निगरानी सेवा, 52 हजार स्रोतों से सामग्री एकत्र करती है । Roskomnadzor के अनुसार, सितंबर 2019 तक, यह रूसी मीडिया रजिस्टर में पंजीकृत था67 हजार से अधिक सक्रिय मीडिया। एक व्यक्ति शारीरिक रूप से सभी समाचारों को जल्दी से पढ़ने में असमर्थ है, भले ही यह उसके लिए केवल रुचि का विषय हो। इसलिए बैंकों को या तो लगातार अंडरराइटर के कर्मचारियों की भरपाई करनी है, या सूचना प्रौद्योगिकी के क्षेत्र में एक वैकल्पिक समाधान की तलाश करनी है।

समाधान के विकल्प

सबसे स्पष्ट तरीका विभिन्न विषयों पर बंद समाचार फ़ीड के लिए सदस्यता के माध्यम से संदेशों के प्रवाह को कम करना है। ऐसे टेप इंटरफैक्स, प्राइम, थॉमसन रॉयटर्स, ब्लूमबर्ग और अन्य समाचार एजेंसियों द्वारा पेश किए जाते हैं। उनमें समाचार पहले से ही आंशिक रूप से संरचित हैं: कंपनी के नामों के साथ टैग हैं, समाचार में शामिल प्रमुख व्यक्ति। लेकिन यह समस्या को पूरी तरह से हल नहीं करता है: संदर्भ के साथ काम अभी भी हामीदार के साथ टिकी हुई है।

कंपनियों में कई मौजूदा मीडिया मॉनिटरिंग सिस्टम टेक्स्ट में कीवर्ड खोज कर काम करते हैं। यह दृष्टिकोण बहुत अधिक सूचनात्मक "शोर" देता है और फिल्टर के रूप में अतिरिक्त चाल के बिना काम नहीं करता है। कीवर्ड के साथ परिदृश्य में पूर्णता और सटीकता वांछित होने के लिए बहुत कुछ छोड़ देती है, क्योंकि:

पाठ में कीवर्ड और उसके संज्ञानात्मक रूपांतरों का उल्लेख किया जा सकता है, लेकिन प्रासंगिक नहीं। उदाहरण के लिए, एक कंपनी को एक ऐतिहासिक संदर्भ में सूचीबद्ध किया जा सकता है जो सीधे संदेश से संबंधित नहीं है।
समाचार में, न केवल समकक्षों का उल्लेख करना महत्वपूर्ण है, बल्कि संदर्भ भी है। आपको यह समझने की आवश्यकता है कि बैंक के जोखिम स्रोतों से संबंधित कारकों के साथ किसी व्यक्ति या कंपनी का क्या संबंध है। यदि आप संदेश ग्रंथों में जोखिम कारकों के उदाहरणों को देखते हैं, तो आप देख सकते हैं कि खोजशब्दों द्वारा खोजे जाने पर कितने संभावित महत्वपूर्ण समाचार छूट सकते हैं। इसलिए, वाक्यांश "शेयरधारकों का संघर्ष" हमेशा समाचार में उल्लिखित नहीं होता है। इस बीच, यदि आप नीचे दिए गए उदाहरण को देखते हैं, तो अंडरराइटर के लिए संघर्ष या इसकी क्षमता स्पष्ट है:

इसके अलावा, कई अन्य नकारात्मक खबरें हैं जिन्हें कंपनी की गतिविधियों का विश्लेषण करते समय विचार किया जाना चाहिए। हालांकि, वे एक श्रेणी में नहीं आते हैं और ग्राहक के व्यवसाय की बारीकियों के आधार पर भिन्न होते हैं:

आप संदर्भ को दूसरे तरीके से जल्दी समझ और विश्लेषण कर सकते हैं। हमारी एनएलपी प्रौद्योगिकियों को याद करने का सही समय है, जो स्वचालित रूप से सामग्री के प्रकार को निर्धारित कर सकते हैं और इससे सार्थक संस्थाओं को निकाल सकते हैं।

पहले नमूने

इसलिए, सबसे बड़े रूसी बैंकों में से एक ने यह निर्धारित करने का निर्णय लिया कि दोनों में से कौन सी तकनीक बेहतर तरीके से जोखिम खोजने के कार्य का सामना करेगी। एक बुद्धिमान दस्तावेज क्लासिफायरियर ने समाचार की सामग्री के आधार पर जोखिम कारकों को निर्धारित किया। टेक्स्ट एनालिटिक्स पर आधारित समाधान ने समाचार से आवश्यक डेटा निकाला। नतीजतन, जैसा कि यह निकला, सबसे अच्छा विकल्प दो समाधानों का सहजीवन है: क्लासिफायर ने टेप से आने वाले दस्तावेजों की संख्या को कम करने में मदद की, और पूरी तरह से अप्रासंगिक जानकारी को हटा दिया, और फिर डेटा निष्कर्षण प्रौद्योगिकियों को काम में शामिल किया गया।

पहले चरण में - अवधारणा का प्रमाण (POC) - जोखिमों की खोज के लिए इन उपकरणों का उपयोग करने की बहुत संभावना का परीक्षण किया गया था। ग्राहक ने एक जोखिम कारक चुना - एक संघर्ष की स्थिति। प्रौद्योगिकी उन संदेशों की पहचान करने वाली थी, जो शेयरधारकों - किसी व्यक्ति या कानूनी संस्थाओं, किसी बैंक के शीर्ष प्रबंधकों या नियामक एजेंसियों के साथ किसी बैंक के संघर्ष के बारे में बात करते थे। एबीबीवाई ऑन्टो-इंजीनियर्स ने विकास के लिए एक ट्रायल मॉडल बनाया, जिसमें 1000 समाचारों का चयन किया गया था। उसने संघर्ष का पाठ, समाचार की तारीख और उसके प्रतिभागियों की एक सूची निकाली। मॉडल ने प्रस्तावित दृष्टिकोण की व्यवहार्यता को साबित किया: पीओसी चरण में, बैंकों में से एक द्वारा प्रदान किए गए नियंत्रण नमूने पर (समाचार जो विकास के लिए उपयोग नहीं किए गए थे), निम्नलिखित परिणाम 50 दस्तावेजों से प्राप्त किए गए थे:

संपूर्णता यह निर्धारित करती है कि हमने जो नमूना लिया उसमें कितने प्रतिशत कारक हैं , और सटीकता - हमारे द्वारा निर्धारित कारकों का कितना प्रतिशत वास्तव में ऐसा है। एफ-माप सटीकता और पूर्णता के बीच हार्मोनिक मतलब है।

POC के सफल समापन के बाद, एक पायलट लॉन्च किया गया था, और उसने अच्छे परिणाम दिखाए। नीचे हमारी एक परियोजना में पायलट के परिणाम हैं। कीवर्ड द्वारा समाचार की खोज करने की तुलना में, केवल एनएलपीवाई मॉड्यूल तीन बार अप्रासंगिक संदेशों को फ़िल्टर कर सकता है। इसका मतलब है कि जोखिम प्रबंधक को तीन गुना कम समाचारों का विश्लेषण करने की आवश्यकता होगी।

परिणाम में सुधार

विकासशील मॉडल की प्रक्रिया में, ऑन्कोलॉजिस्ट नियमित आत्म-परीक्षण के परिणामों द्वारा निर्देशित होते हैं, जिसमें लक्ष्य और प्राप्त मूल्यों के बीच सभी विसंगतियां दर्ज की जाती हैं। ऐसी रिपोर्ट बनाने के लिए, ग्राहक द्वारा दिए गए निर्देशों के अनुसार समाचार को चिह्नित किया गया था। लक्ष्य मानों वाले xml प्रारूप में चिह्नित फ़ाइलों की तुलना ontomodel के वर्तमान संस्करण का उपयोग करने के परिणामस्वरूप प्राप्त xml फ़ाइलों के साथ की गई थी। ऑटोटेस्ट परिणाम दोनों सारांश जानकारी प्रदान करता है जिसमें संपूर्ण समाचार संग्रह के विश्लेषण के गुणवत्ता संकेतक होते हैं, साथ ही प्रत्येक निकाले गए ऑब्जेक्ट और दस्तावेज़ के लिए निजी जानकारी अलग से होती है। तो आप मूल्यांकन कर सकते हैं कि गतिकी में मॉडल की सटीकता कैसे बढ़ती है।

यहाँ ऐसी तालिका का एक उदाहरण दिया गया है:

आदर्श परिणाम सटीकता सटीकता और सटीकता की व्युत्पत्ति, सटीकता मेट्रिक का उपयोग करके भी मापा जा सकता है:

सटीकता मेट्रिक को आधार कहा जा सकता है। यह सभी वस्तुओं की कुल संख्या के सापेक्ष सही ढंग से वर्गीकृत वस्तुओं की संख्या को मापता है। सटीकता मेट्रिक के कुछ नुकसान हैं: यह असंतुलित वर्गों के लिए आदर्श नहीं है, जहां एक वर्ग और कुछ अन्य लोगों के कई उदाहरण हो सकते हैं।

इस मीट्रिक का उपयोग हमारे बड़े ग्राहक भी करते हैं। सटीकता मेट्रिक 85% थी।

भविष्य में, बैंकों ने स्वतंत्र रूप से एबीबीवाई उत्पादों के एकीकरण को अंजाम दिया, जिसके भीतर हमारे मॉडल ने काम किया, और उन्हें अपने सर्किट में उपयोग किया। हमारे उत्पाद बैंकिंग जोखिम प्रबंधन प्रणाली के साथ एकीकृत हैं: वे विश्लेषण के लिए दस्तावेजों को स्थानांतरित करते हैं और परिणाम एकत्र करते हैं।

सिस्टम कैसे काम करता है

एक तकनीकी दृष्टिकोण से, सिस्टम इस तरह से काम करता है: जब पाठ को एबीबीवाई समाधान में संसाधित किया जाता है, तो इसका बहु-चरण भाषाई विश्लेषण किया जाता है। लेक्सिकल-मॉर्फोलॉजिकल चरण में, शब्दों का सबसे सरल गुण निर्धारित किया जाता है: लिंग, संख्या, मामला। फिर, पार्सिंग स्टेज पर, यह निर्धारित किया जाता है कि विषय कहाँ है, भविष्यवाणी करें कि शब्द एक दूसरे से कैसे संबंधित हैं। वाक्यविन्यास को जानने से आप शब्दार्थ को परिभाषित करने के लिए आगे बढ़ सकते हैं। प्रत्येक शब्द के लिए, इसका अर्थ निर्धारित किया जाता है। इस भाषाई विश्लेषण के शीर्ष पर, हमारे ऑन्कोलॉजिस्ट द्वारा विकसित जानकारी निकालने के नियम काम कर रहे हैं। Ontomodel में ग्राहक दस्तावेज़ों से प्राप्त की जाने वाली डेटा संरचना का विवरण और नियम शामिल हैं जो इस डेटा संरचना को पुनः प्राप्त करने की अनुमति देते हैं।

उपयोगकर्ता के दृष्टिकोण से, सब कुछ यथासंभव सरल दिखता है। आपके व्यक्तिगत खाते में, चयनित ग्राहकों पर समाचारों के लिंक हैं, जिसमें प्रौद्योगिकी ने जोखिम देखा। लिंक के बगल में ही जोखिम कारक का पाठ है। इसलिए उपयोगकर्ता को पूरी खबर पढ़ने की आवश्यकता नहीं है। वैकल्पिक रूप से, आप स्वचालित रूप से मेल द्वारा समाचारों के लिंक प्राप्त कर सकते हैं।

पाठ के एक टुकड़े से परिचित होने के बाद, अंडरराइटर खुद तय करता है कि इस जानकारी के साथ आगे क्या करना है।

अप्रत्याशित कठिनाइयाँ

जोखिम एक अमूर्त अवधारणा है। यह एक बहुत ही विशिष्ट पेशेवर क्षेत्र है, और हर दिन जोखिम के साथ काम करने वाले विशेषज्ञों की राय को ध्यान में रखना आवश्यक है। हमारे ग्राहकों के उपयोगकर्ता समाचार के लिए मतदान कर सकते हैं और एक सशर्त "जैसे" डाल सकते हैं: क्या सिस्टम ने समाचार में जोखिम की उपस्थिति को सही ढंग से निर्धारित किया है या नहीं।

सिस्टम को डीबग करने की प्रक्रिया में, हमें इस तथ्य का सामना करना पड़ा कि अंडरराइटर अक्सर समाचार के अर्थ और इसमें जोखिम कारक की उपस्थिति की व्याख्या करते हैं। एक उपयोगकर्ता अपने फ़ीड में एक निश्चित प्रकार का समाचार दिखाना चाहता है, और दूसरा - ऐसे संदेशों को असंगत मानता है। इस समस्या को निम्नानुसार हल किया गया है: बैंक अंडरराइटर्स से समाचारों की एक सूची एकत्र करता है, जिसे विशेषज्ञों ने एक अलग व्याख्या दी, और एक निश्चित समाचार की व्याख्या पर अंतिम निर्णय लेता है: क्या इसमें कोई जोखिम कारक है या नहीं। प्रतिक्रिया के आधार पर संशोधन ऑन्टोमॉडल के लिए किए जाते हैं।

यदि समाचार अंग्रेजी में है तो क्या होगा?

कई रूसी बैंक डो जोन्स, ब्लूमबर्ग, फाइनेंशियल टाइम्स जैसे स्रोतों का उपयोग करते हैं। ABLYY एनएलपी प्रौद्योगिकियों के आधार पर ontomodels के विकास के लिए हमारे दृष्टिकोण का एक लाभ यह है कि अंग्रेजी ग्रंथों के साथ काम करने के लिए रूसी में समाचार का विश्लेषण करने के लिए विकसित किए गए मॉडल का एक त्वरित अनुकूलन है। इसके लिए मूल अंग्रेजी समाचार पर मॉडल को डीबग करना आवश्यक है।

परिणाम दर

अब, अंडरराइटर्स सभी 100,500 संदेशों को पढ़ने के बिना, वास्तविक समय में समाचार का पालन कर सकते हैं। सिद्धांत रूप में, आपको पूरी खबर भी नहीं पढ़नी है, जहां सिस्टम को एक जोखिम कारक मिला: कार्यक्रम में सबसे महत्वपूर्ण (स्निपेट) के साथ टुकड़ा हाइलाइट किया गया है। कुछ मिनटों में, आप स्वचालित रूप से एक बैंक के लिए एक रिपोर्ट उत्पन्न कर सकते हैं, केवल एक जोखिम कारक या कई महत्वपूर्ण लोगों को उजागर कर सकते हैं। इस दृष्टिकोण के साथ, कुछ महत्वपूर्ण याद करना कठिन है। इसके अलावा, हामीदार प्रतिपक्ष कार्ड खोल सकता है और उन संदेशों का चयन कर सकता है जिन्हें वह महत्वपूर्ण मानता है। उनके आधार पर, कंपनी की क्रेडिट रेटिंग को संशोधित किया जा सकता है, ब्याज दर में बदलाव किया जा सकता है, या कंपनी के प्रबंधन से संपर्क करने का एक कारण हो सकता है। इन संदेशों को वर्कफ़्लो सिस्टम में पास किया जाता है।

आप पूछ सकते हैं कि तकनीक कितनी खबरें बनाती है। यह सब समाचार प्रवाह पर निर्भर करता है: जनवरी और मई में, उदाहरण के लिए, पारंपरिक रूप से कम संदेश हैं। एक बैंक हमारे सिस्टम के माध्यम से प्रति माह 2.5 मिलियन समाचार आइटम की जांच कर सकता है। और यह संख्या केवल लाइसेंस और कंप्यूटिंग शक्ति द्वारा सीमित है।

वैसे, समान प्रौद्योगिकियांन केवल बैंकों में, बल्कि किसी भी कंपनियों में काम कर सकते हैं जो प्रतियोगियों, ग्राहकों, भागीदारों के बारे में संदेशों के एक बड़े प्रवाह को ट्रैक करते हैं और सामाजिक नेटवर्क पर उपयोगकर्ता समीक्षा पढ़ते हैं। उदाहरण के लिए, एनएलपी प्रौद्योगिकियों का उपयोग करने वाले उद्यम पूंजी कोष संभावित निवेश के संदर्भ में आशाजनक स्टार्टअप्स के बारे में जानकारी ट्रैक कर सकते हैं, और सरकारी संगठन - किसी विशेष क्षेत्र में क्या हो रहा है, क्या समस्याएं हैं, कौन जिम्मेदार है, आदि के बारे में प्रमुख समाचार। इसके अलावा, आप न केवल मीडिया में संदेशों का विश्लेषण कर सकते हैं, बल्कि सामाजिक नेटवर्क पर ब्लॉग और समीक्षा भी कर सकते हैं।

और अन्य उद्योगों में बैंकों और कंपनियों दोनों के लिए असंरचित दस्तावेजों के प्रसंस्करण के लिए परियोजनाओं के साथ काम करते समय आपको किन कार्यों का सामना करना पड़ा?

कैसे पूरी तरह से एनएलपी टेक्नोलॉजीज समाचार की निगरानी और जोखिम को प्रबंधित करने के लिए सीखते हैं