🍾 🌏 🏤 गुणन दस्तावेजों को वर्गीकृत करने के लिए एमएल एल्गोरिदम का उपयोग करना: वीटीबी अनुभव 🧓🏼 🆒 🚦

कानूनी संस्थाओं के क्रेडिट कन्वेयर के हिस्से के रूप में, बैंक कंपनियों से विभिन्न दस्तावेजों के मूल का अनुरोध करते हैं। अक्सर इन दस्तावेजों के स्कैन एक एकल बहु-पृष्ठ फ़ाइल के रूप में आते हैं - "स्ट्रीम"। उपयोग में आसानी के लिए, प्रवाह को अलग-अलग दस्तावेजों (एकल-पृष्ठ या बहु-पृष्ठ) में वर्गीकृत किया जाना चाहिए और वर्गीकृत किया जाना चाहिए। कटौती के तहत, हम पहले से खंडित दस्तावेजों के वर्गीकरण में मशीन लर्निंग एल्गोरिदम के आवेदन के बारे में बात करते हैं।

दस्तावेज़ का प्रकार पाठ और दृश्य जानकारी दोनों द्वारा निर्धारित किया जाता है। उदाहरण के लिए, पासपोर्ट या काम की किताब के अंदर पाठ का विश्लेषण किए बिना नेत्रहीन भेद करना आसान है। इसके अलावा, यदि गैर-विशिष्ट समाधानों का उपयोग किया जाता है तो ऐसे दस्तावेजों में पाठ की पहचान की गुणवत्ता कम होती है। इसलिए, दृश्य घटक वर्गीकरण के लिए अधिक प्रासंगिक जानकारी रखता है। लीज एग्रीमेंट और कंपनी का चार्टर दृष्टिगत रूप से समान हो सकता है, हालांकि, उनके द्वारा की जाने वाली पाठ्य सूचना काफी भिन्न होती है। नतीजतन, दस्तावेजों को वर्गीकृत करने का कार्य एक डेटा संलयन मॉडल के लिए कम हो जाता है, जिसमें असंरचित डेटा के दो स्रोतों को संयोजित करना चाहिए: दस्तावेज़ का एक दृश्य प्रतिनिधित्व और पाठ जानकारी की मान्यता के परिणाम।

ध्यान दें कि बैंकिंग में, दस्तावेजों के वर्गीकरण का उपयोग स्कैन या दस्तावेजों की तस्वीरों पर व्यक्तियों के कन्वेयर में भी किया जाता है, दस्तावेजों की संचित निधि को छाँटने के लिए, ग्राहक की गुणवत्ता को सुधारने के लिए, ग्राहक के दस्तावेजों को छानने के लिए, भुगतान दस्तावेज़ों को छाँटने के लिए, समाचार प्रवाह की अतिरिक्त जांच के लिए आदि। ।

BERT मॉडल

हमारी समस्या को हल करने के लिए, हमने BERT मॉडल (ट्रांसफॉर्मर से बिडायरेक्शनल एनकोडर रिप्रेजेंटेशन) - एक बहुपरत द्विदिश कोडिंग ट्रांसफॉर्मर पर आधारित एक भाषा मॉडल का उपयोग किया । ट्रांसफार्मर को इनपुट के रूप में टोकन (शब्दों के कोड या शब्दों के भागों) का एक अनुक्रम प्राप्त होता है और आंतरिक परिवर्तनों के बाद, इस क्रम का एक कोडित प्रतिनिधित्व - एम्बेडिंग का एक सेट पैदा करता है। इसके अलावा, इन एम्बेडिंग का उपयोग विभिन्न समस्याओं को हल करने के लिए किया जा सकता है।

ट्रांसफार्मर मॉडल आर्किटेक्चर

यदि अधिक विस्तार से, तो टोकन का एक अनुक्रम इनपुट को खिलाया जाता है, इन टोकन की स्थिति के कोड और सेगमेंट (ऑफ़र) के कोड के साथ संक्षेपित किया जाता है जिसमें टोकन स्थित हैं। प्रत्येक इनपुट अनुक्रम के लिए, ट्रांसफार्मर "ध्यान" के अनुकूली तंत्र के आधार पर एक संदर्भ-संवेदनशील प्रतिनिधित्व (संपूर्ण अनुक्रम के लिए एम्बेडिंग का एक सेट) उत्पन्न करता है। प्रत्येक आउटपुट एम्बेडिंग एन्कोडेड "ध्यान" कुछ टोकन दूसरों के सापेक्ष।

हम इस शब्द को सांकेतिक शब्दों में बदलना, "ध्यान" तंत्र का हिस्सा पशु पर केंद्रित है और इसे एन्कोडिंग ( द इलस्ट्रेटेड ट्रांसफोमर ब्लॉग से ) में इसके प्रतिनिधित्व का निश्चित हिस्सा है ।

BERT मॉडल दो चरणों में बनाया गया है: पूर्व प्रशिक्षण और फ़ाइल ट्यूनिंग। पूर्व प्रशिक्षण के दौरान, मॉडल दो समस्याओं को हल करता है: एमएलएम (नकाबपोश भाषा मॉडल) और एनएसपी (नेक्स्ट सेंटेंस प्रेडिक्शन)। एमएलएम कार्य में, इनपुट अनुक्रम में टोकन का एक निश्चित अनुपात बेतरतीब ढंग से लेबल (नकाबपोश) है, और कार्य उन नकाबपोशों के मूल्यों को पुनर्स्थापित करना है जो नकाब लगाए गए हैं। एनएसपी टास्क वाक्यों के जोड़े पर एक द्विआधारी वर्गीकरण है जब यह भविष्यवाणी करना आवश्यक है कि क्या दूसरा वाक्य पहले की तार्किक निरंतरता है। ट्यूनिंग के दौरान, पूर्व-प्रशिक्षित ट्रांसफार्मर इन विशिष्ट कार्यों पर पीछे हट जाते हैं। ट्रांसफार्मर आधारित ट्यूनिंग कई NLP में खुद को साबित कर दी है ( प्राकृतिक भाषा संसाधन ) कार्य :। स्वचालित चैट बॉट, अनुवादक, पाठ विश्लेषक, और दूसरों ट्रांसफार्मर

सर्किटफ्रेंच से अंग्रेजी के लिए एक स्वचालित अनुवादक ( इलस्ट्रेटेड ट्रांसफोमर ब्लॉग से ) के

लिए, बीईआरटी मॉडल दिखाई देने से पहले, पेजिंग स्कैन के लिए तरीकों का इस्तेमाल किया गया था: चित्रों से दृढ़ संकेत ( सीएनएन दृढ़-निरपेक्ष नेटवर्क का उपयोग करके प्राप्त ), आवृत्ति पाठ विशेषताएँ ( TF-IDF ) , विषयगत पाठ टैग ( एलडीए विषय), दृढ़ पाठ टैग (1-डी कनवल्शन), शब्द एम्बेडिंग ( वर्डट्वेक , ग्लोव ) और उनके संयोजन।

पहले विकसित तरीके अच्छी गुणवत्ता देते हैं। लेकिन गुणवत्ता को अधिकतम के करीब चुना जाता है, इसे सुधारना जितना मुश्किल होता है। जैसा कि हम बाद में दिखाएंगे, जब हमारे पास पहले से ही अधिकतम के करीब एक गुणवत्ता थी, तो बीईआरटी मॉडल के उपयोग ने इसे और भी अधिक बनाने में मदद की।

चूंकि हम मुख्य रूप से रूसी ग्रंथों के साथ काम करते हैं, इसलिए हमने BERT मॉडल का उपयोग किया, रूसी ग्रंथों के कुछ मामलों पर पूर्व-प्रशिक्षित ( RuBERT, रूसी, दीपपावलोव से आवरण)।

हमारे डेटासेट

विवरण

उन दस्तावेजों का चयन, जिन पर हमने वर्गीकरण समस्या को हल किया, उनमें कई वर्षों से VTB बैंक द्वारा संचित कंपनियों के कॉर्पोरेट दस्तावेजों के स्कैन शामिल हैं। बहु-पृष्ठ कॉर्पोरेट दस्तावेजों को स्कैन की गई धारा से अर्ध-स्वचालित रूप से खंडित किया गया था, और उनके पृष्ठों को भुगतान किए गए समाधानों द्वारा वर्गीकृत किया गया था।

अधिकांश स्कैन काले और सफेद होते हैं, और एक छोटा अनुपात रंग होता है (मुख्य रूप से रंग प्रिंट के कारण)।

व्यावसायिक इकाइयों के ग्राहकों ने दस्तावेजों की 10 मुख्य श्रेणियों की पहचान की (लगभग 30,000 पहले से ही बहुआयामी बहु-दस्तावेज़, ~ 129,000 पृष्ठ)। विभाजन के दौरान त्रुटियों के कारण दस्तावेजों को मैन्युअल रूप से साफ करना पड़ा। एक श्रेणी "अन्य" भी पेश की गई थी, जिसमें कम महत्वपूर्ण दस्तावेजों की अन्य सभी श्रेणियों को संयोजित किया गया था (लगभग 300 श्रेणियां, ~ 43,000 बहु-पृष्ठ दस्तावेज़ पहले से ही खंडित, ~ 128,000 पृष्ठ)। नतीजतन, हम 11 कक्षाओं के साथ एक क्लासिफायरियर का निर्माण करेंगे। हमने इमेजनेट डेटासेट से "अन्य" श्रेणी ("मूर्ख से सुरक्षा") के लिए लगभग 18,000 चित्र भी जोड़े हैं ।

मुख्य 10 श्रेणियां हैं:

पट्टा अनुबंध
प्रतिभागियों के रजिस्टर से निकालें
कंपनी चार्टर
कर प्राधिकरण के साथ पंजीकरण का प्रमाण पत्र
कानूनी संस्थाओं के लिए प्रश्नावली
रूसी पासपोर्ट
निगमन पत्र
कानूनी इकाई के राज्य पंजीकरण का प्रमाण पत्र
आदेश / आदेश
निर्णय / प्रोटोकॉल

विभिन्न अन्य पहचान पत्र (विदेशी पासपोर्ट, माइग्रेशन कार्ड, आदि), अन्य प्रमाण पत्र, आईपी प्रश्नावली, बयान, कार्य, अटॉर्नी की शक्तियां, प्रश्नावली, मध्यस्थ न्यायाधिकरण के फैसले, इमेजनेट से चित्र, और अन्य को अन्य श्रेणी में शामिल किया
गया था । लगभग 81% पहले से ही बहु-पृष्ठ दस्तावेजों (ऐसे सभी दस्तावेजों की संख्या), देव - 9%, परीक्षण - 10%। प्रयोग की शुद्धता के लिए, चयन को विभाजित किया गया था ताकि किसी भी खंड वाले बहु-पृष्ठ दस्तावेज़ के पृष्ठ पूरी तरह से एक हिस्से में गिर गए: या तो ट्रेन, या देव, या परीक्षण।

प्रमाणित-सिले हुए पृष्ठ

अक्सर, कॉर्पोरेट ग्राहक मूल प्रदान नहीं करते हैं, लेकिन दस्तावेजों की प्रतियां, जिनमें से कई नोटरी पब्लिक या कंपनी प्रबंधकों द्वारा प्रमाणित होती हैं। इसके अलावा, बहु-पृष्ठ दस्तावेज़ अक्सर स्टैपल किए जाते हैं, फ़र्मवेयर तिथि निर्धारित करते हैं, और अंतिम पृष्ठ पर फिर से प्रमाणित होते हैं।

इसलिए, हमारे डेटासेट में कई ऐसे बहु-पृष्ठ दस्तावेज़ हैं, जहां अंतिम स्कैन (पृष्ठ) पर फ़र्मवेयर, गवाहों के विवरण या विवरण के बारे में मुहरें, तारीखें और अन्य जानकारी होती है, लेकिन दस्तावेज़ के वर्ग से संबंधित नहीं होती है। नीचे धारा से खंडित दो अलग-अलग बहु-पृष्ठ दस्तावेजों के अंतिम पृष्ठ हैं, जो अन्य पृष्ठों को नहीं देखने पर सही ढंग से वर्गीकृत करना लगभग असंभव है।

विभिन्न वर्गों के दस्तावेजों के समान अंतिम पृष्ठ

स्कैन की गुणवत्ता

हालाँकि दस्तावेज़ स्कैनिंग आमतौर पर बैंक कार्यालयों (अच्छी प्रतिलिपि बनाने वाले उपकरण का उपयोग करके) में होती है, ग्राहक अक्सर दस्तावेजों की स्कैन की गई प्रतियां बार-बार लाते हैं। और ऐसी प्रतियों की गुणवत्ता बहुत अधिक होती है: स्कैन पर बहुत अधिक शोर और कलाकृतियां होती हैं जो टोनर की खराब गुणवत्ता, कई दस्तावेजों पर होलोग्राम और बनावट से और अन्य कारणों से दिखाई दे सकती हैं।

अभिविन्यास

डेटासेट में स्कैन के गलत अभिविन्यास के साथ बहुत सारे दस्तावेज़ हैं, यह विशेष रूप से आईडी कार्ड और लैंडस्केप मोड में बनाए गए टेक्स्ट दस्तावेज़ों के लिए सही है। लेकिन मूल रूप से, पाठ को 90 डिग्री () 5 डिग्री) के कई से घुमाया जाता है। पाठ को निकालते समय, हमने अतिरिक्त रूप से चित्र का "सही" अभिविन्यास निर्धारित किया ताकि अधिकांश पाठ लंबवत रूप से उन्मुख हो।

बेसलाइन

चूंकि अधिकांश दस्तावेज़ पहले पृष्ठ से स्कैन करना शुरू करते हैं, इसलिए कक्षा को निर्धारित करने के लिए आमतौर पर इस पर पर्याप्त जानकारी होती है, और कई बहु-पृष्ठ दस्तावेज़ एक पहले पृष्ठ में अच्छी तरह से भिन्न होते हैं।

इसलिए, हम अपने पहले पृष्ठों पर केवल बहु-पृष्ठ दस्तावेज़ों के लिए हमारे आधार रेखा वर्गीकरण का निर्माण करेंगे।

ध्यान दें कि यद्यपि हम इस लेख में बहु-पृष्ठ धाराओं (PSS - पेज स्ट्रीम विभाजन) के विभाजन की समस्या पर विचार नहीं करते हैं, लेकिन यदि हम दस्तावेजों के शेष पृष्ठों को हमारे वर्गीकरणकर्ता के प्रशिक्षण में जोड़ते हैं, और केवल पहले नहीं, तो हम बाइनरी वर्गीकरण के साथ PSS विभाजन की समस्या का समाधान आसानी से प्राप्त कर सकते हैं : धारा से पृष्ठों के लिए, दो वर्गों की भविष्यवाणी की जाती है: "नया दस्तावेज़" या "एक ही दस्तावेज़"।

preprocessing

चूंकि स्कैन की कई छवियां बड़ी हैं, और यह प्रसंस्करण गति को प्रभावित करता है, इसलिए हम शुरू में सभी स्कैन को संकुचित करते हैं ताकि दोनों छवि आकार (चौड़ाई और ऊंचाई) 2000 पिक्सेल से अधिक न हों।

छवियों से पाठ निकालने के लिए, हमने Google से नि: शुल्क टेसरैक्ट 4.0 पैकेज का उपयोग किया । इस पैकेज के संस्करण 4.0 (और उच्चतर) शोर के साथ बहुत अच्छी तरह से काम करता है (पिछले संस्करणों के विपरीत), इसलिए हमने ग्रंथों से शोर को नहीं हटाया, लेकिन स्कैन छवि से पाठ निकालने से पहले "सही" अभिविन्यास निर्धारित किया, जिसके लिए हमने टेसरैक्ट में विशेष कार्यों का भी उपयोग किया 4.0।

चित्रों में संवादात्मक वर्गीकरण

प्रत्येक दस्तावेज़ से, हमने पूर्व-प्रशिक्षित दृढ़- निरपेक्ष तंत्रिका नेटवर्क ( ResNet34 ) का उपयोग करते हुए दृढ़ संकेत प्राप्त किए । इसके लिए, अंतिम संकेंद्रित परत के आउटपुट - 512 सदिश संकेतों का एक वेक्टर - लिया गया। एक तंत्रिका नेटवर्क के माध्यम से चलने से पहले, ट्रेन से स्कैन की तस्वीरें मुकरने के प्रतिरोध को कम करने के लिए कुछ वृद्धि से गुजरती हैं।

दृढ़ संकेतों पर क्लासिफायरियर के एक मॉडल के रूप में, देव पर मापदंडों के चयन के साथ लॉजिस्टिक प्रतिगमन और वृद्धि की कोशिश की गई थी।

परीक्षण पर सबसे अच्छा दृढ़प्रतिज्ञ क्लासिफायर मॉडल की गुणवत्ता लॉजिस्टिक प्रतिगमन पर लगभग 76.1% (सटीकता) थी।

इस पद्धति ने हमें स्कैन को वर्गीकृत करने की अनुमति दी जो जाहिरा तौर पर एक दूसरे से अलग हैं। लेकिन तंत्रिका नेटवर्क के माध्यम से चित्रों को चलाने के लिए, वे तंत्रिका नेटवर्क के इनपुट के आकार के लिए संकुचित थे (ResNet34 के इनपुट पर 224x224 पिक्सल का आकार है), और इसलिए वर्गीकरण की गुणवत्ता कम है: दस्तावेजों का ठीक प्रिंट अपठनीय हो जाता है, और क्लासिफायर केवल कुछ प्रशंसनीय संकेतों के लिए "पकड़" सकता है। एक बड़े फ़ॉन्ट से प्राप्त, एक विशेष व्यवस्था के साथ एक पृष्ठ पर कुछ वस्तुओं, आदि, लेकिन इस तरह के एक क्लासिफायरर पाठ के सार को ध्यान में नहीं रखते हैं।

लीज एग्रीमेंट के पहले पेज का स्कैन और कंपनी के चार्टर का पहला पेज नेत्रहीन अच्छी तरह से अलग हैं

लेकिन हम कॉरपोरेट दस्तावेजों को वर्गीकृत करने की समस्या को हल कर रहे हैं, जहां कई प्रकार के दस्तावेजों में ज्यादातर पाठ्य सूचनाएँ होती हैं और नेत्रहीन रूप से अंतर करना मुश्किल होता है - समान दस्तावेज़ हेडर के साथ लाइनों के "लम्बी स्पॉट" पर केवल "कैच" करना नेत्रहीन रूप से मुश्किल है, नेत्रहीन

दो अलग-अलग श्रेणियों से प्रमाणपत्रों की स्कैन की गई प्रतियों को कम करना। लगभग अप्रभेद्य

हम मानते हैं कि पाठ विशेषताएँ गुणवत्ता में सुधार करेंगी, और इसलिए पाठ विशेषताएँ जोड़ें, या बल्कि, बेसलाइन मॉडल के लिए एक पाठ क्लासिफ़ायर बनाएं।

पाठ का वर्गीकरण

बेसलाइन मॉडल के लिए, हम स्कैन से निकाले गए ग्रंथों पर केवल TF-IDF (टर्म फ़्रीक्वेंसी - इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी) संकेतों पर एक टेक्स्ट क्लासिफायरमेंट का निर्माण करेंगे। थर्मल मैट्रिक्स टीएफ-आईडीएफ को संकलित करने से पहले, ग्रंथों को निचले मामले में घटा दिया गया था; विराम चिह्न, शब्दों को रोकना ग्रंथों से हटा दिया गया था; शब्दों को वर्तनी के लिए जाँचा गया और लेमेटेटाइजेशन (Pymystem3 package) द्वारा प्रारंभिक रूप में घटाया गया।

एक क्लासिफायर मॉडल के रूप में, हमने फिर से लॉजिस्टिक प्रतिगमन और वृद्धि की कोशिश की, मापदंडों को देव पर चुना गया। चूँकि थर्मल मैट्रीस आकार में बड़े होते हैं और बहुत विरल होते हैं, इसलिए लॉजिस्टिक रिग्रेशन में अच्छी गुणवत्ता दिखाई दी, और गुणवत्ता 85.4% (सटीकता) प्रति परीक्षण थी।

सहपाठियों का पहनावा

पहनावा प्राप्त करने के लिए, हमने देव नमूने पर चुने गए भार के साथ दृढ़ और पाठ क्लासिफायर का मिश्रण लिया। यही है, प्रत्येक स्कैन एस के लिए हम भार α के साथ ले जाते हैं, वाई _{सीएनएन} (श्रेणियों की संख्या द्वारा 11-अंक) सेट करते हैं, जो कि दिक्क्तिक वर्गीकरणकर्ता द्वारा जारी किया जाता है, हम पाठ 1-α, और वजन के साथ, पाठ वर्गीकरण द्वारा जारी किए गए 11-अंकों की संभाव्यता सेट Y _TF-IDF भी लेते हैं। मिश्रित बेसलाइन क्लासिफायरियर का आउटपुट प्राप्त करने के लिए इन भारित सेटों को संक्षेप में लिखें:

Y _{CNN + TF-IDF} (S) = α Y _CNN + (1 - α) Y _TF-IDF

, परिणामस्वरूप, हमें परीक्षण पर मिश्रित क्लासिफायर 90.2% (सटीकता) की गुणवत्ता मिली।
क्लासिफायर का परिणाम: कनफ्यूजनियल (Y _CNN ), टेक्स्ट tf-idf (Y पर आधारित)_TF-IDF ) और उनका पहनावा (Y _{CNN + TF-IDF} ):

वाई _{सीएनएन} - 76.1%
Y _tf-idf - 85.4%
Y _{CNN + TF-IDF} - 90.2%

दो-चरण वर्गीकरण

सहपाठियों के पहनावे के परिणामों का विश्लेषण करने पर, यह पता चला कि वह अक्सर "पासपोर्ट (RF)" श्रेणी के स्कैन पर गलतियां करता है, पासपोर्ट को "अन्य" के रूप में वर्गीकृत करता है, क्योंकि इस श्रेणी में बहुत सारे पहचान पत्र शामिल हैं। इसके अलावा, उनके स्कैन, साथ ही पासपोर्ट स्कैन भी अक्सर खराब गुणवत्ता के होते हैं, जो गुणात्मक वर्गीकरण के साथ हस्तक्षेप करते हैं।
इसलिए, हमने वर्गीकरण को दो चरणों में पूरा करने का निर्णय लिया।

चरण 1

हमने ट्रेन, देव और परीक्षण में प्रारंभिक विभाजन के अनुसार "अन्य" श्रेणी से "रूसी संघ के पासपोर्ट" श्रेणी में स्थानांतरित कर दिया।

मुख्य 10 श्रेणियां:

पट्टा अनुबंध
प्रतिभागियों के रजिस्टर से निकालें
कंपनी चार्टर
कर प्राधिकरण के साथ पंजीकरण का प्रमाण पत्र
कानूनी संस्थाओं के लिए प्रश्नावली
रूसी संघ का पासपोर्ट + विभिन्न आईडी कार्ड (विदेशी पासपोर्ट, माइग्रेशन कार्ड, आदि)
निगमन पत्र
कानूनी इकाई के राज्य पंजीकरण का प्रमाण पत्र
आदेश / आदेश
निर्णय / प्रोटोकॉल

श्रेणी "अन्य":

अन्य सबूत
आईपी प्रश्नावली
बयान
अधिनियमों
पॉवर ऑफ़ अटॉर्नी
प्रश्नावली
मध्यस्थता अदालत के निर्णय, आदि।

हमने ऐसे संशोधित नमूने पर सहपाठियों के एक समूह को प्रशिक्षित किया।

चरण 2

दूसरे चरण के रूप में, हमने पहले चरण में प्राप्त श्रेणी 6 के भीतर एक द्विआधारी वर्गीकरण किया: "रूसी संघ का पासपोर्ट" (कक्षा 1) बनाम "विभिन्न आईडी कार्ड" (कक्षा 0)। ऐसा करने के लिए, सादृश्य द्वारा, हमने कनवल्शनल और टेक्स्ट क्लासिफायर को प्रशिक्षित किया (दोनों मॉडलों में एक लॉजिस्टिक प्रतिगमन था) और उनके आउटपुट का वजन किया, जिससे पहनावा प्राप्त हुआ।

दो चरणों में समग्र वर्गीकरण गुणवत्ता प्रति परीक्षण 95.7% (सटीकता) निकली। इस मामले में, गुणवत्ता हमारे व्यावसायिक ग्राहकों (सीमा - 95%) की आवश्यकताओं को पूरा करती है।

BERT संकेत

हमने एक द्वि-चरणीय वर्गीकरण बनाया, जैसा हमने ऊपर किया था, लेकिन प्रत्येक चरण में, TF-IDF सुविधाओं के बजाय, हमने RuBERT मॉडल से प्राप्त पृष्ठों के पाठ एम्बेडिंग का उपयोग किया। प्रत्येक पृष्ठ के लिए, पाठ को टोकन दिया गया था, और पहले 256 टोकन के एक क्रम को RuBERT मॉडल के इनपुट (पैड के साथ 512 तक, यानी, मॉडल इनपुट के आकार तक) के लिए आपूर्ति की गई थी।

अधिक दक्षता के लिए, पाठ एम्बेडिंग प्राप्त करने से पहले, हमने अपने डेटासेट से ग्रंथों पर मास्क किए गए भाषा मॉडल (एमएलएम) मॉडल को पूर्व-प्रशिक्षित किया, उसी तरह जैसे कि बीईआरटी मॉडल के लेखकों ने यह किया था: जब हमने RuBERT मॉडल के इनपुट को टोकन का एक क्रम खिलाया था, तो हमने एक निश्चित अंश को [MASK] टोकन से बदल दिया था। टोकन ले लिया। प्रयोग की शुद्धता के लिए, केवल ट्रेन से ग्रंथों पर पूर्व प्रशिक्षण किया गया था। खंडित दस्तावेजों के सभी पृष्ठों पर टोकन अनुक्रम लिया गया था, और न केवल पहले पर। अनुक्रम की शुरुआत टोकन पाठ से बेतरतीब ढंग से चुनी गई थी।
एम्बेडिंग के चरण में, RuBERT मॉडल के परिणामी आउटपुट का औसत वेक्टर पृष्ठ के पाठ एम्बेडिंग के रूप में लिया गया था।

पूर्व-प्रशिक्षण ने द्वि-चरणीय वर्गीकरण में सुधार दिया: RuBERT मॉडल से प्राप्त पाठ एम्बेडिंग का उपयोग करते समय, गुणवत्ता परीक्षण द्वारा 96.3% (सटीकता) तक बढ़ गई। इस तथ्य पर ध्यान दें कि करीब सटीकता 100% है, इसे सुधारना जितना मुश्किल है। इसलिए, 0.6% की वृद्धि हुई परिणाम महत्वपूर्ण माना जा सकता है।

इनपुट टोकन अनुक्रमों की लंबाई में 512 (BERT मॉडल के इनपुट आकार तक) में वृद्धि ने ध्यान देने योग्य वृद्धि नहीं की।

हमें क्या मिला

मॉडल की अंतिम योजना:

सभी परीक्षण किए गए मॉडल की गुणवत्ता:

वाई _{सीएनएन} - 76.1%,
Y _TF-IDF - 85.4%,
Y _{CNN + TF-IDF} - 90.2%,
वाई _{सीएनएन + टीएफ-आईडीएफ + 2 स्टेप्स} - 95.7%,
Y _{CNN + RuBERT + 2 स्टेप्स} - 96.3%,

जहां Y _CNN एक कन्टेक्शनल क्लासिफायरियर है, Y _{TF-IDF TF-IDF} की विशेषताओं पर एक टेक्स्ट क्लासिफायरियर है।

Y _{CNN + TF-IDF} - सहपाठियों का पहनावा (Y _{CNN + TF-IDF} (S) = α Y _CNN + (1 - α) Y _TF-IDF, α = 0.45)।

वाई _{सीएनएन + टीएफ-आईडीएफ + 2 स्टेप्स} - दो-चरण वर्गीकरण: 1) आईडी कार्ड "रूसी संघ + आईडी कार्ड के पासपोर्ट" श्रेणी में फेंक दिए जाते हैं, और 11 वर्गों के साथ परिणामी नमूने पर सहपाठियों का एक समूह बनाया जाता है; 2) "रूसी संघ के पासपोर्ट + पहचान पत्र" श्रेणी में, दो वर्गों के साथ सहपाठियों का एक समूह बनाया जा रहा है: कक्षा 1 - रूसी संघ का पासपोर्ट, कक्षा 0 - पहचान पत्र।

Y _{CNN + RuBERT + 2 स्टेप्स}- दो-चरण वर्गीकरण; TF-IDF संकेतों के बजाय, हमारे डेटासेट पर पूर्व-प्रशिक्षित RuBERT मॉडल के टेक्स्ट एम्बेडिंग को लिया जाता है।

गुणन दस्तावेजों को वर्गीकृत करने के लिए एमएल एल्गोरिदम का उपयोग करना: वीटीबी अनुभव