🚲 👨‍✈️ 💾 एन-ग्राम मॉडल का उपयोग करके अनुबंध दस्तावेजों की छवि में संशोधनों की पहचान का स्वचालन 🧖🏿 🤦🏼 👩‍👩‍👦‍👦

प्रत्येक आधुनिक व्यक्ति जानता है कि आपको किसी दस्तावेज़ पर हस्ताक्षर करने की आवश्यकता है, इससे पहले कि वह इसे पढ़े। इस सरल नियम के उल्लंघनकर्ता कभी-कभी अप्रत्याशित परिणामों से आश्चर्यचकित होते हैं, जिन्हें यदि आप हस्ताक्षर करने से पहले दस्तावेज की जांच करते हैं तो इसे टाला जा सकता है, जिसमें छोटे प्रिंट में लिखा गया है। सेवा प्रदाताओं द्वारा अनुबंध में ट्रिक्स को चुटकुले और फिल्मों के हिस्से के रूप में उपयोग किया जाता है। उदाहरण के लिए, फिल्म ब्लाइंड्स इन डिज़ायरअनुबंध 147, अनुच्छेद 3, अनुबंध 3 के भाग 3 में वर्णित अनुबंध की समाप्ति के लिए शर्तों की अनदेखी के बावजूद, नायक ने शैतान के साथ एक बहुत ही प्रतिकूल सौदा समाप्त कर दिया। सेवा प्रदाताओं के साथ वास्तविक जीवन में कभी-कभी ऐसी ही स्थिति संभव होती है। इंटरनेट पर आप उत्सुक मामलों का वर्णन पा सकते हैं जब एक बैंक ग्राहक ने अपने पक्ष में समझौते की शर्तों को बदल दिया, और यह बैंक के लिए एक आश्चर्य था। आज के लेख में, हम एक एल्गोरिथम के बारे में बात करेंगे जो बैंकों और अन्य क्रेडिट संगठनों के लिए बेहद उपयोगी है, जो अनुबंध दस्तावेजों की छवियों के लिए किए गए संशोधनों का स्वचालित रूप से पता लगाता है। तो बिल्ली के नीचे देखो!

वर्तमान में, कई संगठन जो बड़ी संख्या में नए ग्राहकों को आकर्षित करते हैं, स्व-तैयारी के लिए अपनी वेबसाइट से एक अनुबंध टेम्पलेट डाउनलोड करने की पेशकश करते हैं। मुद्रित, पूर्ण और हस्ताक्षरित अनुबंध दूसरे पक्ष को हस्ताक्षर करने के लिए स्थानांतरित किया जाता है। बेशक, दूसरा पक्ष संभावित ग्राहकों द्वारा तैयार किए गए अनुबंधों की जांच करता है, उदाहरण के लिए, मैन्युअल रूप से प्रस्तुत दस्तावेजों की जांच करना। ऐसे दस्तावेजों की संख्या काफी बड़ी हो सकती है, इसलिए कई चौकस कर्मचारी उनकी जांच करने में शामिल हैं। हालांकि, प्रति दिन कई समान (अर्थ में) दस्तावेजों की जांच करते समय, यहां तक कि एक साफ कर्मचारी भी त्रुटियों को छोड़ सकता है। यह धोखाधड़ी के मामलों की व्याख्या करता है जो मैनुअल सत्यापन के दौरान नहीं पाए गए थे।

हम ऑप्टिकल मान्यता प्रौद्योगिकियों का उपयोग करके ऊपर वर्णित अनुबंध दस्तावेजों के एक बड़े प्रवाह के नियमित सत्यापन के स्वचालन के बारे में बात करेंगे, जो एक बार से अधिक हैबर पर स्मार्ट इंजन लेखों का विषय रहा है (उदाहरण के लिए, एक बार और दो बार )।

अनुबंध दस्तावेज़ व्यावसायिक दस्तावेज़ों के वर्ग से संबंधित हैं जो कुछ कार्यालय प्रबंधन और दस्तावेज़ प्रबंधन प्रणालियों में संचलन के लिए बनाए जाते हैं। व्यावसायिक दस्तावेजों की एक विशिष्ट विशेषता उपयोग की जाने वाली शब्दावली की सीमा है और इसे जिस तरह से डिज़ाइन किया गया है। यह व्यवसाय के दस्तावेजों की समझ को सरल बनाने के लिए दस्तावेजों के रूपों को एकजुट करने की इच्छा के कारण है, सबसे पहले, किसी व्यक्ति द्वारा।

दस्तावेज़ का टेम्पलेट या रूप अग्रिम रूप से वर्णित किया गया है और इसमें जानकारी दर्ज करने के लिए स्थिर पाठ और फ़ील्ड शामिल हैं। टेम्पलेट्स के दो सामान्य वर्गों पर विचार करें: एक निश्चित टेम्पलेट और एक लचीला टेम्पलेट। फिक्स्ड टेम्प्लेट स्थिर पाठों के संशोधन की अनुमति नहीं देता है, उदाहरण के लिए, पीडीएफ प्रारूप का उपयोग करते समय। लचीले टेम्प्लेट का उपयोग स्थिर पाठ के संशोधन की अनुमति देने के लिए किया जा सकता है, उदाहरण के लिए, Microsoft Office प्रारूप में टेम्प्लेट। तदनुसार, हम निश्चित और लचीले दस्तावेजों के बीच अंतर करेंगे।

अपने प्रोटोटाइप [1] के साथ हस्ताक्षरित दस्तावेज़ की छवि (स्कैन या फोटो) की स्वचालित तुलना के लिए ज्ञात तरीके। वे सामग्री के संभावित संशोधनों की जाँच करते हैं:

एक शब्द में एक या अधिक वर्णों का प्रतिस्थापन;
एक शब्द को दूसरे के साथ बदलना;
कोई वर्ण, शब्द या शब्दों का समूह जोड़ें
किसी वर्ण, शब्द या शब्दों के समूह को हटाएं।

कागजी कार्रवाई में संशोधन भी संभव हैं:

शब्दों की शैली (आकार, फ़ॉन्ट, प्रकार) बदलना;
एक शब्द दस्तावेज़ के क्षेत्रों को बदलना;
पैराग्राफ की संख्या में परिवर्तन;
फ़ील्ड बदलें।

एक निश्चित टेम्पलेट का संशोधन एक जानबूझकर मिथ्याकरण है, क्योंकि संरक्षित पाठ को बदलने की इच्छा को समझाने का कोई अन्य तरीका नहीं है। एक लचीले टेम्पलेट का संशोधन या तो मिथ्याकरण हो सकता है, एक आकस्मिक टाइपो या बेहतर स्वरूपण का परिणाम हो सकता है।

इसके बाद, हम फिक्स्ड और लचीले टेम्प्लेट दोनों का उपयोग करके मुद्रित व्यावसायिक दस्तावेजों की प्रतियों में धोखाधड़ी के लिए खोज करने के मॉडल और तरीकों का वर्णन करते हैं।

परीक्षण छवि (कॉपी) और संदर्भ छवि (मूल) की तुलना करने का आधार किसी भी विधि द्वारा पाए गए शब्दों की छवियां हैं। शब्द की छवि को कुछ विवरण (डिस्क्रिप्टर) द्वारा दर्शाया गया है, सबसे स्पष्ट वर्णनकर्ता शब्द के मान्यता प्राप्त वर्ण हैं। शब्द

W

$W$ एक पाठ सुविधा बिंदु के रूप में परिभाषित किया गया है

W = (T (W), B (W))

$W=(T(W),B(W))$ कहाँ पे -

T (W)

$T(W)$ - पाठ विशेषता बिंदु का मूल, अर्थात्, किसी वर्ण के वर्णों का एक अनुक्रम जिसमें किसी वर्णमाला के वर्ण या वर्णों के साथ परिचितता के अनुरूप रेटिंग के साथ परिचितता का अनुक्रम होता है,

B (W)

$B(W)$ - पाठ सुविधा बिंदु का फ्रेम, जिसमें सीमा के निर्देशांक शामिल हैं

B_{x 1} (W)

$B_{x1}(W)$ ,

B_{y 1} (W)

$B_{y1}(W)$ ,

B_{x 2} (W)

$B_{x2}(W)$ ,

B_{y 2} (W)

$B_{y2}(W)$ जिसे एक निश्चित सीमा में और साथ ही सामान्य किया जा सकता है

F (W)

$F(W)$ - एक पाठ सुविधा बिंदु के संकेत (उदाहरण के लिए, एक हेडसेट और फ़ॉन्ट संशोधन)।

एक पाठ सुविधा बिंदु एक छवि में "ग्राफिक" सुविधा बिंदु के समान है, जिसका अर्थ है एक बिंदु जो कई स्थितियों को संतुष्ट करता है:

एक पड़ोस जो इसके आसपास के क्षेत्र से अलग है;
शोर उन्मुक्ति;
कुछ परिवर्तनों का प्रतिरोध (उदाहरण के लिए, परिवर्तनों या स्केलिंग को कम करने के लिए) [2]।

विलक्षण बिंदुओं के गुण हैं:

repeatability – , ;
distinctiveness/informativeness – ;
locality – ;
quantity – ;
accuracy – , , ;
efficiency – .

यह माना जाता है कि एक पाठ सुविधा बिंदु अपने आसपास के क्षेत्र में पाठ विशेषता बिंदुओं से अलग है। यदि पड़ोस से हमारा मतलब एक टेक्स्ट लाइन से है, तो व्यावसायिक दस्तावेज़ों में अधिकांश शब्द लाइन में पड़ोसियों से भिन्न होते हैं। एक ही पंक्ति में रखे गए कई समान शब्द पाठ विलक्षण बिंदु नहीं होंगे। हालांकि, अगर पड़ोस से हमारा मतलब एक या दो पड़ोसी शब्दों से है, तो एक ही पंक्ति में रखे गए दो समान शब्द और आसन्न शब्दों से अलग पाठ विलक्षण बिंदु होंगे। एकवचन माप की तुलना समानता के माप d के उपयोग से की जाती है, जो छवि में एक स्थान के लिए दो बिंदुओं की तुलना करने के मामले में शून्य के करीब मान लेना चाहिए, और छवि में विभिन्न स्थानों से बिंदुओं की तुलना करते समय बड़े मान।इस पत्र में पाठ विलक्षण बिंदुओं के दो कोर की तुलना लेवेन्सहाइट दूरी पर आधारित है

ρ_{L e v}

$\rho_{Lev}$ [३] और इसके संशोधन। द्वार

d (W)

$d(W)$ शब्द तुलना

T (W)

$T(W)$ अन्य शब्दों के साथ इसकी गणना पहले से की जाती है। अगर

ρ_{L e v} (W, W_{r}) < d (W)

$\rho_{Lev}(W, W_r)\lt d(W)$ फिर शब्द

W_{r}

$W_r$ और पाठ सुविधा बिंदु

W

$W$ कर रहे हैं समान , नहीं तो अलग।

फीचर पॉइंट डिस्क्रिप्टर एक आइडेंटिफायर है जिसका इस्तेमाल फीचर पॉइंट्स से मैच करते समय किया जाता है। छवि परिवर्तन के संबंध में विलक्षण बिंदुओं का मिलान करते समय डिस्क्रिप्टर अजेय होने की उम्मीद है।

एक छवि से एकवचन बिंदु निकालने की विधि को एक डिटेक्टर कहा जाता है। डिटेक्टरएक पाठ सुविधा बिंदु कुछ ओसीआर का उपयोग करके एक मान्यता प्रक्रिया है जो दस्तावेज़ छवि से सुविधा बिंदु विवरणक निकालती है। ऊपर सूचीबद्ध फीचर बिंदुओं के गुण विभिन्न प्रकार की छवि विकृतियों की भरपाई के लिए आधुनिक ओसीआर की क्षमता के मामले में पाठ सुविधा बिंदुओं के लिए मान्य हैं। पाठ विलक्षणता विवरणकर्ताओं की विशिष्टता दस्तावेजों की संरचना (नक्षत्रों - वर्गों, पैराग्राफ और लाइनों में एक दस्तावेज़ के अस्पष्ट विभाजन) और प्राकृतिक भाषा गुणों (दो आसन्न शब्दों के दस्तावेजों में एक दुर्लभ संयोग) द्वारा निर्धारित की जाती है। शाब्दिक एकवचन बिंदुओं के बीच विभिन्न संबंध (ऊपर के नीचे, दाएं - बाएं या ज्यामितीय दूरी के बीच के संबंध) आपको क्लस्टरिंग एल्गोरिदम का उपयोग करके अंक को तारामंडल में संयोजित करने की अनुमति देता है।

आदर्श रूप से, ओसीआर त्रुटियों के बिना प्रतिलिपि छवि और दस्तावेज़ टेम्पलेट से सभी पाठ-विशिष्ट डॉट्स निकालता है। यह आपको नक्षत्रों को बनाने की अनुमति देता है, विशेष रूप से लाइन। एक प्रतिलिपि और एक संदर्भ की तुलना में संदर्भ के सभी एकवचन या पाठ के विलक्षण बिंदुओं और प्रतिलिपि के पाठ विशिष्ट बिंदुओं के एक सेट के बीच एक अस्पष्ट पत्राचार स्थापित करना शामिल है। अंक या नक्षत्रों के बीच पत्राचार स्थापित करने की प्रक्रिया को समन्वय कहा जाता है।

निश्चित दस्तावेजों के समन्वय में शामिल हैं:

प्रतिलिपि में संदर्भ बिंदु में किसी भी बिंदु के पत्राचार की खोज;
मानक के बिंदुओं पर कॉपी में किसी भी बिंदु के पत्राचार की खोज;
प्रतिलिपि के बिंदुओं पर मानक के किसी भी स्थिर लाइन के पत्राचार की खोज;
मानक के बिंदुओं पर किसी भी स्थिर प्रतिलिपि लाइन के पत्राचार के लिए खोज;
समन्वित छवियों की प्रत्येक जोड़ी की छवियों की पहचान का सत्यापन।

किसी भी असंगतता एक संभावित संशोधन है। बेशक, असंगतता डिटेक्टर त्रुटियों (ओसीआर) या दस्तावेज़ छवि विकृतियों के कारण हो सकती है। समस्या का विवरण दस्तावेज़ की प्रतिलिपि में सभी संशोधनों की खोज करना है।

लचीले दस्तावेजों के समन्वय में एक स्थिर पाठ के सभी शब्दों के बीच एक पत्राचार स्थापित करना शामिल है। हालांकि, तय दस्तावेजों के विपरीत, लचीले दस्तावेज़ के स्थिर पाठ की पंक्तियों के बीच कोई पत्राचार नहीं किया गया है। लचीले दस्तावेजों में, वैध परिवर्तन संभव हैं जो पाठ के अर्थ को नहीं बदलते हैं, जैसे कि फ़ॉन्ट को बदलना, रेखाओं की सीमाओं को बदलना, लाइन टूटना। इस तरह के संशोधनों से दूसरे पृष्ठ पर लाइन ब्रेक हो सकते हैं, इसलिए पृष्ठों के पूरे अनुक्रम के लिए बहु-पृष्ठ लचीले दस्तावेजों की तुलना की जानी चाहिए।

सामान्य मामले में, दस्तावेज़ की संरचना के ज्ञान के बिना, परीक्षण और संदर्भ दस्तावेजों के सभी शब्दों का समन्वय आवश्यक है। शब्दों के पूर्ण समन्वय की एक निश्चित कमी अपरिहार्य मान्यता त्रुटियां हैं, विशेष रूप से तस्वीरों के लिए (नीचे चित्र में विकृतियों के साथ एक पाठ छवि के टुकड़े का एक उदाहरण देखें), संशोधनों के रूप में व्याख्या की गई है। सत्यापन के लिए जिम्मेदार व्यक्ति को झूठे संशोधनों के लिए अतिरिक्त समय की जाँच करने के लिए मजबूर किया जाएगा।

झूठी पहचान त्रुटियों के अलावा, कॉपी और मूल के शब्दों के पूर्ण समन्वय के साथ, अन्य महत्वहीन अंतर हो सकते हैं। तथ्य यह है कि प्रतिलिपि और मूल की तुलना करने के लिए कार्यक्रम के कार्यात्मक उपयोगकर्ता के दृष्टिकोण से, सभी शब्दों का समान मूल्य नहीं है। तथ्य की बात के रूप में, एक दस्तावेज के एक पृष्ठ के शब्दों का एक सबसेट, जो अनुबंध की आवश्यक शर्तों को निर्धारित करता है, मूल्यवान है। यह माना जाता है कि जालसाज का काम ऐसे संशोधन करना है, जो अदालत में या पूर्व-परीक्षण कार्यवाही में, उस संगठन को नुकसान पहुंचा सकते हैं जिसने धोखेबाज के साथ अनुबंध पर हस्ताक्षर किए। ऐसे महत्वपूर्ण की औपचारिक परिभाषा देंशब्द शायद ही संभव हैं, वे विशेषज्ञों द्वारा निर्धारित किए जाते हैं। इसके अलावा, कुछ शब्द पड़ोसी शब्दों के संयोजन में महत्वपूर्ण हो जाते हैं। उदाहरण के लिए, आसन्न शब्द "गारंटी" के संयोजन में कण "नहीं" महत्वपूर्ण हैं। "अनुबंध" शब्द का संशोधन "गैर-अनुबंध" शब्द के लिए महत्वहीन है, क्योंकि अदालत में कार्यवाही करने के बाद यह धोखेबाज को लाभ नहीं पहुंचा सकता है।

इस प्रकार, समस्या का एक और सूत्रीकरण संभव है, दस्तावेज़ की संरचना और सत्यापन के लिए आवश्यक शब्दों की नियुक्ति दोनों का ज्ञान। इस कथन में, दस्तावेज़ मॉडल में पैराग्राफ और पाठ स्ट्रिंग शामिल हैं। प्रत्येक पाठ लाइन और प्रत्येक पैराग्राफ को पाठ विलक्षण बिंदुओं के एक समूह द्वारा दर्शाया जाता है, जिसका अनुक्रम किसी दिए गए पैराग्राफ या लाइन के लिए अद्वितीय है। पंक्तियों और पैराग्राफों में ऐसे शब्द भी हो सकते हैं जो अद्वितीय नहीं हैं, अर्थात्, बार-बार या पास में स्थित हैं। विशेष मामलों में, अद्वितीय शब्दों के बीच की दूरी को जानना संभव है, मध्यवर्ती वर्णों की संख्या या शब्दों की छवियों के बीच ज्यामितीय दूरी।

एक सरल एन-ग्राम शब्द मॉडल का उपयोग करना प्रभावी साबित हुआ है। एन-ग्राम मॉडल का उपयोग विभिन्न कार्यों में किया जाता है, जैसे कि ग्रंथों का संपीड़न या कोडिंग। एक प्राकृतिक भाषा में लिखे गए ग्रंथों के प्रसंस्करण में, एन ग्राम खोजने और त्रुटियों को ठीक करने के लिए उपयोगी होते हैं (हम पहले से ही इस बारे में लिखा था से पहले )।

कीवर्ड खोजने के लिए, एन-ग्राम शब्दों का उपयोग निम्नलिखित रूपों में किया जाता है:

n_{2} (w_{i}) = 〈 w_{i}, r_{1} (w_{i}) 〉

$n_2 (w_i )=〈w_i,r_1 (w_i ) 〉$

n_{3} (w_{i}) = 〈 w_{i}, r_{1} (w_{i}), r_{2} (w_{i}) 〉

$n_3 (w_i )=〈w_i,r_1 (w_i ),r_2 (w_i ) 〉$

n_{2} (w_{i}) = 〈 l_{1} (w_{i}), w_{i} 〉

$n_2 (w_i )=〈l_1 (w_i ),w_i 〉$

n_{3} (w_{i}) = 〈 l_{1} (w_{i}), w_{i}, r_{1} (w_{i}) 〉

$n_3 (w_i )=〈l_1 (w_i ),w_i,r_1 (w_i ) 〉$

n_{4} (w_{i}) = 〈 l_{1} (w_{i}), w_{i}, r_{1} (w_{i}), r_{2} (w_{i}) 〉

$n_4 (w_i )=〈l_1 (w_i ),w_i,r_1 (w_i ),r_2 (w_i ) 〉$

n_{3} (w_{i}) = 〈 l_{2} (w_{i}), l_{1} (w_{i}), w_{i} 〉

$n_3 (w_i )=〈l_2 (w_i ),l_1 (w_i ),w_i 〉$

n_{4} (w_{i}) = 〈 l_{2} (w_{i}), l_{1} (w_{i}), w_{i}, r_{1} (w_{i}) 〉

$n_4 (w_i )=〈l_2 (w_i ),l_1 (w_i ),w_i,r_1 (w_i ) 〉$

n_{5} (w_{i}) = 〈 l_{2} (w_{i}), l_{1} (w_{i}), w_{i}, r_{1} (w_{i}), r_{2} (w_{i}) 〉,

$n_5 (w_i )=〈l_2 (w_i ),l_1 (w_i ),w_i,r_1 (w_i ),r_2 (w_i ) 〉 ,$

कहाँ पे

r_{k} (w_{i})

$r_k (w_i)$ ,

l_{q} (w_{i})

$l_q (w_i)$ केंद्रीय शब्द के दाईं या बाईं ओर एक शब्द

w_{i}

$w_i$ स्वीकार्य दूरी भी ज्ञात है

ρ_{B T} (w_{i}, r_{1} (w_{i}))

$\rho_{BT}(w_i, r_1 (w_i))$ ,

ρ_{B T} (r_{1} (w_{i}), r_{2} (w_{i}))

$\rho_{BT}(r_1 (w_i), r_2 (w_i))$ ,

ρ_{B T} (l_{1} (w_{i}), w_{i})

$\rho_{BT}(l_1 (w_i), w_i)$ ,

ρ_{B T} (l_{2} (w_{i}), l_{1} (w_{i}))

$\rho_{BT}(l_2 (w_i), l_1 (w_i))$ आसन्न शब्दों के बीच। सूची

k

$k$ एन-ग्राम के पदनाम में

n_{k} (w_{i})

$n_k (w_i)$ एन-ग्राम की लंबाई को बुलाओ।

एक पैरा मॉडल में एन-ग्राम का एक क्रमबद्ध क्रम होता है

n^{1} (w_{1}), n^{2} (w_{2}), \dots, n^{m} (w_{m})

$n^1 (w_1), n^2 (w_2), …, n^m (w_m)$ शब्दों के पूर्वनिर्धारित tuples के साथ

n^{i} (w_{i})

$n^i (w_i)$ , जोड़े के बीच ज्ञात दूरी के साथ

{n^{j - 1} (w_{j - 1}), n^{j} (w_{j})}

$\{n^{j-1}(w_{j-1}), n^j(w_j)\}$ । ध्यान दें कि कुछ एन-ग्राम एक पैराग्राफ के लिए अद्वितीय हैं, और कुछ को दोहराया जा सकता है। विशिष्टता सुनिश्चित करने के लिए, विभिन्न लंबाई के एन-ग्राम का उपयोग किया जा सकता है: बिग्राम, ट्रिग्राम, टेट्राग्राम और पेंटाग्राम।

पैराग्राफ मॉडल का निर्माण करते समय, एन-ग्राम का गठन किया जाता है ताकि अद्वितीय एन-ग्राम की संख्या को अधिकतम किया जा सके। अलग-अलग कीवर्ड की तुलना में एन-ग्राम का उपयोग संविदात्मक दस्तावेजों के अधिकांश पैराग्राफ के लिए विशिष्टता सुनिश्चित करता है, मुख्य रूप से एक स्थिर पाठ में शब्दों के सेट की उपरोक्त महत्वपूर्ण सीमा के कारण।

यह असली डेटासेट पर प्रशिक्षण और मापदंडों के अनुकूलन का संचालन करने के लिए समझ में आता है। ध्यान दें कि असली डेटासेट पर भी, हम संभावित संशोधनों को नहीं देखेंगे, सबसे पहले, डेटासेट मालिकों द्वारा इस तरह के डेटा के वर्गीकरण के कारण। मुझे अपने हाथों से संशोधन करना होगा।

ट्रिग्राम सर्च एल्गोरिदम कई लगातार शब्दों का चयन करने के लिए नीचे आता है। बेशक, पहले आपको पाठ विलक्षण बिंदुओं का एक सेट बनाने की आवश्यकता है। ऐसा करने के लिए, हमने निम्नलिखित कदम उठाए हैं:

हाफ़टोन प्रोसेसिंग (मिनीमेज लाइब्रेरी);
तेजी से परिवर्तन [4] (स्मार्ट IDReader एपीआई) के आधार पर तरीकों का उपयोग करके कोण द्वारा छवि का सामान्यीकरण;
"कटाव" और "फैलाव" (मिनीमेज लाइब्रेरी) के संचालन का उपयोग करते हुए शब्द सीमाओं को उजागर करना;
पाए गए शब्दों की सीमाओं के भीतर वर्णों की पहचान (स्मार्ट IDReader API)।

पैराग्राफ को एक लंबी लाइन के रूप में प्रस्तुत किया गया था।

एक आदर्श शब्द और एक पैराग्राफ के मान्यता प्राप्त शब्दों की तुलना संशोधित लेवेनशेटिन दूरी का उपयोग करके की गई थी। Levenshtein दूरी गणना एल्गोरिदम अच्छी तरह से जाना जाता है, वे आपको न केवल संपादकीय नुस्खे की संख्या, बल्कि स्वयं नुस्खे खोजने की अनुमति देते हैं।

संशोधित लेवेनशेटिन दूरी का उपयोग किया गया था। पहले, किसी विशेष शब्द को अन्य शब्दों के साथ तुलना करने के लिए एक अद्वितीय सीमा को चुना गया था। "SEA" = "MOUNTAIN" या "IDENTIFICATOR196", "IDENTIFIER296", "IDENTIFIER199" प्रकार के पहचानकर्ताओं के शब्दों की पहचान करने से इनकार करने के लिए, एक और नियम लागू किया गया था। ऐसे शब्दों के लिए खंडों को इंगित किया गया था जो अपरिवर्तित रहने वाले थे। यही है, "IDENTIFIER ddd" शब्दों की शुरुआत में बड़ी संख्या में त्रुटियों की अनुमति थी, लेकिन शब्द के अंतिम 3 वर्णों में पाया संपादकीय निर्देशों के साथ पहचान की मनाही थी।

एक अन्य संशोधन समान वर्ण वाले कुछ वर्णों के OCR के प्रतिस्थापन के लिए क्षतिपूर्ति करना था। लैटिन वर्णमाला के लिए औपचारिक रूप से वर्ण बदलें

B 8

$B8$ ,

D O

$DO$ ,

1 I

$1I$ हालाँकि, त्रुटियाँ हैं, ऐसे प्रतिस्थापन की कीमत कम करने से शब्द पहचान की सटीकता में सुधार हो सकता है। समान शैलियों वाले पात्रों के लिए एक पत्र को बदलने की कीमत प्रशिक्षण के दौरान चुनी गई थी।
चयनित एनालॉग्स के लिए एन-ग्राम के केंद्र और पड़ोसियों के बीच की दूरी के आधार पर, समग्र रूप से एन-ग्राम के बंधन का एक अनुमानी अनुमान।
मॉडल मापदंडों (थ्रेसहोल्ड, एन-ग्राम लंबाई) को प्रशिक्षण के दौरान चुना गया था ताकि एन-ग्राम बाध्यकारी त्रुटियों की संख्या को कम किया जा सके और सही ढंग से बाध्य एन-ग्राम की संख्या को अधिकतम किया जा सके।

पैराग्राफ के शब्दों को एन-ग्राम बाँधने के बाद, निम्नलिखित जाँचें की जा सकती हैं:

सभी अपेक्षित एन-ग्राम की उपस्थिति;
एक प्रतिलिपि में सभी अद्वितीय एन-ग्राम की उपस्थिति;
एन-ग्राम का अनुक्रम;
आसन्न एन-ग्राम के बीच की दूरी।

किसी भी चेक को करने में विफलता का मतलब महत्वपूर्ण कीवर्ड में संशोधन करना है।

वर्णित विधि "डेटा" प्रकार के एक दस्तावेज़ के 161 छवियों से युक्त डेटासेट पर परीक्षण किया गया था, जो 100 से 300 डीपीआई के संकल्प के साथ स्कैन किया गया था। हमने 33 कीवर्ड के एक मॉडल की जांच की। डेटासेट छवियों में से कुछ कीवर्ड जानबूझकर हटा दिए गए या संशोधित किए गए। 740 विलोपन और 140 शब्द संशोधन किए गए। मान्यता के लिए OCR स्मार्ट IDReader [5] का उपयोग किया गया था।

एल्गोरिथ्म की गुणवत्ता का मूल्यांकन सटीकता (परिशुद्धता) और पूर्णता (रिकॉल) के मानदंडों द्वारा किया गया था, जिसके निर्धारण में संख्याओं का उपयोग किया गया था:

संशोधित शब्द मिले $tp$ ;
संशोधन के रूप में वर्गीकृत सही शब्द $fp$ ;
संशोधित शब्द नहीं मिले $fn$ ;
सही शब्दों को सही के रूप में वर्गीकृत किया गया है $tn$ ।

परिणाम तालिका में प्रस्तुत किए गए हैं। तालिका कई थ्रेसहोल्ड के लिए गणना की गई विशेषताओं को दिखाती है।

d (w_{i})

$d(w_i)$ संदर्भ शब्द की तुलना में शब्द की शुद्धता का आकलन।

d (w _i )	tp	fp	tn	fn	शुद्धता	याद
1	216	414	738	0	0.34	1.00
2	216	90	1062	0	0.70	1.00
3 और अधिक	216	54	1098	0	0.80	1.00

ध्यान दें कि जब OCR स्मार्ट IDReader को मान्यता दी गई थी, तो सभी संशोधित शब्द पाए गए थे। मेटोल त्रुटियां मान्यता त्रुटियों के साथ जुड़ी हुई हैं, मुख्य रूप से स्कैनिंग दोषों (overexposed क्षेत्रों की उपस्थिति) के कारण।

यह अनुमान लगाना आसान है कि वर्णित पद्धति में शब्द सीमाओं को भेद करने की सटीकता के साथ जुड़ी हुई सीमा है। संकेतित स्कैनिंग दोषों ने शब्द सीमा खोज त्रुटियों की एक छोटी संख्या (कुछ कीवर्ड के लिए लगभग 1-1.5%) का नेतृत्व किया। इस सीमा को समाप्त करने के लिए, हम शब्दों को खोजने के लिए एक अतिरिक्त तरीका प्रदान करते हैं। कुछ अनिर्धारित एन-ग्राम के लिए, मान्यता प्राप्त पैराग्राफ के शब्दों का एक सबसेट चुना गया था जिसमें इस एन-ग्राम की उपस्थिति अपेक्षित थी। शब्दों के चयनित सबसेट से अंतराल हटा दिए गए थे और वर्णों की एक स्ट्रिंग बनाई गई थी। एन-ग्राम के शब्द संक्षिप्त, खोज के लिए एक विकल्प बनाते हैं। अगला, हमने सब्सट्रेटिंग के लिए खोज की, उदाहरण के लिए, संशोधित लेवेन्शेटिन दूरी का उपयोग करके संशोधित बिटअप एल्गोरिथ्म का उपयोग करना। यह शब्द सीमाओं की खोज में त्रुटियों से जुड़े एन-ग्राम चेक की त्रुटियों की 2-3 गुना कम करने की अनुमति देता है।

संक्षिप्त निष्कर्ष

हमने अनुबंध के दस्तावेजों की खोज के लिए एक उपकरण के बारे में बात की। बेशक, यह उपकरण समस्या को पूरी तरह से हल नहीं करता है और कथित रूप से संशोधित शब्दों के मैनुअल चेक की आवश्यकता होती है। विधि आपको संशोधनों के लिए खोज को स्वचालित रूप से स्वचालित करने और नियमित मैनुअल चेक की संख्या को काफी कम करने की अनुमति देती है। वर्णित विधि को विकसित करने की जटिलता नकली के साथ वास्तविक डेटासेट प्राप्त करने में कठिनाई थी।

ग्रन्थसूची

Sidere N. et al. A dataset for forgery detection and spotting in document images // 2017 Seventh International Conference on Emerging Security Technologies (EST). – IEEE, 2017. – P. 26-31.
Bertrand R. et al. A conditional random field model for font forgery detection // 2015 13th International Conference on Document Analysis and Recognition (ICDAR). – IEEE, 2015. – P. 576-580.
. . , // . – , 1965. – . 163. – №. 4. – . 845-848.
Bezmaternykh P. V., Nikolaev D. P. A document skew detection method using fast Hough transform // Twelfth International Conference on Machine Vision (ICMV 2019). – International Society for Optics and Photonics, 2020. – Vol. 11433. – P. 114330J.
Bulatov K. et al. Smart IDReader: Document recognition in video stream // 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR). – IEEE, 2017. – Vol. 6. – P. 39-44.

एन-ग्राम मॉडल का उपयोग करके अनुबंध दस्तावेजों की छवि में संशोधनों की पहचान का स्वचालन

संक्षिप्त निष्कर्ष

More articles: