🧒🏼 🌈 👨🏾‍🎓 वीडियो अनुक्रम मान्यता प्रक्रिया को कब रोकें? 👸🏽 👵🏿 👨🏿‍🏫

हाय हमर! आज हम आपको एक बहुत ही दिलचस्प काम के बारे में बताना चाहते हैं, जो कि हम वीडियो स्ट्रीम में दस्तावेज़ मान्यता पर अपने शोध के शुरू होने के बाद से ही निभा रहे हैं - इष्टतम रोक समय खोजने की समस्या।

अंजीर। 1. एक वीडियो अनुक्रम के फ्रेम पर आईडी दस्तावेजों के पाठ क्षेत्रों की छवियां।

जैसा कि बहुत से लोग जानते हैं, स्मार्ट इंजन का मुख्य उत्पाद पहचान दस्तावेजों, स्मार्ट IDReader, सर्वर और डेस्कटॉप दोनों पर और मोबाइल उपकरणों पर लागू करने की मान्यता की एक प्रणाली है। बड़ी संख्या में मामलों में, मोबाइल फोन पर दस्तावेजों की मान्यता ऑफ़लाइन होनी चाहिए, अक्सर हम शूटिंग की स्थितियों और गुणवत्ता को नियंत्रित नहीं कर सकते हैं, और पहचान त्रुटियों की लागत, विशेष रूप से पहचान दस्तावेजों को पहचानते समय बहुत अधिक होती है। उसी समय, हमारे पास एक महत्वपूर्ण लाभ है - हम पहचान की सटीकता को बढ़ाने के लिए एक छवि का उपयोग नहीं कर सकते हैं, लेकिन कैप्चर किए गए फ़्रेमों का एक क्रम (चित्र 1 देखें)।

पाठ फ़ील्ड की कई छवियों का उपयोग करते समय, दो महत्वपूर्ण प्रश्न उठते हैं। पहला सवाल यह है कि टिप्पणियों को कैसे जोड़ा जाए? क्या यह एक छवि, उच्च "गुणवत्ता" प्राप्त करने के लिए स्रोत फ्रेम के संयोजन के लायक है, या एक बेहतर फ्रेम चुनना (फिर गारंटी कहां है कि एक फ्रेम होगा जो ठीक कर रहा है)? या, शायद, पहले प्रत्येक फ्रेम पर फ़ील्ड को पहचानें, और फिर सबसे "आत्मविश्वास" परिणाम (क्या मापदंड द्वारा?) का चयन करें, या फ्रेम-बाय-फ्रेम मान्यता परिणाम, आदि को मिलाएं। हम बाद के दृष्टिकोण (परिणाम के अंतर-संयोजन के साथ फ्रेम-बाय-फ़्रेम मान्यता) का पालन करते हैं, लेकिन उपयोग किए गए मान्यता इंजन और अन्य कार्य मापदंडों के आधार पर इष्टतम दृष्टिकोण दोनों भिन्न हो सकते हैं।

दूसरा सवाल जो पहले स्वतंत्र रूप से उठता है वह है अवलोकन प्रक्रिया को कब रोकना है? दूसरे शब्दों में, आप किस मानदंड से तय करते हैं कि कैप्चर प्रक्रिया को रोका जा सकता है और वर्तमान क्षण द्वारा संचित परिणाम को अंतिम रूप दिया जाता है? एक दूसरे के साथ इस तरह के मानदंड की तुलना कैसे करें और क्या कोई इष्टतम है?

यह अवलोकन प्रक्रिया को रोकने के क्षण को खोजने की समस्या के बारे में है जो इस लेख में चर्चा की जाएगी।

हम क्या हासिल करना चाहते हैं

एक वीडियो अनुक्रम में एक पाठ स्ट्रिंग को पहचानना, जिसमें किसी अन्य अवलोकन को कैप्चर करने के बाद, परिणाम एक तरह से या किसी अन्य में सुधार होता है, इसे किसी भी समय एक एल्गोरिथ्म के रूप में माना जा सकता है - क्रमिक रूप से सुधार परिणाम के साथ एक एल्गोरिथ्म, जिसकी गणना किसी भी समय बंद की जा सकती है। इस तरह के एल्गोरिदम की गुणवत्ता को देखने के लिए एक सुविधाजनक उपकरण " अपेक्षित प्रदर्शन प्रोफाइल " है - परिणाम की गुणवत्ता की निर्भरता के ग्राफ, एक रूप में या किसी अन्य, गणना समय पर मापा जाता है।

अंजीर। 2. एक वीडियो अनुक्रम में पाठ लाइन मान्यता दक्षता का प्रोफाइल (कम बेहतर है)। ब्लैक डॉटेड लाइन फ्रेम-बाय-फ्रेम क्वालिटी है, ब्लैक सॉलिड लाइन इंटरफ्रेम संयोजन का परिणाम है। ऑरेंज लाइन "गुड" स्टॉप नियम से हम चाहते हैं।

अंजीर में। चित्रा 2 एक पाठ स्ट्रिंग को पहचानने के लिए दक्षता प्रोफाइल दिखाता है - संसाधित फ्रेम की संख्या पर औसत त्रुटि (सही उत्तर के लिए लेवेन्शिन की दूरी के संदर्भ में)। MIDV-500 डेटासेट के पाठ फ़ील्ड पर Tesseract v4.0.0 का उपयोग करके काले ग्राफ़ प्राप्त किए गए थे । यह देखा जा सकता है कि मान्यता परिणामों के इंटरफ्रेम संयोजन के उपयोग से व्यक्ति बहुत कम त्रुटि मूल्य प्राप्त कर सकता है (जो सामान्य रूप से आश्चर्यजनक नहीं है)।

हम एक "अच्छे" नियम को रोकना चाहते हैं? चूँकि हम उम्मीद करते हैं, यथोचित, कि अब हम प्रक्रिया को जारी रखेंगे, तो औसत परिणाम बेहतर होगा, यह बहुत अच्छा होगा यदि नियम को "लंबे" माना जाने वाले कुछ वीडियो अनुक्रमों पर रोक दिया जाए, अगर त्रुटि को कम करने का मौका था, और कुछ पर यह बंद हो जाएगा। यदि परिणाम पहले से ही अच्छा है, तो पहले होगा या इसमें सुधार का कोई मौका नहीं है। इसके कारण, संयुक्त परिणाम की समान औसत गुणवत्ता के साथ, औसतन, कम संसाधित फ़्रेम प्राप्त किए जा सकते हैं, और इसके विपरीत, फ़्रेम की समान औसत संख्या के साथ, औसत परिणाम बेहतर होता है। दूसरे शब्दों में, यह समझना महत्वपूर्ण है कि रोक नियम केवल न्यूनतम समय के बारे में नहीं है, यह गुणवत्ता को अधिकतम करने के बारे में भी है, उसी (औसत) समय के लिए।

हमें निम्न रूप में स्टॉप नियम की तलाश करें: अगले फ्रेम को संसाधित करने और संयुक्त मान्यता परिणाम प्राप्त करने के बाद, हम कुछ विशेषता पर विचार करते हैं और इसकी सीमा को काट देते हैं - यदि, कहते हैं, यह सीमा से नीचे है, तो हम बंद कर देते हैं, अन्यथा हम जारी रखते हैं। फिर, एक निश्चित स्टॉप नियम के साथ, लेकिन थ्रेसहोल्ड को बदलते हुए, हमें एक दक्षता प्रोफ़ाइल भी मिलेगी, इस अपवाद के साथ कि क्षैतिज अक्ष में संसाधित फ़्रेम की सटीक संख्या नहीं होगी, लेकिन औसत (छवि 2 में नारंगी ग्राफ देखें)। यह चार्ट जितना कम होगा, हम स्टॉप रूल पर उतना प्रभावी हो सकते हैं। हम "संयुक्त परिणाम" के प्रारंभिक प्रोफ़ाइल को तुच्छ रोक नियम की दक्षता प्रोफ़ाइल मान सकते हैं - जिसमें हम थ्रेशोल्ड द्वारा संसाधित फ्रेम की संख्या में कटौती करते हैं।

सिद्धांत क्या कहता है

गणितीय आंकड़ों में, इष्टतम रोक समय खोजने की समस्याओं को अच्छी तरह से जाना जाता है और लंबे समय तक जांच की गई है। शायद इस वर्ग में सबसे प्रसिद्ध कार्य एक अचार दुल्हन का काम है (वह बहुत शामिल था, उदाहरण के लिए, बोरिस अब्रामोविच बेरेगोव्स्की), एक घर बेचने का काम, और अन्य। सिद्धांत में गहराई से जाने के बिना, हमें वीडियो अनुक्रमों में मान्यता की समस्या को इष्टतम रोक समस्या के रूप में बताएं।

हम

प्रक्रिया के ith कदम पर संयुक्त परिणाम की त्रुटि को निरूपित करते हैं $\ epsilon (R_n)$ । हम मान लेते हैं कि यदि हम

इथ कदम पर रुक जाते हैं, तो हम निम्नलिखित फॉर्म का नुकसान उठाएँगे: $L_n = \ epsilon (R_n) + c \ cdot n$ जहाँ

- प्रत्येक अवलोकन के कुछ पूर्व निर्धारित सापेक्ष लागत। इष्टतम रोक समय खोजने का कार्य एक यादृच्छिक चर की खोज के रूप में तैयार किया जा सकता है

- रोक समय, जिसका वितरण इनपुट टिप्पणियों पर निर्भर करता है (कुछ साहित्य में मूल्य

को मार्कोव पल कहा जाता है ), और जिस पर अपेक्षित नुकसान कम से कम है $\ mathrm {E} (L_N)$ ।

नीरस समस्याएं

कुछ शर्तों के तहत, ऐसी समस्याओं में, इष्टतम रोक नियम स्पष्ट रूप से व्यक्त किया जा सकता है। एक उदाहरण तथाकथित मोनोटोन समस्या है। समस्या की एकरसता की कसौटी यह है: यदि किसी कदम पर

नुकसान

अगले चरण में अपेक्षित नुकसान से अधिक नहीं है, तो बाद के सभी चरणों में यह प्रदर्शन किया जाएगा। दूसरे शब्दों में, जो घटना घटी है, वह इस $L_n \ le \ mathrm {E} (L_ {n + 1} | \ text {प्राप्त} ~ n ~ \ text {फ्रेम})$ प्रकार है कि घटना घटित होगी $L_ {n + 1} \ le \ mathrm {E} (L_ {n + 2} | \ text {प्राप्त} ~ n + 1 ~ \ text {फ्रेम})$ । मोनोटोन समस्याओं के लिए, तथाकथित "शॉर्ट-विज़र्ड" स्टॉप नियम इष्टतम है: पहले चरण में रोकें जहां स्थिति पूरी हो गई है $L_n \ le \ mathrm {E} (L_ {n + 1} | \ text {प्राप्त} ~ n ~ \ text {फ्रेम})$ ।

माना कि हमारा काम नीरस है। हमारे कार्य के संदर्भ में मैयोपिक नियम लिखे जाने के बाद, L_n

हमें यह प्राप्त होता है कि हमें निम्न स्थिति पूरी होने पर रोकने की आवश्यकता है:

$\ epsilon (R_n) - \ mathrm {E} (\ epsilon (R_ {n + 1}) | \ text {प्राप्त} ~ n ~ \ text {फ्रेम}) \ le c।$

यह, निश्चित रूप से, महान है, लेकिन इस नियम को लागू करने के लिए, हमें रनटाइम में न केवल वर्तमान परिणाम की "शुद्धता" का मूल्यांकन करने में सक्षम होना चाहिए, बल्कि अगले की अपेक्षित शुद्धता भी है, जो इतना आसान नहीं है (यह उल्लेख करने के लिए नहीं कि कार्य से कितनी मांग की गई है) एकरसता)। क्या हम परिणाम के "शुद्धता" का आकलन किए बिना किसी तरह इस नियम को लागू कर सकते हैं? .. आप ऊपर से असमानता के बाईं ओर का मूल्यांकन करने का प्रयास कर सकते हैं।

मायोपिक नियम का उपयोग कैसे किया जा सकता है?

मान लेते हैं एक समारोह है कि चलो $\ epsilon (R_n)$ दूरी है $\ rho (R_n, R ^ *)$ संयुक्त मान्यता परिणाम से R_n

"सही जवाब" करने के लिए आर ^ *

, और किसी भी दूरी है कि सम्मान ही है, त्रिकोण असमानता रखती है की तरह। ऊपर बताई गई लेवेंसहाइट दूरी त्रिभुज असमानता को संतुष्ट करती है, साथ ही "सही / गलत" के रूप में एक सरल कार्य करती है (यदि हम मानते हैं कि $\ rho (R_n, R ^ *)$ सही उत्तर के लिए यह शून्य है और गलत उत्तर के लिए यह स्थिर है)। त्रिभुज असमानता के अनुसार, हमारे रुकने की कसौटी के बाईं ओर से अधिक नहीं है $\ mathrm {E} (\ rho (R_n, R_ {n + 1}) | \ text {प्राप्त} ~ n ~ \ पाठ {फ़्रेम})$ - वर्तमान संयुक्त परिणाम से अगले तक अपेक्षित दूरी।

आइए हम पहचान परिणामों के इंटरफ्रेम संयोजन के लिए हमारे एल्गोरिथ्म से भी मांग करते हैं, ताकि औसतन निकटवर्ती संयुक्त परिणामों के बीच की दूरी समय के साथ न बढ़े (अर्थात, हम संयुक्त परिणामों के अनुक्रम को कुछ "अभिसरण" प्रक्रिया के रूप में मानेंगे, हालांकि सही उत्तर के लिए आवश्यक नहीं)। फिर यदि वर्तमान परिणाम से अगले तक अपेक्षित दूरी थ्रेशोल्ड सी से कम हो जाती है, तो दो चीजें एक ही बार में की जाती हैं। सबसे पहले, अदूरदर्शी ठहराव की कसौटी पूरी की जाती है (चूंकि इसका बायां हिस्सा इसी दूरी से ऊपर से घिरा हुआ है)। और दूसरी बात, कार्य नीरस हो जाता है: अगले चरण में, अगले उत्तर के लिए अपेक्षित दूरी नहीं बढ़ेगी, जिसका अर्थ है कि यह थ्रेशोल्ड सी से कम होना जारी रहेगा, और अदूरदर्शी मानदंड फिर से पूरा हो जाएगा।

इसका मतलब यह है कि अगर हम यह उम्मीद करते हैं कि आसन्न संयुक्त परिणामों के बीच की दूरी औसतन नहीं बढ़ती है, तो हमें वर्तमान परिणाम से अगले तक की अपेक्षित दूरी की सीमा में कटौती करनी चाहिए, जिससे इष्टतम नियम का अनुमान लगाया जा सके। आपको यह समझने की आवश्यकता है कि ऐसा नियम अब इष्टतम नहीं है (चूंकि "वास्तविक" इष्टतम नियम पहले बंद हो सकता है), लेकिन कम से कम हम पहले से आवश्यक नहीं रोकेंगे।

वर्तमान संयुक्त परिणाम से अगले तक अपेक्षित दूरी का मूल्यांकन करने के कई तरीके हैं। उदाहरण के लिए, यदि लेवेंसाइटिन दूरी का उपयोग परिणामों पर मीट्रिक के रूप में किया जाता है, तो लेआउट के अंतिम दो परिणामों के बीच की दूरी भी एक अच्छा सन्निकटन है। एक अन्य संभावित दृष्टिकोण एक संभावित अगले अवलोकन (उदाहरण के लिए, पहले से प्राप्त लोगों के आधार पर) का अनुकरण करना है, "निष्क्रिय" संयोजनों का संचालन करें और प्राप्त पूर्वानुमानों की औसत दूरी की गणना करें।

अंजीर। 3. कई रोक नियमों के लिए प्रदर्शन प्रोफाइल की तुलना।

अंजीर में। 3 कई रोक नियमों के लिए प्रदर्शन प्रोफ़ाइल दिखाता है। N_K

- एक ही "ऊपर वर्णित" "तुच्छ" नियम - संसाधित प्रेक्षणों की संख्या की सीमा में कटौती के साथ। $N_ {CX}$ तथा $N_ {CR}$ - एक ही फ्रेम-बाय-फ्रेम ( $N_ {CX}$ ) और संयुक्त ( $N_ {CR}$ ) परिणामों के अधिकतम क्लस्टर आकार के थ्रेशोल्ड कट-ऑफ ।

- इस पेपर में वर्णित नियम, मॉडलिंग और "बेकार" संयोजनों का उपयोग करके अगले परिणाम के लिए अपेक्षित दूरी का अनुमान है।

एक निष्कर्ष के बजाय

लेख का उद्देश्य यह दिखाना था कि वीडियो अनुक्रमों के फ्रेम पर दस्तावेज़ मान्यता प्रणालियों में कई दिलचस्प समस्याएं हैं, न केवल सीधे कंप्यूटर की दृष्टि से, बल्कि अन्य दिलचस्प क्षेत्रों से भी। हालांकि हमने केवल अपने सबसे सरल रूप में इष्टतम रोक समय खोजने की समस्या को दिखाया, सबसे दिलचस्प हिस्सा तब शुरू होता है, उदाहरण के लिए, हम न केवल फ्रेम की संख्या, बल्कि वास्तविक निष्पादन समय को भी मॉडल में ध्यान में रखना चाहते हैं। हमें उम्मीद है कि आप रुचि रखते थे, और आपके ध्यान के लिए धन्यवाद!

-

प्रकाशन लेख के आधार पर तैयार किया गया था। एक वीडियो स्ट्रीम, के। बुलटोव, एन। रज़ुमनी, वीवी अर्लाजारोव, आईजेडार 22, 303-314 (2019) 10.1007 / s10032-019-00333-0 में पाठ पहचान के लिए इष्टतम रोक रणनीतियों पर ।

यदि पाठक को इष्टतम रोक समय के सिद्धांत में दिलचस्पी है, विशेष रूप से, मोनोटोन समस्याओं के लिए मायोपिक नियम की इष्टतमता का प्रमाण, हम प्रकाशित ऑप्टिमल स्टॉपिंग एंड एप्लीकेशन कोर्स (थॉमस फर्ग्यूसन, यूसीएलए) की अत्यधिक अनुशंसा करते हैं ।

इस विषय पर कुछ अन्य दिलचस्प स्रोत:
चो वाईएस, सिग्मुंड डी। बड़ी उम्मीदें: इष्टतम रोक का सिद्धांत , ह्यूटन मिफ्लिन, 1971, 139 पी।
बेरेज़ोव्स्की बी.ए., गेदिन ए.वी. द बेस्ट चॉइस प्रॉब्लम , साइंस, 1984, 200 पीपी।
फर्ग्यूसन टीएस, हार्डविक टीएस स्टॉपिंग रूल्स फॉर प्रूफरीडिंग , जर्नल ऑफ़ एप्लाइड प्रोबेबिलिटी।, वी। 26, एन। 2, 1989, पी। 303-313।
फर्ग्यूसन टीएसगणितीय आँकड़े: एक निर्णय सिद्धांत । शैक्षणिक प्रेस, 1967, 396 पी।

वीडियो अनुक्रम मान्यता प्रक्रिया को कब रोकें?

हम क्या हासिल करना चाहते हैं

सिद्धांत क्या कहता है

नीरस समस्याएं

मायोपिक नियम का उपयोग कैसे किया जा सकता है?

एक निष्कर्ष के बजाय

More articles: