🕧 ⚠️ 📛 एक QR कोड का स्थानीयकरण एक महत्वपूर्ण कार्य है, जो अवांछनीय रूप से ध्यान से वंचित है 🤟🏿 📍 🤘🏻

हमें यकीन है कि आज एक भी Habr पाठक नहीं है जो QR कोड से परिचित नहीं होगा। ये दो आयामी बारकोड हर जगह हैं। यह तर्कसंगत है कि दुनिया में कई उपकरण हैं जो कुछ हद तक दक्षता के साथ आपकी परियोजना में क्यूआर कोड जोड़ने की अनुमति देते हैं। संपूर्ण बिंदु यह है कि यह उल्लिखित दक्षता सीधे उस उपकरण की गुणवत्ता पर निर्भर करती है जिसका उपयोग QR कोड को पहचानने के लिए किया जाता है। और यहां क्लासिक प्लग आता है: आप समस्या (बहुत) अच्छी तरह से और (बहुत) महंगी हल कर सकते हैं, या आप मुफ्त और किसी भी तरह से कर सकते हैं। क्या मुफ्त में संशोधन करना संभव है ताकि यह समस्या को अच्छी तरह हल कर सके? यदि दिलचस्पी है, तो बिल्ली के नीचे देखें।

फोटोग्राफ में क्यूआर कोड को पहचानना मशीन विजन का एक अच्छा काम है। सबसे पहले, कार्य में, एक ऑब्जेक्ट की जांच की जाती है, जो मूल रूप से "सुविधाजनक" मान्यता के लिए डिज़ाइन किया गया था। दूसरे, कार्य को स्वयं कई स्वतंत्र समझने योग्य उप-प्रकारों में विभाजित किया गया है: क्यूआर कोड का स्थानीयकरण, क्यूआर कोड का उन्मुखीकरण और सीधे क्यूआर कोड को डिकोड करना। यह पता चला है कि सार्वजनिक डोमेन में लंबे समय से अच्छी लाइब्रेरी हैं जो पिछले दो समस्याओं को हल कर सकते हैं: एक क्यूआर कोड का उन्मुखीकरण और डिकोडिंग। एक समस्या: उच्च-गुणवत्ता वाले डिकोडिंग के लिए, ऐसे पुस्तकालय बारकोड के सीधे इनपुट के लिए एक अच्छी द्विआधारी छवि की उम्मीद करते हैं। इसके विपरीत, छवि में बारकोड स्थानीयकरण के कार्य पर थोड़ा ध्यान दिया जाता है।

हमारे अनुभव में, आप किसी मान्यता प्राप्त वस्तु को जितना अधिक सटीक रूप से पहचानते हैं, उतना ही सही पूर्व-प्रसंस्करण टूल चुनना आसान होता है और वास्तव में, इसे पहचानते हैं। इसलिए, यदि आप अपनी परियोजना में क्यूआर कोड की पहचान की गुणवत्ता में सुधार करना चाहते हैं, तो क्यूआर कोड को स्थानीय बनाने के तरीकों के आधुनिकीकरण के साथ शुरू करें। वास्तव में, भले ही आपको बाद में एक छवि को बिनाराइज़ करने की आवश्यकता हो, यह पूरी मूल छवि की तुलना में एक बारकोड वाले क्षेत्र को दूर करने के लिए बहुत अधिक कुशल है (दोनों एक कम्प्यूटेशनल और गुणात्मक बिंदु से)।

इस लेख में, हम आपको बताएंगे कि आसानी से शास्त्रीय छवि प्रसंस्करण विधियों का उपयोग करके क्यूआर कोड के स्थानीयकरण की गुणवत्ता में सुधार कैसे किया जा सकता है, साथ ही साथ प्रस्तावित एल्गोरिथ्म की प्रभावशीलता की संख्यात्मक विशेषताएं भी प्रदान की जाती हैं।

हम छवियों पर क्यूआर कोड को स्थानीय बनाने के मूल तरीके के बारे में बात करेंगे, इसके आधार के रूप में संशोधित वियोला और जोन्स विधि का उपयोग करेंगे।

लेख के विषय पर जानकारी नोट करें

इस खंड में, हम क्यूआर कोड की प्रमुख विशेषताओं का वर्णन करते हैं, जिनका उपयोग स्थानीयकरण विधि के निर्माण के लिए किया जाता है, साथ ही वायोला और जोन्स विधि के मूल संस्करण का एक संक्षिप्त विवरण।

क्यूआर कोड

QR कोड (क्विक रिस्पांस कोड के लिए छोटा) एक दो-आयामी बारकोड है जो जापान में 90 के दशक में मोटर वाहन उद्योग के लिए विकसित किया गया था। रैखिक बारकोड की तुलना में जल्दी से पढ़ने और बड़ी क्षमता की क्षमता के कारण, जीवन के विभिन्न क्षेत्रों में क्यूआर-कोड प्रणाली दुनिया भर में लोकप्रिय हो गई है।

मानक रैखिक बारकोड के विपरीत, जो आमतौर पर हार्डवेयर द्वारा स्कैन किए जाते हैं, एक क्यूआर कोड अक्सर एक कैमरा द्वारा स्कैन किया जाता है। क्यूआर कोड की संरचना पूरी तरह से आईएसओ / आईईसी 18004 (आईएसओ / आईईसी मानक 18004) में वर्णित है। ऐसी छवियों के लिए एक मजबूत पहचान एल्गोरिथ्म का निर्माण करने के लिए, क्यूआर कोड में कुछ संदर्भ बिंदु होते हैं जो एक फ़ंक्शन पैटर्न बनाते हैं: बारकोड छवि के कोनों में तीन वर्ग (खोजक पैटर्न कहा जाता है) और बारकोड छवि (संरेखण पैटर्न कहा जाता है) में छोटे तुल्यकालन वर्ग। । इस तरह के बिंदु आपको छवि का आकार और इसके अभिविन्यास को सामान्य करने की अनुमति देते हैं।

अंजीर। QR कोड संरचना

यद्यपि नेत्रहीन सभी क्यूआर कोड एक दूसरे के समान होते हैं, क्यूआर कोड की विभिन्न प्रतियां एन्कोडेड डेटा की मात्रा के आधार पर, आंतरिक तत्वों का एक अलग लेआउट हो सकता है। इसके अलावा, तथाकथित डिजाइनर QR कोड बहुत लोकप्रिय हैं, जिसमें बारकोड की उच्च-गुणवत्ता की पहचान की गारंटी देने वाली अतिरिक्त जानकारी के भाग के बजाय, तृतीय-पक्ष ग्राफिक तत्वों का उपयोग किया जाता है (लोगो, प्रतीक, शिलालेख, आदि)। QR कोड्स की इन सभी विशेषताओं को स्थानीयकरण और QR कोड्स की मान्यता के तरीकों का निर्माण करते समय ध्यान में रखा जाना चाहिए।

अंजीर। विभिन्न वैध क्यूआर कोड विकल्प

वायोला और जोन्स विधि

केवल हब्रे पर आलसी ने अभी तक वियोला और जोन्स की विधि के बारे में नहीं लिखा था। यहां तक कि हमने अपने ब्लॉक में यह कई बार किया (उदाहरण के लिए, यहां , यहां या यहां )। और फिर भी, हम इसे बहुत संक्षेप में आवश्यक मानते हैं, शाब्दिक रूप से दो पैराग्राफ में, बताएं कि यह क्या है।

वास्तविक समय में एक छवि में चेहरे की खोज के लिए वियोला और जोन्स ऑब्जेक्ट डिटेक्शन विधि विकसित की गई थी। यह विधि प्रत्येक छवि बिंदु पर द्विआधारी वर्गीकरण समस्या का पता लगाने की समस्या को कम करती है, अर्थात, सभी प्रकार की पारियों और तराजू के साथ लिए गए प्रत्येक आयताकार छवि क्षेत्र के लिए, क्षेत्र में वांछित वस्तु की उपस्थिति की परिकल्पना को एक पूर्व-प्रशिक्षित क्लासिफायर का उपयोग करके जांच की जाती है।

एक सुविधा स्थान के रूप में, वियोला और जोन्स विधि Haar आयताकार सुविधाओं का उपयोग करती है, जिसके मूल्य की गणना आसन्न आयतों के अंदर छवि क्षेत्रों के पिक्सेल की चमक के योगों के बीच अंतर के रूप में की जाती है। Haar सुविधाओं के मूल्य को प्रभावी ढंग से गणना करने के लिए, एक एकीकृत छवि का उपयोग किया जाता है, जिसे साहित्य में शब्द सुन्न-क्षेत्र तालिका के तहत भी जाना जाता है। एक द्विआधारी "कमज़ोर" वर्गीकारक ज ( एक्स ): Χ → {-1, + 1}, आमतौर पर एक मान्यता पेड़ के रूप में एक शाखा के साथ प्रस्तुत किया:

जहां θ और पी- क्रमशः गुण और श्रेणीबद्धता की समता मूल्य। अगला, AdaBoost मशीन लर्निंग विधि का उपयोग करते हुए, एक "मजबूत" क्लासिफायरियर का निर्माण उपरोक्त "कमजोर" क्लासिफायर के रैखिक सुपरपोजिशन के रूप में किया जाता है। वियोला और जोन्स विधि की उच्च गति "मजबूत" क्लासिफायर्स के एक झरना के उपयोग के माध्यम से सुनिश्चित की जाती है, जो गणना की एक छोटी संख्या के लिए "खाली" (ऑब्जेक्ट-फ्री) छवि क्षेत्रों को स्थानीय बनाने की अनुमति देता है।

QR कोड डिटेक्शन एल्गोरिदम

क्यूआर कोड को स्थानीय बनाने के लिए एक विधि का निर्माण करते समय, हम कार्य की निम्नलिखित विशेषताओं पर भरोसा करते हैं। सबसे पहले, विकसित पद्धति में वास्तविक समय में संचालित मान्यता प्रणालियों में उपयोग के लिए उच्च प्रदर्शन होना चाहिए। दूसरे, छवि में बारकोड की अनुमेय विरूपण के लिए विधि प्रतिरोधी होनी चाहिए। तीसरा, विधि को QR कोड की सभी मौजूदा परिवर्तनशीलता को ध्यान में रखना चाहिए।

जैसा कि ऊपर उल्लेख किया गया है, हमने मौलिक पद्धति के रूप में वायोला और जोन्स की विधि को चुना है। इस विधि ने कठोर वस्तुओं की खोज के विभिन्न कार्यों में खुद को साबित किया है, जबकि विधि आवश्यक प्रदर्शन प्रदान करती है। लेकिन मूल संस्करण में, वियोला और जोन्स विधि का उपयोग निम्नलिखित कारणों से नहीं किया जा सकता है:

वायोला और जोन्स की शास्त्रीय पद्धति में, हाएर विशेषताओं के एक परिवार का उपयोग किया जाता है, जो वस्तु की बनावट विशेषताओं पर "जोर देते हैं" और हमारे मामले में, हालांकि क्यूआर कोड में काले और सफेद बारसेल होते हैं, उनका वितरण बारकोड से बारकोड से बहुत अलग होता है;
शास्त्रीय वायोला और जोन्स विधि एक दिए गए अभिविन्यास में वस्तुओं के एक ही प्रकार के पता लगाने के लिए डिज़ाइन की गई है, जो हमारे कार्य में भी नहीं देखी गई है।

ताकि समस्या को हल करने के लिए वियोला और जोन्स विधि को लागू किया जा सके, हम एक सीमा पेड़ की मूल परिवार और एक निर्णय वृक्ष के रूप में एक उच्च-स्तरीय क्लासिफायरियर का उपयोग करते हैं। पहला संशोधन अध्ययन की गई वस्तु की सीमा विशेषताओं पर ध्यान केंद्रित करने की अनुमति देगा, न कि बनावट पर। दूसरा संशोधन आपको एक एकल क्लासिफायरियर बनाने की अनुमति देगा जो चर वस्तुओं का पता लगा सकता है। अगला, हम आपको प्रत्येक संशोधन के बारे में थोड़ा और बताएंगे।

हार के धीरे-धीरे संकेत।

क्यूआर कोड के एक प्रभावी डिटेक्टर का निर्माण करने के लिए, हमने ग्रेडिएंट फीचर्स [1] के एक विशेष परिवार का उपयोग किया। ये संकेत Haar आयताकार संकेत हैं, जो निर्देशित सीमाओं के नक्शे के शीर्ष पर गणना किए जाते हैं, जो उनकी सामान्यीकरण शक्ति में काफी सुधार कर सकते हैं।

दिशात्मक सीमाओं का नक्शा ग्रेडिएंट मापांक की एक छवि है, जो अतिरिक्त रूप से बिंदु ( x , y ) पर ग्रेडिएंट की पसंदीदा दिशा को ध्यान में रखता है, जिसे सीमा के कोण के क्षैतिज, ऊर्ध्वाधर, + 45 ° और -45 ° दिशाओं में विवेक के रूप में परिभाषित किया गया है। क्यूआर-कोड डिटेक्टर बनाने के लिए, हमने दो प्रकार के दिशात्मक सीमा मानचित्र का उपयोग किया: एक सीधा सीमा नक्शा और एक विकर्ण चेहरा नक्शा।

मूल छवि f ( x ,य )। फिर आप सोबेल ऑपरेटर का उपयोग करके क्षैतिज और ऊर्ध्वाधर दिशाओं के साथ व्युत्पन्न के अनुमानित मूल्य की गणना कर सकते हैं:

इसके अलावा, जी _एक्स और जी _वाई का उपयोग करके , आप छवि के प्रत्येक बिंदु पर ढाल की दिशा की गणना कर सकते हैं:

सीधी सीमाओं के नक्शे में मुख्य रूप से क्षैतिज और ऊर्ध्वाधर सीमाएं शामिल हैं और निम्नानुसार गणना की जाती है:

मानचित्र विकर्ण सीमा में मुख्य रूप से विकर्ण के साथ सीमाएँ होती हैं और इसकी गणना निम्न प्रकार से की जाती है:

निर्देशित सीमाओं (विकर्ण या सीधे) के निर्मित नक्शे के शीर्ष पर, आयताकार हर चिन्ह की गणना की जाती है। शास्त्रीय Haar सुविधाओं के विपरीत, इस तरह की सीमा सुविधाएँ अच्छी तरह से वस्तुओं को सामान्यीकृत करती हैं जिनमें बड़ी संख्या में सीमाएं होती हैं।

अंजीर। दिशात्मक सीमाओं के मानचित्र का चित्रण: (क) क्यूआर कोड की मूल छवि, (बी) सीधी सीमाओं का नक्शा, (सी) एक घुमाया हुआ क्यूआर कोड की छवि (डी) एक घुमाए गए क्यूआर कोड की विकर्ण सीमाओं का एक नक्शा

मजबूत वर्गीकरण के निर्णायक पेड़

मजबूत क्लासीफायर का पेड़ [2] एक प्रकार का द्विआधारी निर्णय वृक्ष है: पेड़ का नोड एक मजबूत क्लासिफायरियर है, जिसके दाहिने किनारे पर वस्तुतः ऑब्जेक्ट सहित बाईं ओर स्थित हैं, और बाईं ओर - जिन्हें क्रमशः ऑब्जेक्ट के रूप में मान्यता नहीं दी गई थी। अंतिम उत्तर केवल पत्तियों में दिया गया है। वियोला और जोन्स के मूल काम में वर्णित शास्त्रीय कैस्केड क्लासिफायर, वास्तव में, एक ट्री क्लासिफायर है जिसमें केवल एक "सकारात्मक" आउटपुट (पत्ती) और कई "नकारात्मक" आउटपुट हैं।

[2] में यह दिखाया गया है कि ट्री क्लासिफायर के रूट से सबसे निचले नोड तक किसी भी मार्ग को एक झरना के रूप में दर्शाया जा सकता है जिसमें व्यक्तिगत मजबूत क्लासिफायर एक उल्टे जवाब के साथ प्रवेश करते हैं। इसके लिए धन्यवाद, ट्री क्लासिफायर के लिए एक सीखने के एल्गोरिथ्म का निर्माण करना संभव है, जो व्यक्तिगत रास्तों को सिखाने के लिए शास्त्रीय कैस्केड क्लासिफायर की प्रशिक्षण प्रक्रिया का उपयोग करता है।

ट्री क्लासिफायर आपको क्लासिफायर को प्रशिक्षित करने की अनुमति देता है जो शास्त्रीय कैस्केडिंग क्लासिफायर की तुलना में चर वस्तुओं के लिए पूर्णता के संदर्भ में अधिक प्रभावी हैं।

प्रयोगात्मक परिणाम

इस लेख में प्रस्तावित बारकोड स्थानीयकरण विधि की प्रभावशीलता का मूल्यांकन करने के लिए एक प्रयोग के भाग के रूप में, 264 छवियों से युक्त बारकोड छवियों का एक सेट तैयार किया गया था। छवियों का भौतिक आकार लगभग 1 MPix था। प्रत्येक छवि में एक मनमाने ढंग से अभिविन्यास में केवल एक क्यूआर कोड होता है, बारकोड क्षेत्र कुल छवि क्षेत्र का कम से कम 10% था। नीचे दिया गया चित्र इकट्ठे सेट से छवियों के उदाहरण दिखाता है।

अंजीर। इकट्ठे बारकोड छवि सेट से छवियों के उदाहरण

छवियों के तैयार सेट को एक प्रशिक्षण सेट और एक परीक्षण सेट में विभाजित किया गया था। प्रशिक्षण नमूने का आकार 88 छवियां थीं, परीक्षण नमूने का आकार 176 छवियां थीं।

प्रशिक्षण सेट का उपयोग सकारात्मक उदाहरण तैयार करने और नकारात्मक उदाहरण तैयार करने के लिए दोनों के लिए किया गया था। चूंकि सकारात्मक उदाहरणों की प्रारंभिक संख्या छोटी थी, इसलिए हमने डेटा वृद्धि तकनीक [3] का इस्तेमाल किया। विशेष रूप से, हमने 15 inc की वेतन वृद्धि में बारकोड के केंद्र के चारों ओर रोटेशन लागू किया। वृद्धि के बाद, सकारात्मक उदाहरणों की संख्या 2088 उदाहरण थी।

उसी सकारात्मक और नकारात्मक उदाहरणों का उपयोग करते हुए, हमने तीन क्यूआर कोड डिटेक्टरों को प्रशिक्षित किया: मानक Haar सुविधाओं के साथ एक क्लासिक कैस्केडिंग क्लासिफायर, सीमा सुविधाओं के साथ एक क्लासिक कैस्केडिंग क्लासिफायर, और सीमा सुविधाओं के साथ एक ट्री क्लासिफायरियर। पहले कैस्केड क्लासिफायर में 12 स्तर शामिल थे और इसमें कुल 58 विशेषताएँ थीं। दूसरे कैस्केड क्लासिफायर में 8 स्तर शामिल थे और इसमें कुल 39 विशेषताएँ थीं। प्रशिक्षित ट्री क्लासिफायर में 39 कोने होते हैं, जिसमें कुल 110 वर्ण होते हैं, और ऊपर से पत्ती तक अधिकतम पथ 9. नीचे था। यह प्रशिक्षित ट्री क्लासिफायर का एक चित्र है।

अंजीर। प्रशिक्षित ट्री क्लासिफायर की योजना

निर्मित क्यूआर-कोड डिटेक्टरों की गुणवत्ता का आकलन करने के लिए, हमने ओपनसीवी ओपन-सोर्स कंप्यूटर विज़न लाइब्रेरी से बारकोड डिकोडिंग मॉड्यूल का उपयोग किया। छवियों के तैयार किए गए परीक्षण सेट पर (जो कि ऊपर वर्णित है, जिसमें 176 छवियां शामिल थीं), हमने डिकोडिंग मॉड्यूल को बिना किसी विशेष प्रीप्रोसेसिंग के लॉन्च किया, साथ ही प्रशिक्षित डिटेक्टरों का उपयोग करके क्यूआर कोड के लिए प्रारंभिक खोज के बाद। नीचे बारकोड डिकोडिंग परिणाम हैं:

नहीं।	प्रायोगिक उपाधि	डिकोडेड इमेज काउंट	डिकोडिंग क्वालिटी
1	केवल OpenCV	104	59.09%
2	वीजे (ग्रेस्केल फीचर्स, कैस्केड क्लासिफायर) + ओपनसीवी	105	59.66%
3	वीजे (एज फीचर्स, कैस्केड क्लासिफायर) + ओपनसीवी	123	69.89%
4	वीजे (एज फीचर्स, ट्री क्लासिफायर) + ओपनसीवी	136	77.27%

तालिका से पता चलता है कि वर्णित विधि का उपयोग करके क्यूआर कोड का प्रारंभिक स्थानीयकरण बारकोड डिकोडिंग की गुणवत्ता में काफी सुधार कर सकता है (डिकोडिंग त्रुटियों की संख्या 44% कम हो गई)। इसके अलावा, परिणाम यह भी प्रदर्शित करते हैं कि क्यूआर कोड को स्थानीय बनाने के कार्य में मूल वायोला और जोन्स विधि (शास्त्रीय हार सुविधाओं और एक कैस्केडिंग क्लासिफायर के साथ) का आवेदन प्रभावी नहीं है।

अब देखते हैं कि बारकोड को प्रत्येक क्लासिफायरियर कितना सही बताता है। बाएं से दाएं का आंकड़ा मानक Haar सुविधाओं के साथ क्लासिक कैस्केडिंग क्लासिफायर के साथ एक ही बारकोड का पता लगाने के परिणामों को दर्शाता है, सीमा विशेषताओं के साथ एक क्लासिक कैस्केडिंग क्लासिफायर और सीमा सुविधाओं के साथ एक ट्री क्लासिफायरियर। यह देखा जा सकता है कि ट्री-क्लासिफायर, QR कोड की परिवर्तनशीलता को ध्यान में रखकर सर्वश्रेष्ठ बारकोड स्थानीयकरण सटीकता प्रदान करता है।

अंजीर। एक ही छवि पर प्रशिक्षित डिटेक्टरों के काम का चित्रण

निष्कर्ष

आज, QR कोड का उपयोग जीवन के विभिन्न क्षेत्रों में किया जाता है: URL को एन्कोडिंग के लिए विज्ञापन उद्योग में, इलेक्ट्रॉनिक सेवाओं आदि के हिस्से के रूप में राज्य क्षेत्र में। इस तरह के बारकोड के अत्यधिक उच्च वितरण के बावजूद, मौजूदा खुले स्रोत पुस्तकालय डिकोडिंग प्रक्रिया पर ध्यान केंद्रित करते हैं, स्थानीयकरण समस्या नहीं। लेकिन ईमानदार होने के लिए, इस लेख का असली उद्देश्य क्यूआर कोड को स्थानीय बनाने के एक प्रभावी तरीके का वर्णन करने में नहीं था, बल्कि आपको यह बताने के प्रयास में था कि, प्रिय पाठक, वैज्ञानिक सोच और सिस्टम विश्लेषण का उपयोग करके, शास्त्रीय डिजिटल इमेज प्रोसेसिंग टूल का उपयोग करने के तरीके को समझने के लिए, आप कर सकते हैं पुस्तकालय वास्तविक औद्योगिक स्तर पर लाते हैं। ध्यान देने के लिए आपको धन्यवाद।

उपयोग किए गए स्रोतों की सूची

[1] A.A. Kotov, S.A. Usilin, S.A. Gladilin, and D.P. Nikolaev, “Construction of robust features for detection and classification of objects without characteristic brightness contrasts,” Journal of information technologies and computing systems, 1, 53-60, (2014).
[2] A. Minkina, D. Nikolaev, S. Usilin, and V. Kozyrev, “Generalization of the Viola-Jones method as a decision tree of strong classifiers for real-time object recognition in video stream,” in Seventh International Conference on Machine Vision (ICMV 2014), 9445, International Society for Optics and Photonics, (2015), doi:10.1117/12.2180941.
[3] D. P. Matalov, S. A. Usilin, and V. V. Arlazarov, “Modification of the viola-jones approach for the detection of the government seal stamp of the russian federation,” in Eleventh International Conference on Machine Vision (ICMV 2018), 11041, International Society for Optics and Photonics, (2019), doi:10.1117/12.2522793.

एक QR कोड का स्थानीयकरण एक महत्वपूर्ण कार्य है, जो अवांछनीय रूप से ध्यान से वंचित है