🧖🏿 👨🏾‍🔬 👩🏿‍🎤 हम कंप्यूटर दृष्टि एल्गोरिदम का उपयोग कैसे करते हैं: OpenCV.js का उपयोग करके मोबाइल ब्राउज़र में वीडियो प्रसंस्करण ✌🏿 🎮 💯

किसी व्यक्ति की ऑनलाइन पहचान करने के लिए पहले से ही सभी संभावनाएं हैं, लेकिन अभी तक वे शायद ही कभी उपयोग किए जाते हैं। शायद हम उपयोगकर्ता के लिए सबसे उपयुक्त परिदृश्य को लागू करने वाले पहले व्यक्ति थे - स्मार्टफोन से साइट पर लॉग इन करें, अपने ड्राइवर के लाइसेंस या पासपोर्ट की एक तस्वीर लें और सिस्टम को डेटा भेजें।

आइए विचार करें कि कंप्यूटर विज़िटर एल्गोरिदम सीधे मोबाइल ब्राउज़र में वीडियो स्ट्रीम में दस्तावेजों को पहचानने में कैसे मदद करता है। इस लेख में, हम अपने अनुभव को साझा करते हैं कि कैसे हमने SimCSoft पर इसके लिए OpenCV.js का उपयोग किया, क्या कठिनाइयाँ संभव हैं, कैसे गति सुनिश्चित करें और ब्रेकिंग के बिना एक "चिकनी" UX प्राप्त करें।

क्या टास्क था

एल्गोरिथ्म के विकसित होने का व्यावसायिक परिदृश्य निम्नानुसार है। मोबाइल फोन से साइट तक पहुंचने वाले उपयोगकर्ता को अपने दस्तावेज़ों की तस्वीर लेने और उन्हें आगे की प्रक्रिया के लिए सिस्टम में भेजने में सक्षम होना चाहिए। यह किसी भी सेवा के उपयोग के लिए आवेदन करते समय पहचान प्रक्रिया का हिस्सा हो सकता है।

इस परिदृश्य में एक वेब एप्लिकेशन मोबाइल एप्लिकेशन के लिए बेहतर है क्योंकि इसकी उपलब्धता और ऑपरेशन को पूरा करने के लिए कम समय है। वेब पेज को इंस्टॉलेशन की आवश्यकता नहीं है और लोडिंग के तुरंत बाद काम करने के लिए तैयार है। उपयोगकर्ता उन कार्यों को करने के लिए आगे बढ़ सकता है जिन्हें उसे ज़रूरत है - एक आवेदन जमा करना - लिंक प्राप्त करने के तुरंत बाद, अतिरिक्त कार्यों से विचलित हुए बिना। एक व्यावसायिक दृष्टिकोण से, ये कारक प्रक्रिया के रूपांतरण और व्यावसायिक प्रभावशीलता को बढ़ाते हैं।

एक वास्तुकला की दृष्टि से, एल्गोरिथ्म को सीधे दस्तावेज़ की सीमाओं का पता लगाने और छवि में अतिरिक्त पृष्ठभूमि को क्रॉप करने की आवश्यकता होती है। पहचान, प्रमाणीकरण और धोखाधड़ी जांच का सत्यापन अन्य घटकों द्वारा लागू किया जाएगा। हालांकि, बिज़नेस कार्ड, खाली पेपर आयताकार और अन्य स्पष्ट रूप से अप्रासंगिक छवियों को प्रसंस्करण छवियों के लिए भेजने के लिए कम से कम न्यूनतम जांच करने की सलाह दी जाती है।

आवश्यकताएँ

हमारी परियोजना के हिस्से के रूप में, एल्गोरिथ्म के लिए निम्नलिखित अतिरिक्त आवश्यकताएं थीं:

वास्तविक समय में काम करने की क्षमता: एल्गोरिथ्म के संचालन के दौरान कैमरे से वीडियो स्ट्रीम "धीमा" नहीं होना चाहिए;
विपरीत और पृष्ठभूमि बनावट की एक विस्तृत श्रृंखला में काम करने की क्षमता: कम-विपरीत और विपरीत, सजातीय और विषम पृष्ठभूमि;
कई वर्षों पहले जारी किए गए बजट मॉडल सहित स्मार्टफोन मॉडलों की एक विस्तृत श्रृंखला के लिए समर्थन।

अंत में, परियोजना में प्रशिक्षण मशीन लर्निंग एल्गोरिदम के लिए कोई डेटासेट नहीं था, और इसे इकट्ठा करने और चिह्नित करने का कोई तरीका नहीं था। हमारे पास केवल Google के खोज परिणामों के कुछ परीक्षण नमूने थे।

समस्या के इस कथन को देखते हुए, हमने ओपनकेव लाइब्रेरी से शास्त्रीय कंप्यूटर दृष्टि एल्गोरिदम के आधार पर विकसित करने का निर्णय लिया। एक वैकल्पिक संभावना मशीन लर्निंग एल्गोरिदम और तंत्रिका नेटवर्क का उपयोग था, हालांकि, प्रदर्शन आवश्यकताओं के कारण काम के शुरुआती चरणों में इसे पहले ही छोड़ दिया गया था: जब लागू किया जाता है, तो सभी लक्ष्य उपकरणों पर वास्तविक समय फ्रेम प्रसंस्करण प्रदान करना संभव नहीं होगा।

सामान्य दृष्टिकोण और एल्गोरिथ्म संरचना

एल्गोरिथ्म का मुख्य विचार एक संदर्भ फ्रेम है, जिसके साथ दस्तावेज़ को संरेखित करना आवश्यक है। इसका उपयोग एक साथ कई लक्ष्यों का पीछा करता है। सबसे पहले, यह एक उपयुक्त छवि आकार प्रदान करेगा, जो दस्तावेजों के आगे के प्रसंस्करण के लिए पर्याप्त है। दूसरे, जैसा कि हम बाद में देखेंगे, दस्तावेज़ सीमाओं की खोज करते समय इसका उपयोग उम्मीदवार के फ़िल्टर के रूप में किया जा सकता है। तीसरा, इसका उपयोग छवि को कैप्चर करने और क्रॉप करने के लिए किया जा सकता है यदि दस्तावेज़ की सीमाएं नहीं मिलीं।

अंजीर। 1. एल्गोरिथ्म की सामान्य संरचना

एल्गोरिथ्म में सामान्य संरचना को अंजीर में दिखाया गया है। 1. वीडियो स्ट्रीम से फ़्रेम को एक चक्र में संसाधित किया जाता है, जिसमें पुनरावृत्तियों के बीच वांछित एफपीएस का अनुपालन करने के लिए एक समय सीमा निर्धारित की जाती है - हम प्रति सेकंड 30 फ़्रेमों पर रुक गए। यह आपको "मंदी" से बचने और प्रोसेसर और डिवाइस की बिजली की खपत को कम करने की अनुमति देता है।

प्रत्येक संसाधित फ्रेम प्रीप्रोसेसिंग से गुजरता है, जिसके दौरान दो मुख्य ऑपरेशन किए जाते हैं। सबसे पहले, 640x480 के एक निश्चित आकार के एक फ्रेम की एक प्रति बनाई जाती है, जिसके साथ एल्गोरिथ्म के आगे के चरण काम करते हैं। मूल छवि भी बनी हुई है, पता लगाया गया दस्तावेज उसमें से काट दिया जाएगा। यह अंतिम छवि की गुणवत्ता को बचाएगा। दूसरे, बनाई गई प्रतिलिपि का अनुवाद ग्रे के रंगों में किया जाता है। संसाधित किए जा रहे दस्तावेज़ के रंग को एल्गोरिथ्म द्वारा अनदेखा किया जाता है, क्योंकि यह देश से दूसरे देश में और यहां तक कि देश के भीतर अलग-अलग क्षेत्रों में भिन्न हो सकता है - एक उदाहरण संयुक्त राज्य में ड्राइवर का लाइसेंस है।

दस्तावेज़ का पता लगाने में पहला कदम छवि में चेहरे की खोज करना है। इस हेयुरिस्टिक के उपयोग से व्यवसाय कार्ड और अन्य स्पष्ट रूप से अप्रासंगिक छवियों पर कब्जा समाप्त हो जाता है। खोज मानक opencv'shash CascadeClassifier.detectMultiScale () और पूर्व प्रशिक्षित कैस्केड haarcascade_frontalface_default का उपयोग करके किया जाता है । पता लगाए गए चेहरों के न्यूनतम और अधिकतम आकार सीमित हैं, जो कम्प्यूटेशनल लागत को कम करने की अनुमति देता है, और छवि में दस्तावेज़ के पैमाने को और भी सीमित करता है। छवि में एक चेहरे का पता लगाया जाता है जब वह बाईं ओर होता है - या निचले बाएँ, पासपोर्ट के लिए - संदर्भ फ्रेम के अंदर क्षेत्र का हिस्सा (छवि। 2)। छवि में दस्तावेज़ के सही संरेखण को सुनिश्चित करने के लिए यह एक अतिरिक्त उपाय है।

इस लेख के उदाहरणों में व्यक्तिगत डेटा शामिल नहीं है।

अंजीर। 2. छवि में चेहरे की अपेक्षित स्थिति का क्षेत्र। समर्थन फ्रेम को लाल रंग में दिखाया गया है, अपेक्षित चेहरे के स्थान के क्षेत्र की सीमाओं को हरे रंग में दिखाया गया है।

चेहरे का पता लगाने के बाद, हम सीमाओं का पता लगाने के लिए आगे बढ़ते हैं। अक्सर FindContours () का उपयोग यहां किया जाता है । हालांकि, यह दृष्टिकोण केवल विपरीत मामलों में अच्छी तरह से काम करता है, उदाहरण के लिए, एक अंधेरे मेज पर पड़ी कागज की एक शीट के लिए। यदि कंट्रास्ट कम है, या प्रकाश व्यवस्था बदतर है, या कोई व्यक्ति अपने हाथों में एक शीट पकड़े हुए है, तो अपनी उंगलियों के साथ सीमा के हिस्से को कवर करते हुए, पता लगाया गया आकृति अलग-अलग घटकों में टूट जाती है, महत्वपूर्ण खंडों को खो देते हैं या बिल्कुल भी पता नहीं लगाते हैं।

इसलिए, हमने एक अलग तरीका अपनाया। बैनरीकरण के बाद, हम पहले कैनी () का उपयोग करके सीमा फ़िल्टर के माध्यम से छवि को पास करते हैं , और फिर हफ़ ट्रांसफ़र हफ़लीन () का उपयोग करके लाइन के लिए परिणामी तस्वीर को देखते हैं । थ्रेशोल्ड पैरामीटर को तुरंत पर्याप्त रूप से सेट किया जाता है, 30 के बराबर - छोटे और अन्य अप्रासंगिक खंडों का पता लगाने के लिए।

लाइनों का परिणामी सेट अतिरिक्त रूप से फ़िल्टर किया जाता है, जो केवल लाइनों को संदर्भ फ्रेम के करीब छोड़ देता है। ऐसा करने के लिए, हम पहले ध्रुवीय समन्वय प्रणाली (आरएचओ, थीटा) में बिंदुओं के लिए फ्रेम लाइनों के समीकरणों का अनुवाद करते हैं - थीटा हमेशा 0 या पीआई / 2 होगा, और आरएचओ प्रत्येक पंक्ति के लिए अद्वितीय होगा। उसके बाद, हम हफ से प्राप्त लाइनों से चयन करते हैं जो केवल नियंत्रण बिंदुओं के आसपास के क्षेत्र में झूठ बोलते हैं - यूक्लिडियन मीट्रिक के अनुसार, मूल्यों के पैमाने में अंतर को ध्यान में रखते हुए।

हम संदर्भ फ़्रेम की चार पंक्तियों के अनुरूप चार समूहों में फ़िल्टर करने के बाद प्राप्त लाइनों के सेट को वितरित करते हैं, समूहों के बीच जोड़े में लाइनों के चौराहों को ढूंढते हैं, औसतन और चार बिंदुओं के निर्देशांक प्राप्त करते हैं - पता लगाए गए दस्तावेज़ के कोने (छवि 3)।

अंजीर। 3. लाइनों को छानना और दस्तावेज़ कोनों को परिभाषित करना। हरी रेखाएं - फ़िल्टरिंग का परिणाम, पीले डॉट्स - दस्तावेज़ के कोनों का पता चला।

अगला, आपको फ्रेम की गुणवत्ता सुनिश्चित करने की आवश्यकता है। ऐसा करने के लिए, हम सत्यापित करते हैं कि फ़्रेम अंतिम समय तक स्थिर रहा है। ऐसा करने के लिए, अनुपस्थिति () के साथ वर्तमान फ्रेम से अवधि की शुरुआत में फ्रेम को घटाएं और दहलीज के साथ तुलना करें। घटाव से पहले, हम शोर और अन्य यादृच्छिक कारकों के प्रभाव को कम करने के लिए एक गाऊसी फिल्टर गाऊसीब्लूर () के साथ छवियों को अतिरिक्त रूप से चिकना करते हैं। हम इसके लाप्लासियन लाप्लासियन () की गणना करके फ्रेम के फ़ोकस का मूल्यांकन भी करते हैं , इसके विचरण का अनुमान लगाते हैं और प्राप्त मूल्य की तुलना थ्रेशोल्ड से करते हैं।

यदि सभी चेक सफल होते हैं, तो आप अंतिम भाग के लिए आगे बढ़ सकते हैं। हम कोणों के ज्ञात निर्देशांक को मूल, पूर्वव्यापी छवि के समन्वय प्रणाली में पुनर्गणना करते हैं और रोई () पद्धति का उपयोग करके परिणामी क्षेत्र में कटौती करते हैं । दस्तावेज़ का सफलतापूर्वक पता लगाया गया था।

कार्यान्वयन सुविधाएँ

एल्गोरिथ्म के विकास के दौरान, इसके मुख्य घटकों को एक अजगर स्क्रिप्ट में इकट्ठा किया गया था। उसके बाद, एल्गोरिथ्म को opencv.js और जावास्क्रिप्ट में पोर्ट किया गया, और फिर wasm को। यह दृष्टिकोण सभी चरणों में सुविधा के विचार से तय होता है। अजगर पर, हमारी टीम के लिए एल्गोरिथ्म के विभिन्न प्रकारों के साथ प्रयोग करना और किसी न किसी पैरामीटर सेटिंग्स को अंजाम देना अधिक सुविधाजनक था। जावास्क्रिप्ट को पोर्ट करना विभिन्न उपकरणों और ब्राउज़रों सहित लक्ष्य प्लेटफॉर्म पर एल्गोरिथ्म के संचालन का परीक्षण करना संभव बनाता है। इन जांचों के परिणामों के आधार पर, एल्गोरिथम मापदंडों की बारीक ट्यूनिंग की गई। अंत में, wasm पर कोड के महत्वपूर्ण खंडों को फिर से लिखना हमें एक अतिरिक्त प्रदर्शन को बढ़ावा देने की अनुमति देता है।

माइग्रेशन के दौरान, ओपनसीवी एपीआई में कई अंतरों की खोज की गई, जिसके परिणामस्वरूप कार्यान्वयन में मामूली बदलाव हुए। उदाहरण के लिए, अजगर में एक लाप्लासियन के विचरण को लाप्लासियन ()। वार () के रूप में माना जाता है । OpenCV.js के साथ, NumPy का उपयोग करने का कोई तरीका नहीं है, लेकिन var () विधि का कोई वैकल्पिक कार्यान्वयन प्रदान नहीं किया गया है। समाधान: माध्यसुविधा () फ़ंक्शन को मानक विचलन (सूची 1) के रूप में गिनें ।

private isImageBlurry(image: cv.Mat): boolean {
		const laplacian = new cv.Mat();
		cv.Laplacian(image, laplacian, cv.CV_64F);
		const s_mat = new cv.Mat();
		cv.meanStdDev(laplacian, new cv.Mat(), s_mat);
		const s = s_mat.data64F[0];
		const v = Math.pow(s, 2);
		return (v < this.laplacianVarianceThreshold);
	}

लिस्टिंग 1. opencv.js (टाइपस्क्रिप्ट) में लाप्लासियन के विचरण के माध्यम से छवि पर ध्यान केंद्रित करने का आकलन करते हुए

एक अन्य विशेषता पुस्तकालय के आकार को कम करने की आवश्यकता थी। अपने मूल रूप में, OpenCV.js की क्षमता 7.9 एमबी है। इंटरनेट के माध्यम से इसका डाउनलोड एल्गोरिथ्म के आरंभ को धीमा कर देता है। इस समस्या का हल लाइब्रेरी असेंबली प्रक्रिया के दौरान अप्रयुक्त मॉड्यूल को "ट्रिम" करना है, जो आउटपुट फ़ाइल आकार को काफी कम कर सकता है: हम 1.8 एमबी के आकार को प्राप्त करने में कामयाब रहे। असेंबली में शामिल घटकों की सूची को कॉन्फ़िगरेशन फ़ाइल प्लेटफ़ॉर्म / js / opencv_js.config.py (लिस्टिंग 2) में कॉन्फ़िगर किया जा सकता है ।

white_list = makeWhiteList([core, imgproc, objdetect, video, dnn, features2d, photo, aruco, calib3d])

लिस्टिंग 2. जावास्क्रिप्ट के लिए विधानसभा में शामिल opencv मॉड्यूल की मूल सफेद सूची

अंत में, एल्गोरिथ्म के आवश्यक प्रदर्शन को सुनिश्चित करने के लिए एक महत्वपूर्ण योगदान इसे वेब वर्कर को स्थानांतरित करके बनाया गया था। इस कदम ने, एफपीएस के प्रतिबंध के साथ, हमें एल्गोरिथ्म के संचालन के दौरान वीडियो स्ट्रीम के "मंदी" से छुटकारा पाने की अनुमति दी, जिसका यूएक्स पर सकारात्मक प्रभाव पड़ा।

परिणाम

चित्र को कैप्चर करने और क्रॉप करने के उदाहरण चित्र में दिखाए गए हैं। 4. यह देखा जा सकता है कि उच्चतम गुणवत्ता वाली फसल एक अंधेरे वर्दी पृष्ठभूमि पर प्राप्त की जाती है, और सबसे कम गुणवत्ता एक हल्के अमानवीय पृष्ठभूमि के साथ प्राप्त की जाती है। यह विभिन्न पृष्ठभूमि पर प्राप्त ग्रेडिएंट्स से जुड़ा अपेक्षित प्रभाव है और इसका उपयोग किसी दस्तावेज़ की सीमाओं का पता लगाने के लिए किया जाता है। एक अंधेरे पृष्ठभूमि के खिलाफ, ग्रेडिएंट एक हल्के पृष्ठभूमि की तुलना में बड़े होते हैं, एक समान पृष्ठभूमि ढाल के मूल्यों की कम परिवर्तनशीलता की ओर जाता है। यह सीमाओं का विश्वसनीय पता लगाने की ओर जाता है और, परिणामस्वरूप, बेहतर फसल के लिए।

अंजीर। 4. एक एल्गोरिथ्म का उपयोग करके दस्तावेजों को क्रॉप करने के उदाहरण

निष्कर्ष

लेख मोबाइल ब्राउज़र में उपयोग के लिए उपयुक्त एक वीडियो स्ट्रीम से फ़्रेम पर दस्तावेज़ों का पता लगाने के लिए एक एल्गोरिथ्म प्रस्तुत करता है, और ऑपेंकेव.जेएस लाइब्रेरी का उपयोग करके इसके कार्यान्वयन की सुविधाओं पर भी विचार करता है। एल्गोरिथ्म आपको प्रमाणीकरण, पहचान सत्यापन, आदि के लिए एल्गोरिदम द्वारा आगे उपयोग के लिए पर्याप्त गुणवत्ता में दस्तावेजों की आउटपुट छवि प्राप्त करने की अनुमति देता है। परिणामस्वरूप कार्यान्वयन की गति आपको "सुस्ती" और फ्रेम के नुकसान के बिना "चिकनी" यूएक्स प्राप्त करने की अनुमति देती है।

ध्यान देने के लिए आपको धन्यवाद! हमें उम्मीद है कि आपको यह लेख उपयोगी लगेगा।