प्रक्षेप और विवेकाधिकार, उन्हें अनुमानित छवि रूपांतरण के लिए क्यों आवश्यक है?

नमस्कार, हेब्र! आज हम ऐसे प्रतीत होता है सरल ऑपरेशन में गैर-स्पष्ट बिंदुओं के बारे में महान विस्तार से बात करेंगे: छवि में अनुमानित विकृतियों को सही करना। जैसा कि जीवन में अक्सर होता है, हमें यह चुनना था कि कौन अधिक महत्वपूर्ण है: गुणवत्ता या गति। और एक निश्चित संतुलन प्राप्त करने के लिए, हमने एल्गोरिदम को याद किया कि हमने 80-90 के दशक में संरचनाओं के प्रतिपादन के कार्य के रूप में सक्रिय रूप से वापस अध्ययन किया था, और तब से हम छवि प्रसंस्करण के संदर्भ में शायद ही कभी याद करते हैं। अगर दिलचस्पी है, तो बिल्ली के नीचे देखो!




पिनहोल कैमरा मॉडल, जो व्यवहार में अच्छी तरह से मोबाइल फोन के क्लोज-अप कैमरों को भी लाता है, हमें बताता है कि जब कैमरा घूमता है, तो एक सपाट वस्तु की छवियां प्रोजेक्टिव ट्रांसफॉर्मेशन से जुड़ी होती हैं। इस प्रकार के परिवर्तनकारी परिवर्तन का सामान्य दृष्टिकोण इस प्रकार है:

$$

$$x = \frac{t_{11} u + t_{12} v + t_{13}}{t_{31} u + t_{32} v + t_{33}}, \ \ \ y = \frac{t_{21} u + t_{22} v + t_{23}}{t_{31} u + t_{32} v + t_{33}},$$

कहाँ पे $$$T = (t_{ij}), \ \ i \in \{1, 2, 3\}, \ \ j \in \{1, 2, 3\}$अनुमानित परिवर्तन मैट्रिक्स, $$$(u, v)$तथा $$$(x, y)$स्रोत और परिवर्तित छवियों पर निर्देशांक।

ज्यामितीय छवि रूपांतरण

अनुमानित छवि परिवर्तन छवियों के संभावित ज्यामितीय परिवर्तनों में से एक है (ऐसे परिवर्तन जिसमें मूल छवि के बिंदु एक निश्चित कानून के अनुसार अंतिम छवि के बिंदुओं पर जाते हैं)।

यह समझने के लिए कि डिजिटल छवि के ज्यामितीय परिवर्तन की समस्या को कैसे हल किया जाए, आपको कैमरा मैट्रिक्स पर एक ऑप्टिकल छवि से इसके गठन के मॉडल पर विचार करने की आवश्यकता है। जी। वेहलबर्ग [1] के अनुसार, हमारे एल्गोरिथ्म को निम्नलिखित प्रक्रिया का अनुमान लगाना चाहिए:

1. डिजिटल से ऑप्टिकल छवि पुनर्प्राप्त करें।
2. ऑप्टिकल छवि का ज्यामितीय परिवर्तन।
3. परिवर्तित छवि का नमूना।

एक ऑप्टिकल छवि बिंदुओं के एक निरंतर सेट पर परिभाषित दो चर का एक कार्य है। इस प्रक्रिया को सीधे पुन: प्रस्तुत करना मुश्किल है, क्योंकि हमें विश्लेषणात्मक रूप से ऑप्टिकल छवि के प्रकार को निर्धारित करना होगा और इसे संसाधित करना होगा। इस प्रक्रिया को सरल बनाने के लिए, आमतौर पर रिवर्स मैपिंग विधि का उपयोग किया जाता है:

1. अंतिम छवि के विमान पर, एक नमूना ग्रिड का चयन किया जाता है - वे बिंदु जिनके द्वारा हम अंतिम छवि के पिक्सेल मूल्यों का मूल्यांकन करेंगे (यह प्रत्येक पिक्सेल का केंद्र हो सकता है, या शायद प्रति पिक्सेल कुछ बिंदु)।
2. उलटा ज्यामितीय परिवर्तन का उपयोग करते हुए, यह ग्रिड मूल छवि के स्थान पर स्थानांतरित हो जाता है।
3. प्रत्येक ग्रिड नमूने के लिए, इसका मूल्य अनुमानित है। चूंकि यह आवश्यक रूप से पूर्णांक निर्देशांक के साथ एक बिंदु पर प्रकट नहीं होता है, हमें छवि मान के कुछ प्रक्षेप की आवश्यकता होती है, उदाहरण के लिए, पड़ोसी पिक्सल द्वारा प्रक्षेप।
4. ग्रिड रिपोर्टों के अनुसार, हम अंतिम छवि के पिक्सेल मूल्यों का अनुमान लगाते हैं।

यहां, चरण 3 ऑप्टिकल छवि की बहाली से मेल खाती है, और चरण 1 और 4 के नमूने के अनुरूप है।

प्रक्षेप

यहां हम केवल सरल प्रकार के प्रक्षेप पर विचार करेंगे - जिन्हें कि प्रक्षेप कोर के साथ छवि के एक दृढ़ संकल्प के रूप में दर्शाया जा सकता है। छवि प्रसंस्करण के संदर्भ में, अनुकूली प्रक्षेप एल्गोरिथम जो वस्तुओं की स्पष्ट सीमाओं को संरक्षित करते हैं, बेहतर होगा, लेकिन उनकी कम्प्यूटेशनल जटिलता बहुत अधिक है और इसलिए हम रुचि नहीं रखते हैं।

हम निम्नलिखित प्रक्षेप तरीकों पर विचार करेंगे:

• निकटतम पिक्सेल द्वारा
• द्विरेखीय
• bicubic
• क्यूबिक बी-स्पलाइन
• क्यूबिक हेर्मिटियन स्पलाइन, 36 अंक।

इंटरपोलेशन में सटीकता के रूप में एक महत्वपूर्ण पैरामीटर भी है। यदि हम मानते हैं कि डिजिटल छवि को पिक्सेल के केंद्र में स्पॉट नमूना द्वारा ऑप्टिकल विधि से प्राप्त किया गया था और मानते हैं कि मूल छवि निरंतर थी, तो frequency की आवृत्ति के साथ कम-पास फिल्टर एक आदर्श पुनर्निर्माण कार्य होगा (देखें Kotelnikov की प्रमेय देखें )।

इसलिए, हम एक कम पास फिल्टर (एक आयामी मामले के लिए आंकड़े प्रस्तुत किए गए) के साथ हमारे प्रक्षेप कोर के फूरियर स्पेक्ट्रा की तुलना करते हैं।



और क्या, आप बस एक अच्छा स्पेक्ट्रम के साथ एक कर्नेल ले सकते हैं और अपेक्षाकृत सटीक परिणाम प्राप्त कर सकते हैं? वास्तव में नहीं, क्योंकि हमने ऊपर दो धारणाएं बनाई हैं: छवि का पिक्सेल मान और इस छवि की निरंतरता। इसी समय, न तो कोई और न ही छवि निर्माण के एक अच्छे मॉडल का हिस्सा है, क्योंकि कैमरे के मैट्रिक्स पर सेंसर बिंदु की तरह नहीं हैं, और छवि पर बहुत सारी जानकारी वस्तुओं की सीमाओं को वहन करती है - अंतराल। इसलिए, अफसोस, यह समझा जाना चाहिए कि प्रक्षेप का परिणाम हमेशा मूल ऑप्टिकल छवि से अलग होगा।

लेकिन आपको अभी भी कुछ करने की आवश्यकता है, इसलिए हम व्यावहारिक दृष्टिकोण से प्रत्येक तरीके के फायदे और नुकसान का संक्षेप में वर्णन करेंगे। यह देखने का सबसे आसान तरीका है जब आप छवि पर ज़ूम करते हैं (इस उदाहरण में, 10 बार)।

निकटतम पिक्सेल इंटरपोलेशन

सबसे सरल और तेज़, हालांकि, यह मजबूत कलाकृतियों की ओर जाता है।

बिलिनियर इंटरपोलेशन

गुणवत्ता में बेहतर है, लेकिन अधिक संगणना की आवश्यकता है और इसके अलावा वस्तुओं की सीमाओं को धुंधला करता है।

बाइक्यूबिक प्रक्षेप

निरंतर क्षेत्रों में भी बेहतर है, लेकिन सीमा पर एक प्रभामंडल प्रभाव है (सीमा के अंधेरे किनारे और प्रकाश के साथ एक गहरा पट्टी)। इस प्रभाव से बचने के लिए, आपको गैर-नकारात्मक कन्वेक्शन कर्नेल जैसे क्यूबिक बी-स्पलाइन का उपयोग करने की आवश्यकता है।

बी-स्पलाइन प्रक्षेप

बी-स्पलाइन में एक बहुत ही संकीर्ण स्पेक्ट्रम है, जिसका अर्थ है एक मजबूत "धुंधला" छवि (लेकिन यह भी अच्छा शोर में कमी, जो उपयोगी हो सकता है)।

एक क्यूबिक हर्माइट के आधार पर प्रक्षेप

इस तरह की एक पट्टी को छवि के प्रत्येक पिक्सेल में आंशिक डेरिवेटिव के अनुमान की आवश्यकता होती है। यदि सन्निकटन के लिए हम 2-पॉइंट अंतर स्कीम चुनते हैं, तो हमें बाइबिक इंटरपोलेशन का मूल मिलता है, इसलिए यहां हम 4-पॉइंट एक का उपयोग करते हैं।


हम इन तरीकों की तुलना मेमोरी एक्सेस की संख्या (एक बिंदु पर प्रक्षेप के लिए मूल छवि की पिक्सेल की संख्या) और बिंदु से गुणा की संख्या के संदर्भ में भी करते हैं।

यह देखा जा सकता है कि पिछले 3 विधियां पहले 2 की तुलना में काफी अधिक कम्प्यूटेशनल रूप से महंगी हैं।

सैम्पलिंग

यह एक ऐसा कदम है जिस पर हाल ही में बहुत कम ध्यान दिया गया है। अनुमानित छवि परिवर्तन करने का सबसे आसान तरीका अंतिम छवि के प्रत्येक पिक्सेल के मूल्य का मूल्यांकन करना है जो कि इसके केंद्र को मूल छवि के विमान में सम्मिलित करके प्राप्त होता है (चयनित प्रक्षेप विधि को ध्यान में रखते हुए)। इस दृष्टिकोण को हम पिक्सेल विवेकीकरण कहते हैं । हालांकि, उन क्षेत्रों में जहां छवि को संकुचित किया जाता है, इससे अपर्याप्त नमूने आवृत्ति पर स्पेक्ट्रा को अतिव्यापी करने की समस्या के कारण महत्वपूर्ण कलाकृतियां हो सकती हैं।

हम स्पष्ट रूप से रूसी पासपोर्ट और इसके व्यक्तिगत क्षेत्र के नमूने पर संपीड़न कलाकृतियों को प्रदर्शित करेंगे - जन्म स्थान (आर्कान्जेस्क शहर), जो कि पिक्सेल-बाय-पिक्सेल नमूने या फास्ट एल्गोरिथ्म का उपयोग करके संपीड़ित है, जिसे हम नीचे विचार करेंगे।



यह देखा जा सकता है कि बाईं छवि में पाठ अपठनीय हो गया है। यह सही है, क्योंकि हम स्रोत छवि के पूरे क्षेत्र से केवल एक बिंदु लेते हैं!

चूंकि हम एक पिक्सेल द्वारा अनुमान लगाने में सक्षम नहीं थे, तो प्रति पिक्सेल अधिक नमूने क्यों नहीं चुने गए, और प्राप्त मूल्यों को औसत किया? इस दृष्टिकोण को सुपरसम्पलिंग कहा जाता है । यह वास्तव में गुणवत्ता को बढ़ाता है, लेकिन एक ही समय में, कम्प्यूटेशनल जटिलता प्रति पिक्सेल नमूनों की संख्या के अनुपात में बढ़ जाती है।

पिछली सदी के अंत में अधिक कम्प्यूटेशनल रूप से कुशल तरीकों का आविष्कार किया गया था, जब कंप्यूटर ग्राफिक्स ने समतल वस्तुओं पर लगाए गए बनावट के प्रतिपादन की समस्या को हल किया था। इन विधियों में से एक है, मानचित्र-मानचित्र का उपयोग करके रूपांतरणसंरचना। एमआईपी-मैप मूल छवि से युक्त चित्रों का एक पिरामिड है, साथ ही इसकी प्रतियां 2, 4, 8 और इसी तरह कम हो जाती हैं। प्रत्येक पिक्सेल के लिए, हम इसकी संपीड़न विशेषता की डिग्री का मूल्यांकन करते हैं, और इस डिग्री के अनुसार हम स्रोत छवि के रूप में पिरामिड से वांछित स्तर का चयन करते हैं। एमआईपी-मानचित्र के उपयुक्त स्तर का मूल्यांकन करने के विभिन्न तरीके हैं (विवरण देखें [2])। यहां हम आंशिक रूप से व्युत्पन्न अनुमानित परिवर्तनकारी मैट्रिक्स के संबंध में अनुमान के आधार पर विधि का उपयोग करेंगे। हालांकि, अंतिम छवि के क्षेत्रों में कलाकृतियों से बचने के लिए जहां एक मैप-मैप संरचना का एक स्तर दूसरे में जाता है, पिरामिड के दो आसन्न स्तरों के बीच रैखिक प्रक्षेप आमतौर पर उपयोग किया जाता है (यह कम्प्यूटेशनल जटिलता को बहुत अधिक नहीं बढ़ाता है, क्योंकि पड़ोसी स्तरों पर बिंदुओं के निर्देशांक विशिष्ट रूप से जुड़े हुए हैं)।

हालांकि, एमआईपी-मैप इस तथ्य को ध्यान में नहीं रखता है कि छवि संपीड़न अनीसोट्रोपिक (कुछ दिशा के साथ लम्बी) हो सकता है। इस समस्या को रिप-मैप द्वारा आंशिक रूप से हल किया जा सकता है । एक संरचना जिसमें छवियां संकुचित होती हैं$$$2^m$ समय क्षैतिज और $$$2^n$बार बार। इस मामले में, अंतिम छवि में क्षैतिज और ऊर्ध्वाधर संपीड़न गुणांक का निर्धारण करने के बाद, मूल छवि की वांछित प्रतियों की वांछित संख्या के 4 संपीड़ित से परिणामों के बीच प्रक्षेप किया जाता है। लेकिन यह विधि आदर्श नहीं है, क्योंकि यह ध्यान नहीं रखता है कि अनिसोट्रॉपी की दिशा मूल छवि की सीमाओं के समानांतर दिशाओं से भिन्न होती है।

भाग में, इस समस्या को एफएएसटी (फुटप्रिंट एरिया सैंपल्ड टेक्सचरिंग) एल्गोरिथ्म [3] द्वारा हल किया जा सकता है । यह एमआईपी-मैप और सुपरसम्पलिंग के विचारों को जोड़ती है। हम कम से कम अनिसोट्रॉपी के अक्ष के आधार पर संपीड़न की डिग्री का अनुमान लगाते हैं और सबसे छोटी अक्ष की लंबाई के अनुपात के अनुपात में नमूनों की संख्या का चयन करते हैं।

कम्प्यूटेशनल जटिलता के संदर्भ में इन दृष्टिकोणों की तुलना करने से पहले, हम एक आरक्षण बनाते हैं कि व्युत्क्रम प्रक्षेप्य परिवर्तन की गणना में तेजी लाने के लिए, निम्नलिखित परिवर्तन करना तर्कसंगत है:

$$$q(x, y) = \frac{1}{f_3(x) + g_3(y)},$
$$$u(x, y) = q(x, y)(f_1(x) + g_1(y)),$
$$$v(x, y) = q(x, y)(f_3(x) + g_3(y)),$

कहाँ पे $$$f_i(x) = p_{i1} x, g_i(y) = p_{i2} y + p_{i3}, P = (p_{ij}) = T ^ {-1}, i \in \{1, 2, 3\}, j \in \{1, 2, 3\}$, $$$P$व्युत्क्रम प्रक्षेप्य परिवर्तन का मैट्रिक्स है। जैसा$$$f(x)$ तथा $$$g(y)$एक तर्क के कार्य, हम उन्हें छवि के रैखिक आकार के आनुपातिक समय के लिए पूर्व-गणना कर सकते हैं। फिर, अंतिम छवि के एक बिंदु के व्युत्क्रम छवि के निर्देशांक की गणना करने के लिए$$$(u, v)$, केवल 1 विभाजन और 2 गुणन आवश्यक हैं। एक समान चाल को आंशिक डेरिवेटिव के साथ किया जा सकता है, जिसका उपयोग एमआईपी-मैप या रिप-मैप संरचना में स्तर निर्धारित करने के लिए किया जाता है।

अब हम कम्प्यूटेशनल जटिलता के संदर्भ में परिणामों की तुलना करने के लिए तैयार हैं।

और नेत्रहीन तुलना करें (बाएं से दाएं पिक्सेल-बाय-पिक्सेल नमूने, 49 नमूनों द्वारा सुपरस्पैमलिंग, एमआईपी-मैप, रिप-मैप, फास्ट)।

प्रयोग

अब, हमारे परिणामों की प्रयोगात्मक रूप से तुलना करते हैं। हम 5 प्रक्षेप तरीकों और 5 विवेचना विधियों (कुल 25 विकल्प) में से प्रत्येक के संयोजन के लिए एक अनुमानित परिवर्तन एल्गोरिथ्म की रचना करते हैं। दस्तावेज़ों की 20 छवियों को 512x512 पिक्सेल तक ले जाएं, 3 प्रोजेक्टिव ट्रांसफॉर्मेशन मैट्रीक के 10 सेट उत्पन्न करें, जैसे कि प्रत्येक सेट आम तौर पर समान परिवर्तन के बराबर होता है, और हम मूल छवि और रूपांतरित एक के बीच PSNR की तुलना करेंगे। याद है कि PSNR है$$$10 \log \frac{MAX^2}{MSE}$कहाँ पे $$$MAX$यह मूल छवि में अधिकतम है a $$$MSE$- मूल से अंतिम का मानक विचलन। जितना अधिक PSNR उतना ही बेहतर। हम एक ARM Cortex-A15 प्रोसेसर (2000 MHz और 2GB RAM) के साथ ODROID-XU4 पर अनुमानित रूपांतरण के संचालन समय को भी मापेंगे।

परिणामों के साथ राक्षसी तालिका:

क्या निष्कर्ष निकाला जा सकता है?

• निकटतम पिक्सेल या पिक्सेल-बाय-पिक्सेल नमूनाकरण द्वारा प्रक्षेप का उपयोग खराब गुणवत्ता में होता है (यह ऊपर के उदाहरणों से स्पष्ट था)।
• 36 — .
• b- , , .
• Rip-map FAST , 9 ( , ?).
• mip-map b- PSNR , .

यदि आप बहुत कम गति के साथ अच्छी गुणवत्ता चाहते हैं, तो आपको एमआईपी-मैप या फास्ट का उपयोग करके विवेक के साथ संयोजन में बिलिनियर प्रक्षेप पर विचार करना चाहिए। हालांकि, अगर यह निश्चित रूप से ज्ञात है कि प्रक्षेप्य विकृति बहुत कमजोर है, तो गति बढ़ाने के लिए, आप बिलिनियर प्रक्षेप के साथ जोड़े गए पिक्सेल-बाय-पिक्सेल विवेकाधिकार का उपयोग कर सकते हैं या निकटतम पिक्सेल द्वारा प्रक्षेप भी कर सकते हैं। और अगर आपको उच्च गुणवत्ता की आवश्यकता है और बहुत सीमित समय नहीं है, तो आप मध्यम सुपरसैमप्लिंग (उदाहरण के लिए, अनुकूली, स्थानीय संपीड़न अनुपात के आधार पर) के साथ युग्मित बाइबिक या अनुकूली प्रक्षेप का उपयोग कर सकते हैं।

पुनश्च प्रकाशन रिपोर्ट पर आधारित है: ए। ट्रूसोव और ई। लिमोनोवा, "मोबाइल उपकरणों पर छवि मान्यता के लिए अनुमानित परिवर्तन एल्गोरिदम का विश्लेषण," आईसीएमवी 2019, 11433 एड।, वोल्फगैंग ओस्टेन, दिमित्री निकोलेव, जियानहोंग झोउ, एड, एसपीआईई। , जन। 2020, वॉल्यूम। 11433, आईएसएसएन 0277-786X, आईएसबीएन 978-15-10636-43-9, वॉल्यूम। 11433, 11433 0 वाई, पीपी। 1-8, 2020, डीओआई: 10.1117 / 12.2559732।