फारसी-नेट लेख की समीक्षा - वास्तविक समय शब्दार्थ विभाजन के लिए एक नया दृष्टिकोण

इस पत्र में, लेखकों ने वास्तविक समय शब्दार्थ विभाजन के लिए कैस्केड फैक्टेड एट्रैस स्पैटियल पिरामिड पूलिंग (सीएफ-एएसपीपी) वास्तुकला का प्रस्ताव रखा है। नया सीएफ-एएसपीपी मॉड्यूल और सुपर-रिज़ॉल्यूशन का उपयोग विलंबता-सटीकता व्यापार-बंद में सुधार करता है। समीक्षा एमटीएस एंड्री लुक्यानेंको के प्रमुख डेवलपर द्वारा तैयार की गई थी।

सीमित संसाधनों पर किए जाने वाले कई कार्यों के लिए वास्तविक समय शब्दार्थ विभाजन आवश्यक है। बड़ी कठिनाइयों में से एक विभिन्न आकारों की वस्तुओं के साथ काम कर रहा है और संदर्भ का उपयोग कर रहा है। इस पत्र में, लेखक कैस्केड फैक्टेड एट्रैस स्पैटियल पिरामिड पूलिंग (सीएफ-एएसपीपी) वास्तुकला का प्रस्ताव करते हैं।

आजकल, एक सामान्य दृष्टिकोण प्रारंभिक चरणों में छवियों के आकार को जल्दी से कम करना है, और फिर अपसर्पलिंग का उपयोग करके मूल आकार का मुखौटा प्राप्त किया जाता है। लेखक सरल अपसम्पलिंग के बजाय सुपर-रिज़ॉल्यूशन दृष्टिकोण का उपयोग करने का प्रस्ताव करते हैं।

नया मॉड्यूल और सुपर-रिज़ॉल्यूशन का उपयोग विलंबता-सटीकता व्यापार-बंद में सुधार कर सकता है।

लेखकों की शब्दावली में, सुविधा निष्कर्षण के लिए प्रशिक्षित नेटवर्क को फ्रंट-एंड नेटवर्क कहा जाता है, और बाकी को बैक-एंड नेटवर्क कहा जाता है।



सुधार के लिए औचित्य

चूंकि अलग-अलग चित्रों में एक ही वस्तु के अलग-अलग आकार हो सकते हैं, विशेष रूप से छोटी और संकीर्ण वस्तुओं के लिए प्रासंगिक जानकारी का प्रभावी ढंग से उपयोग करने में सक्षम होना बहुत महत्वपूर्ण है। आमतौर पर फ्रंट-एंड कई स्केल से संदर्भ एकत्रीकरण करता है। लेकिन आमतौर पर ये मॉड्यूल तंत्रिका नेटवर्क के गहरे स्तरों पर काम करते हैं, जहां चैनलों की संख्या अधिक होती है। नतीजतन, 3 के कर्नेल आकार के साथ भी दृढ़ परतों को काफी कंप्यूटिंग संसाधनों की आवश्यकता होती है। इसलिए, लेखक अपने स्वयं के मॉड्यूल का प्रस्ताव करते हैं, जो इसे और अधिक प्रभावी बनाता है।

सिमेंटिक सेगमेंटेशन के लिए एक और बैक-एंड समस्या यह है कि फीचर मैप्स में फ्रंट-एंड के बाद काफी छोटे स्थानिक आयाम होते हैं। साथ ही, कई दृष्टिकोण गति को बढ़ाने के लिए कम आकार के साथ छवियों का उपयोग करते हैं। नतीजतन, आकार और भी छोटा है। लेखक प्रशिक्षण के दौरान पर्यवेक्षण के लिए एक मूल आकार के मास्क का उपयोग करने का सुझाव देते हैं। सुपर-रिज़ॉल्यूशन आपको कम-रिज़ॉल्यूशन मास्क से उच्च-रिज़ॉल्यूशन मास्क को कुशलतापूर्वक पुनर्स्थापित करने की अनुमति देता है।

सुधार का सार

किसी भी प्रशिक्षित जाल का उपयोग फ्रंट-एंड के रूप में किया जा सकता है, उदाहरण के लिए, वीजीजी, रेसनेट, मोबाइलनेट।

पूरा बिंदु बैक-एंड है:



कैस्केड फैक्टरेटेड एएसपीपी

सिंटिक सेगमेंट में प्रायः एट्रोफिक कॉन्फोल्यूशन का उपयोग किया जाता है - मानक दृष्टिकोण से उनका अंतर यह है कि फिल्टर के बीच r - 1 शून्य जोड़े जाते हैं। यह आपको कम्प्यूटेशनल लागतों को बढ़ाए बिना प्रत्येक फिल्टर की दृश्यता में काफी वृद्धि करने की अनुमति देता है। लेकिन जब से बड़े-बड़े फीचर मैप्स पर एट्रोफिक कॉन्फोल्यूशन लागू होता है, कंप्यूटिंग अब भी महंगा है।

लेखकों का सुझाव है कि 3 × 3 प्रायश्चित संलक्षण को 2 भागों में विघटित करें: चैनलों की संख्या को कम करने के लिए बिंदु-वार संकेंद्रण, और फिर कम्प्यूटेशनल ओवरहेड को कम करने के लिए गहराई-वार और आथेंटिक दृढ़ संकल्प। नतीजतन, लगभग 8.8 गुना कम गणनाओं की आवश्यकता होती है।

इसके अलावा, एएसपीपी मॉड्यूल को कैस्केड में दो बार लागू किया जाता है। एक तरफ, मॉडल को विभिन्न पैमानों के अधिक संदर्भ मिलते हैं, दूसरी तरफ, छोटी छवियां दूसरे ASPP पर आती हैं, इसलिए ग्रिड बहुत धीमा नहीं होता है, और सटीकता बढ़ जाती है।

फ़ीचर स्पेस सुपर-रिज़ॉल्यूशन

फ्रंट-एंड ऑपरेशन के परिणामस्वरूप, छवि का आकार बहुत कम हो गया है, और हमें इस कम की गई छवि के आधार पर एक उच्च-रिज़ॉल्यूशन परिणाम प्राप्त करने की आवश्यकता है। लेखक इसके लिए सुपर-रिज़ॉल्यूशन दृष्टिकोण का उपयोग करते हैं।

प्रशिक्षण चरण में, एक थंबनेल का उपयोग इनपुट के रूप में किया जाता है, और मूल छवि का उपयोग जमीनी सच्चाई के रूप में किया जाता है।

मॉड्यूल में बैक-एंड अपसमैपिंग उप-पिक्सेल कनवल्शन का उपयोग करके किया जाता है, जिसका उपयोग केवल सुपर-रिज़ॉल्यूशन कार्यों में किया जाता है।



प्रयोगों

एक डेटासेट के रूप में, शहर का उपयोग किया गया था। कोड Pytorch 1.1, CuDNN v7.0 में लिखा गया था। हस्तक्षेप एनवीडिया टाइटन एक्स (मैक्सवेल) पर किया गया था। एक प्रशिक्षित जाल के रूप में ResNet-18 का उपयोग किया। औसत पूलिंग से पहले और conv3_x परत से सुविधाओं को अंतिम परत से लिया गया था।
SGD, 400 युग और कई वृद्धि।

नेटवर्क संरचना पर



परीक्षण अध्ययन 4 दृष्टिकोणों का परीक्षण:

1. फ्रंट-एंड - ResNet-18, बैक-एंड - ASPP, डिकोडर - DeeplabV3 +
2. फ्रंट-एंड - रेसनेट -18, बैक-एंड - एक एफ-एएसपीपी, डिकोडर - डीपलैब वी 3 +
3. फ्रंट-एंड - रेसनेट -18, बैक-एंड - सीएफ-एएसपीपी (फीचर स्पेस रिज़ॉल्यूशन के बिना)
4. पूर्ण दृष्टिकोण।

अन्य दृष्टिकोणों के साथ तुलना।



गुणवत्ता वास्तव में उच्च है और अनुमान की दर लगभग सबसे अच्छी है।