🍞 🙍🏾 🚒 नियमितीकरण? Orthogonalization! कॉम्पैक्ट नेटवर्क में सुधार 💇🏾 ☀️ 🔉

जबकि अन्य कंपनियां टीम को दूरस्थ रूप से प्रबंधित करने के बारे में चर्चा कर रही हैं, हम स्मार्ट इंजन में हमारी प्रौद्योगिकी स्टैक को आपके साथ साझा करना जारी रखते हैं। आज तंत्रिका नेटवर्क के अनुकूलन के बारे में। तंत्रिका नेटवर्क पर आधारित एक मान्यता प्रणाली बनाने के लिए जो स्मार्टफोन और अन्य मोबाइल उपकरणों पर जल्दी से काम कर सकती है। और यह सुनिश्चित करने के लिए कि गुणवत्ता उच्च है और भी अधिक कठिन है। इस लेख में, हम तंत्रिका नेटवर्क को नियमित करने के लिए एक सरल विधि के बारे में बात करेंगे, जिसका उपयोग हम स्मार्ट इंजन में "मोबाइल" नेटवर्क की गुणवत्ता में सुधार के लिए कम संख्या में मापदंडों के साथ करते हैं। विधि का विचार प्रशिक्षण के दौरान संवेदी परतों में फिल्टर की रैखिक निर्भरता में एक क्रमिक कमी पर आधारित है, जिसके कारण प्रत्येक न्यूरॉन अधिक कुशलता से काम करता है, और इसलिए, मॉडल की सामान्यीकरण क्षमता में सुधार होता है।ऐसा करने के लिए, हम एक आयामी वैक्टर के रूप में फ़िल्टर प्रस्तुत करते हैं और एक दूसरे के साथ सबसे लंबे प्रक्षेपण लंबाई के साथ एक जोड़ी को जोड़ते हैं।

अधिकांश आधुनिक तंत्रिका नेटवर्क डिजाइन करते समय, यह समझा जाता है कि वे कहीं दूर सर्वर पर प्रदर्शन करेंगे, और प्रसंस्करण के लिए डेटा क्लाइंट के माध्यम से एक पीसी या मोबाइल डिवाइस पर आएगा। हालाँकि, यह दृष्टिकोण अस्वीकार्य है जब यह व्यक्तिगत डेटा की सुरक्षा के लिए आता है जिसे आप कहीं भी स्थानांतरित नहीं करना चाहते हैं (उदाहरण के लिए, पासपोर्ट फोटो या मान्यता के लिए बैंक कार्ड)। सौभाग्य से हमारे लिए, मोबाइल उपकरणों में आज तंत्रिका नेटवर्क को चलाने की पर्याप्त क्षमता है, जिससे आप तीसरे पक्ष को डेटा भेजने से बच सकते हैं। एक और बात यह है कि ये नेटवर्क छोटे होने चाहिए और इनमें कम संख्या में ऑपरेशन होने चाहिए ताकि उपयोगकर्ता के धैर्य की परीक्षा न हो। ऐसी स्थितियाँ उनके कार्य की अधिकतम प्राप्य गुणवत्ता को सीमित करती हैं,और रनटाइम का त्याग किए बिना हल्के नेटवर्क को कैसे बेहतर बनाया जाए, यह एक खुला सवाल है। इस पर चिंतन करते हुए, हम तंत्रिका नेटवर्क में नियमितीकरण की एक नई विधि के साथ आए, जो कॉम्पैक्ट नेटवर्क पर केंद्रित है और कंफ्यूजनल फिल्टर के ऑर्थोगोनाइजेशन में सम्‍मिलित है।

यह पोस्ट अंतर्राष्ट्रीय सम्मेलन ICMV 2019, एम्स्टर्डम, नीदरलैंड में नवंबर 2019 में प्रस्तुत "संवैधानिक तंत्रिका नेटवर्क वजन नियमितीकरण के माध्यम से नियमितीकरण" रिपोर्ट का एक संक्षिप्त संस्करण है।

ऑर्थोगोनाइजेशन का उपयोग करके नियमितीकरण का विचार

चूंकि प्रस्तावित विधि नियमितीकरण से संबंधित है, इसलिए हम पहले संक्षेप में याद करते हैं कि यह क्या है। नियमितीकरण में मॉडल पर कुछ प्रतिबंध लगाने के बारे में हमारे विचारों के आधार पर बताया गया है कि कार्य को कैसे हल किया जाना चाहिए। नतीजतन, नेटवर्क की सामान्यीकरण क्षमता बढ़ जाती है। उदाहरण के लिए, एल 1 नियमितीकरण नेटवर्क के निर्वहन से संतुलन के हिस्से को शून्य करने में योगदान देता है, एल 2 - छोटी संख्या के भीतर गुणांक रखता है, ड्रॉपआउट व्यक्तिगत न्यूरॉन्स, आदि की निर्भरता को समाप्त करता है। ये विधियाँ कई आधुनिक नेटवर्कों की सीखने की प्रक्रिया का एक अभिन्न अंग हैं, खासकर यदि उनमें बड़ी संख्या में पैरामीटर हैं - नियमितीकरण आपको रिट्रेनिंग से काफी हद तक निपटने की अनुमति देता है।

अब वापस अपने तरीके पर। हम तुरंत एक आरक्षण करते हैं, सबसे पहले, हम एक चित्रण तंत्रिका नेटवर्क के साथ छवियों को वर्गीकृत करने की समस्या पर विचार करते हैं। यह धारणा, जिसके आधार पर हम ऑर्थोगोनाइजेशन के उपयोग के लिए आए थे, निम्नलिखित है: यदि नेटवर्क डेटा में पैटर्न की अवधारणा के लिए अपने संसाधनों में बेहद सीमित है, तो इसमें प्रत्येक न्यूरॉन को यथासंभव कुशलता से काम करने के लिए बनाया जाना चाहिए, और ताकि यह फ़ंक्शन को सख्ती से सौंपे। दूसरे शब्दों में, ताकि यह "हुक अप" ऐसी विशेषताएं हो जो किसी अन्य न्यूरॉन का पता लगाने में असमर्थ हो। हम प्रशिक्षण के दौरान धीरे-धीरे न्यूरॉन वेट वैक्टर के बीच रैखिक संबंध को कम करके इस समस्या को हल करते हैं। ऐसा करने के लिए, हमने शास्त्रीय ऑर्थोगोनाइजेशन एल्गोरिदम को संशोधित किया, इसे सीखने की प्रक्रिया की वास्तविकताओं के साथ जोड़ दिया।

कनवल्शन फिल्टर ऑर्थोगोनाइजेशन

वैक्टर के एक सेट के रूप में दृढ़ परत के फिल्टर को परिभाषित करें

, जहां सी , संवेदी परत का सूचकांक है, और एन इसमें फिल्टर की संख्या है। : के बाद वजन त्रुटि के पीछे प्रचार के दौरान अद्यतन किया गया प्रत्येक व्यक्ति convolutional परत में, हम एक दूसरे के शीर्ष पर एक अधिकतम प्रक्षेपण लंबाई के साथ वैक्टर की एक जोड़ी के लिए देखो

की वेक्टर प्रक्षेपण च _छ पर च _{कश्मीर} के रूप में गणना की जा सकती

। फिर, आदेश फिल्टर orthogonalize करने में च _एक और च _ख , हम साथ ग्राम श्मिट एल्गोरिथ्म से पहला कदम की जगह

: निम्न सूत्र

जहां η सीखने की गति और है पौधाओर्थोगोनाइजेशन गुणांक, जिनमें से मान अंतराल पर निहित है [0.0, 1.0]। ऑर्थोगोनाइजेशन गुणांक का परिचय इस तथ्य के कारण है कि फिल्टर के "तात्कालिक" ऑर्थोगोनाइजेशन पिछले पुनरावृत्तियों पर भार में व्यवस्थित परिवर्तन की उपेक्षा करते हुए, सीखने की प्रक्रिया को बहुत तोड़ देता है। छोटे पौधा मूल्य सीखने की गतिशीलता को संरक्षित करते हैं और प्रत्येक परत में फिल्टर के बीच रैखिक संबंधों में एक चिकनी कमी में योगदान करते हैं। हम विधि में एक बार फिर से एक महत्वपूर्ण बिंदु पर ध्यान देते हैं: एक पुनरावृत्ति में हम केवल एक वेक्टर को संशोधित करते हैं ताकि अनुकूलन एल्गोरिथ्म को नुकसान न पहुंचे।

अंजीर। एक पुनरावृत्ति का दृश्य।

हम केवल कंफर्टेबल फिल्टरों के ऑर्थोगोनाइजेशन पर विचार करते हैं, क्योंकि आधुनिक न्यूरल नेटवर्क में कॉन्टेक्शनल लेयर्स आर्किटेक्चर का एक बड़ा हिस्सा बनाते हैं। हालाँकि, एल्गोरिथ्म पूरी तरह से जुड़े परतों में न्यूरॉन्स के वजन को आसानी से सामान्यीकृत करता है।

प्रयोगों

हम अभ्यास करने के लिए सिद्धांत से गुजरते हैं। प्रयोगों के लिए, हमने कंप्यूटर दृष्टि के क्षेत्र में तंत्रिका नेटवर्क का मूल्यांकन करने के लिए 2 सबसे लोकप्रिय डेटासेट का उपयोग करने का निर्णय लिया - एमएनआईएसटी (हस्तलिखित संख्याओं की छवियों का वर्गीकरण) और सीआईएफएआर 10 (10 कक्षाओं की तस्वीरें - नौकाएं, ट्रक, घोड़े, आदि)।

चूंकि हम मानते हैं कि ऑर्थोगोनाइजेशन मुख्य रूप से कॉम्पैक्ट नेटवर्क के लिए उपयोगी होगा, इसलिए हमने 3 संशोधनों में LeNet जैसी आर्किटेक्चर लिया, जो एक दूसरे से विभिन्न परतों में फिल्टर की संख्या में भिन्न हैं। हमारे नेटवर्क की वास्तुकला, जिसे सुविधा के लिए LeNet 1.0 कहा जाएगा, तालिका 1 में दिखाया गया है। इससे प्राप्त LeNet 2.0 और LeNet 3.5 आर्किटेक्चर क्रमशः, 2 और 3.5 बार, बड़ी परतों में बड़ी संख्या में फ़िल्टर द्वारा प्रतिष्ठित हैं।

सक्रियण फ़ंक्शन का चयन करते हुए, हमने न केवल ReLU पर रोक दिया क्योंकि यह सबसे लोकप्रिय और कम्प्यूटेशनल रूप से कुशल फ़ंक्शन है (हम आपको याद दिलाते हैं कि हम अभी भी तेजी से नेटवर्क के बारे में बात कर रहे हैं)। तथ्य यह है कि गैर-टुकड़ा-रेखीय कार्यों का उपयोग ओर्थोगोनाइजेशन के प्रभाव को नकारता है: उदाहरण के लिए, हाइपरबोलिक स्पर्शरेखा दृढ़ता से इनपुट वैक्टर को विकृत करती है क्योंकि इसमें संतृप्ति के करीब के क्षेत्रों में एक स्पष्ट गैर-समता है।

तालिका 1। प्रयोगों में प्रयुक्त LeNet 1.0 नेटवर्क आर्किटेक्चर।

परतें
#	एक प्रकार	पैरामीटर	सक्रियण समारोह
1	रूपा	8 फिल्टर 3x3, स्ट्राइड 1x1, कोई पैडिंग नहीं	Relu
2	रूपा	16 फिल्टर 5x5, स्ट्राइड 2x2, पेडिंग 2x2	Relu
3	रूपा	16 फिल्टर 3x3, स्ट्राइड 1x1, पैडिंग 1x1	Relu
4	रूपा	32 फिल्टर 5x5, स्ट्राइड 2x2, पैडिंग 2x2	Relu
5	रूपा	32 फिल्टर 3x3, स्ट्राइड 1x1, पैडिंग 1x1	Relu
6	रूपा	32 फिल्टर 3x3, स्ट्राइड 1x1, पैडिंग 1x1	Relu
7	पूरी तरह से जुड़ा हुआ	10 न्यूरॉन्स	Softmax

हमने ऑर्थोगोनाइजेशन गुणांक वोर्ट के 3 मूल्यों की कोशिश की : 0.01, 0.05, 0.1। सभी प्रयोगों को 10 बार किया गया था, और परिणाम औसत थे (मानक विचलन ( एसटीडी ) त्रुटि दर के लिए परिणाम के साथ तालिका में दिखाया गया है)। हमने यह भी गणना की कि त्रुटियों की संख्या ( लाभ ) कितने प्रतिशत घट गई ।

प्रयोगात्मक परिणामों ने पुष्टि की कि ऑर्थोगोनाइजेशन से सुधार अधिक है, नेटवर्क में छोटे पैरामीटर (टेबल 2 और 3)। हमने एक दिलचस्प परिणाम भी प्राप्त किया कि "भारी" नेटवर्कों के मामले में ओर्थोगोनलिज़्म का उपयोग खराब गुणवत्ता की ओर जाता है।

तालिका 2. MNIST के लिए प्रायोगिक परिणाम

Mnist	लेनेट 1.0 (52k params)			लेनेट 2.0 (179k params)			LeNet 3.5 (378k params)
Mnist	त्रुटि दर	एसटीडी	फायदा	त्रुटि दर	एसटीडी	फायदा	त्रुटि दर	एसटीडी	फायदा
आधारभूत	0.402%	0.033	-	0.366%	0.026	-	0.361%	0.028	-
पौधा = 0.01	0.379%	0.027	5.72%	0.355%	0.01	3.01%	0.359%	0.026	0.55%
पौधा = ०.०५	0.36%	0.022	10.45%	0.354%	0.018	3.28%	0.356%	0.034	1.39%
पौधा = ०.१	0.368%	0.015	8.46%	3.53%	0.024	3.55%	0.353%	0.018	2.22%

तालिका 3. CIFAR10 के लिए प्रायोगिक परिणाम

Cifar10	लेनेट 1.0 (52k params)			लेनेट 2.0 (179k params)			LeNet 3.5 (378k params)
Cifar10	त्रुटि दर	एसटीडी	फायदा	त्रुटि दर	एसटीडी	फायदा	त्रुटि दर	एसटीडी	फायदा
आधारभूत	22.09%	0.65	-	18.49%	1.01	-	17.08%	0.47	-
पौधा = 0.01	21.56%	0.86	2.38%	18.14%	0.65	1.89%	17.33%	0.49	-1.46%
पौधा = ०.०५	21.59%	0.48	2.24%	18.30%	0.57	1.03%	17.59%	0.31	-3.02%
पौधा = ०.१	21.54%	0.41	2.48%	18.15%	0.53	1.85%	17.53%	0.4	-2.63%

हालांकि, लेनेट नेटवर्क अब दुर्लभ हैं और अधिक आधुनिक मॉडल आमतौर पर उपयोग किए जाते हैं। इसलिए, हमने ResNet मॉडल के साथ भी प्रयोग किया, जिसमें फिल्टर की संख्या से सुविधा होती है, जिसमें 25 दृढ़ परतें होती हैं। पहले 7 परतों में 4 फ़िल्टर, अगले 12 में 8 फ़िल्टर और अंतिम 6 में 16 फ़िल्टर शामिल थे। इस मॉडल के प्रशिक्षित मापदंडों की कुल संख्या 21 हजार थी। परिणाम समान था: ऑर्थोगोनाइजेशन नेटवर्क की गुणवत्ता में सुधार करता है।

अंजीर। ऑर्थोगोनाइजेशन के साथ और बिना MNIST पर रेसनेट लर्निंग डायनामिक्स की तुलना।

गुणवत्ता में सुधार के बावजूद, प्रस्तावित पद्धति के सही संचालन में पूर्ण विश्वास के लिए, आपको यह देखने की आवश्यकता है कि फ़िल्टर में स्वयं क्या परिवर्तन हुए हैं। इसके लिए, प्रशिक्षण के सभी युगों के लिए 2, 12 और 25 ResNet परतों में अधिकतम फिल्टर प्रक्षेपण लंबाई के मूल्यों को लिखा गया था। हम नीचे दिए गए ग्राफ़ में परिवर्तनों की गतिशीलता देते हैं। यहां सबसे महत्वपूर्ण बात यह है कि सभी परतों में फिल्टर की रैखिक निर्भरता में कमी है।

अंजीर। एक उदाहरण के रूप में ResNet का उपयोग करके एक संकेंद्रित परत में फिल्टर की अधिकतम प्रक्षेपण लंबाई में परिवर्तन की गतिशीलता।

ऑर्थोगोनाइजेशन-आधारित नियमितीकरण को लागू करना बेहद आसान है: अजगर पर संख्यात्मक मॉड्यूल का उपयोग करके यह कोड की 10 लाइनों से कम लेता है। इसी समय, यह प्रशिक्षण को धीमा नहीं करता है और अन्य नियमितीकरण विधियों के साथ संगत है।

निष्कर्ष

अपनी सादगी के बावजूद, orthogonalization "हल्के" नेटवर्क की गुणवत्ता में सुधार करने में मदद करता है, जो निष्पादन के आकार और गति पर प्रतिबंध लगाता है। मोबाइल प्रौद्योगिकियों के प्रसार के कारण, इस तरह के प्रतिबंध तेजी से सामान्य हैं: एक तंत्रिका नेटवर्क को क्लाउड में कहीं नहीं चलना चाहिए, लेकिन सीधे एक कमजोर प्रोसेसर और कम मेमोरी वाले डिवाइस पर। इस तरह के नेटवर्क का प्रशिक्षण तंत्रिका नेटवर्क विज्ञान में आधुनिक रुझानों के लिए काउंटर चलाता है, जहां लाखों प्रशिक्षित मापदंडों वाले मॉडल होते हैं जिन्हें कोई भी स्मार्टफोन खींच नहीं सकता है। इसीलिए, औद्योगिक समस्याओं को हल करने के ढांचे में, सरल और तेज नेटवर्क की गुणवत्ता में सुधार के लिए तरीकों का आविष्कार और विकास करना बेहद महत्वपूर्ण है।

उपयोग किए गए स्रोतों की सूची

अलेक्जेंडर वी। गेयर, अलेक्जेंडर वी। शेशकस, "संवैधानिक तंत्रिका नेटवर्क नियमितीकरण को ओर्थोगोनाइजेशन के माध्यम से तौलता है," प्रोक। SPIE 11433, मशीन विज़न पर बारहवें अंतर्राष्ट्रीय सम्मेलन (ICMV 2019), 1143326 (31 जनवरी, 2020); https://doi.org/10.1117/12.2559346

नियमितीकरण? Orthogonalization! कॉम्पैक्ट नेटवर्क में सुधार

ऑर्थोगोनाइजेशन का उपयोग करके नियमितीकरण का विचार

कनवल्शन फिल्टर ऑर्थोगोनाइजेशन

प्रयोगों

निष्कर्ष

उपयोग किए गए स्रोतों की सूची

More articles: