द्विध्रुवी रूपात्मक नेटवर्क: गुणन के बिना एक न्यूरॉन

आजकल ऐसी समस्या का पता लगाना मुश्किल है जो अभी तक तंत्रिका नेटवर्क द्वारा हल करने का प्रस्ताव नहीं किया गया है। और कई समस्याओं में अन्य तरीकों पर भी विचार नहीं किया जाता है। ऐसी स्थिति में, यह तर्कसंगत है कि "सिल्वर बुलेट" की खोज में, शोधकर्ताओं और प्रौद्योगिकीविदों ने तंत्रिका नेटवर्क आर्किटेक्चर के अधिक से अधिक नए संशोधनों की पेशकश की, जो आवेदकों को "सभी के लिए खुशी, कुछ भी नहीं के लिए, और किसी को भी नाराज न होने दें!" हालांकि, औद्योगिक समस्याओं में अक्सर यह पता चलता है कि मॉडल की सटीकता मुख्य रूप से प्रशिक्षण नमूने की स्वच्छता, आकार और संरचना पर निर्भर करती है, और तंत्रिका नेटवर्क मॉडल को एक उचित इंटरफ़ेस की आवश्यकता होती है (उदाहरण के लिए, यह अप्रिय है जब तर्क का उत्तर एक चर-लंबाई सूची होना चाहिए)।


एक और चीज उत्पादकता, गति है। यहां वास्तुकला पर निर्भरता प्रत्यक्ष और काफी अनुमानित है। हालांकि, सभी वैज्ञानिक रुचि नहीं रखते हैं। शताब्दियों, युगों के लिए, एक सदी के लिए मानसिक रूप से लक्ष्य करना बहुत अधिक सुखद है जब जादुई रूप से कंप्यूटिंग शक्ति अकल्पनीय होगी, और हवा से निकाली गई ऊर्जा। हालांकि, वहाँ भी सांसारिक लोग पर्याप्त हैं। और यह उनके लिए महत्वपूर्ण है कि तंत्रिका नेटवर्क अभी अधिक कॉम्पैक्ट, तेज और अधिक ऊर्जा-कुशल हैं। उदाहरण के लिए, मोबाइल उपकरणों और एम्बेडेड सिस्टम पर काम करते समय यह महत्वपूर्ण है जहां कोई शक्तिशाली वीडियो कार्ड नहीं है या आपको बैटरी बचाने की आवश्यकता है। इस दिशा में बहुत कुछ किया गया है: यहां छोटे आकार के पूर्णांक तंत्रिका नेटवर्क हैं, और अतिरिक्त न्यूरॉन्स को हटाने, और टेंसर अपघटन विघटन, और बहुत कुछ है।


हम न्यूरॉन के अंदर गणना से गुणा को हटाने में कामयाब रहे, उन्हें परिवर्धन के साथ बदल दिया और अधिकतम ले लिया, हालांकि हमने सक्रियण समारोह में गुणन और nonlinear संचालन का उपयोग करने का अवसर छोड़ दिया। हमने प्रस्तावित मॉडल को एक न्यूरॉन का द्विध्रुवी आकारिकी मॉडल कहा है।



 


, , “ ” - . , , . . , . , , , .


, , , , . , , . . . Labor omnia vīcit improbus et dūrīs urgēns in rēbus egestās.


, — . 90- [1, 2]. . , [3], [4]. , , . [5], [6]. , . .


, , , , .



:


y(x,w)=σ(i=1Nwixi+wN+1)


, xw, σ.


(-), . , . , 4 , :


i=1Nxiwi=i=1Npi00xiwii=1Npi01xi|wi|i=1Npi10|xi|wi+i=1Npi11|xi||wi|,



pikj={1,  (1)kxi>0 and (1)jwi>00, 


. :


M=maxj(xjwj)k=i=1NxiwiM1


:


i=1Nxiwi=exp{lni=1Nxiwi}=exp{lnM(1+k)}=(1+k)explnM==(1+k)exp{ln(maxj(xjwj))}=(1+k)expmaxjln(xjwj)==(1+k)expmaxj(lnxj+lnwj)=(1+k)expmaxj(yj+vj)expmaxj(yj+vj),


yj— , vj=lnwj— . , , k1. 0kN1, , (k=0), — (k=N1). N. , — , . , , — , . - .


- . 1. ReLU 4 : . . , .


, , . , , . (, -), — .



. 1. .


, - :


BM(x,w)=expmaxj(lnReLU(xj)+vj0)expmaxj(lnReLU(xj)+vj1)expmaxj(lnReLU(xj)+vj0)+expmaxj(lnReLU(xj)+vj1),



vjk={ln|wj|,  (1)kwj>0, 


, . , . , , .



, , , : - ! , . ( 1) ( 2). ? , . , .


, -: - , , -, , . - : , , , .


, , , incremental learning — , . . - , . “” — ( 1), — ( 2). “” , , . , -, , , -.



MNIST


MNIST — , 60000 28 28. 10000 . 10% , — . . 2.



. 2. MNIST.


:


conv(n, w_x, w_y) — n w_x w_y;
fc(n) — n ;
maxpool(w_x, w_y) — max-pooling w_x w_y;
dropout(p) — dropout p;
relu — ReLU(x)=max(x,0);
softmax — softmax.


MNIST :


CNN1: conv1(30, 5, 5) — relu1 — dropout1(0,2) — fc1(10) — softmax1.


CNN2: conv1(40, 5, 5) — relu1 — maxpool1(2, 2) — conv2(40, 5, 5) — relu2 — fc1(200) — relu3 — dropout1(0,3) — fc2(10) — softmax1.


. 1. “” . () ().


1. MNIST. — , — .


1,1, +2,2, +
CNN1-98,72-98,72-
CNN1conv142,4798,5138,3898,76
CNN1conv1 — relu1 — dropout1 — fc126,89-19,8694,00
CNN2-99,45-99,45-
CNN2conv194,9099,4196,5799,42
CNN2conv1 — relu1 — maxpool1 — conv221,2598,6836,2399,37
CNN2conv1 — relu1 — maxpool1 — conv2 — relu2 — fc110,0174,9517,2599,04
CNN2conv1 — relu1 — maxpool1 — conv2 — relu2 — fc1 — dropout1 — relu3 — fc212,91-48,7397,86

-, , - . , - , . , .


: . , . : - .


MRZ


MRZ- , (. . 3). 280 000 21 17 37 MRZ, .



. 3. MRZ .


CNN3: conv1(8, 3, 3) — relu1 — conv2(30, 5, 5) — relu2 — conv3(30, 5, 5) — relu3 — dropout1(0,25) — fc1(37) — softmax1.


CNN4: conv1(8, 3, 3) — relu1 — conv2(8, 5, 5) — relu2 — conv3(8, 3, 3) — relu3 — dropout1(0,25) — conv4(12, 5, 5) — relu4 — conv5(12, 3, 3) — relu5 — conv6(12, 1, 1) — relu6 — fc1(37) — softmax1.


2. “” . () ().


, MNIST: -, , . - , - .


2. MRZ. — , — .


1,1, +2,2, +
CNN3-99,63-99,63-
CNN3conv197,7699,6483,0799,62
CNN3conv1 — relu1 — conv28,5999,4721,1299,58
CNN3conv1 — relu1 — conv2 — relu2 — conv33,6798,7936,8999,57
CNN3conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — fc112,58-27,8493,38
CNN4-99,67-99,67-
CNN4conv191,2099,6693,7199,67
CNN4conv1 — relu1 — conv26,1499,5273,7999,66
CNN4conv1 — relu1 — conv2 — relu2 — conv323,5899,4270,2599,66
CNN4conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv429,5699,0477,9299,63
CNN4conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv534,1898,4517,0899,64
CNN4conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv5 — relu5 — conv65,8398,0090,4699,61
CNN4conv1 — relu1 — conv2 — relu2 — conv3 — relu3 — dropout1 — conv4 — relu4 — conv5 — relu5 — conv6 -relu6 — fc14,70-27,5795,46


, , . , - . MNIST MRZ.


? , - . , (, ) . , — TPU, .


, , : , .


PS. ICMV 2019:
E. Limonova, D. Matveev, D. Nikolaev and V. V. Arlazarov, “Bipolar morphological neural networks: convolution without multiplication,” ICMV 2019, 11433 ed., Wolfgang Osten, Dmitry Nikolaev, Jianhong Zhou, Ed., SPIE, Jan. 2020, vol. 11433, ISSN 0277-786X, ISBN 978-15-10636-43-9, vol. 11433, 11433 3J, pp. 1-8, 2020, DOI: 10.1117/12.2559299.



  1. G. X. Ritter and P. Sussner, “An introduction to morphological neural networks,” Proceedings of 13th International Conference on Pattern Recognition 4, 709–717 vol.4 (1996).
  2. P. Sussner and E. L. Esmi, Constructive Morphological Neural Networks: Some Theoretical Aspects and Experimental Results in Classification, 123–144, Springer Berlin Heidelberg, Berlin, Heidelberg (2009).
  3. G. X. Ritter, L. Iancu, and G. Urcid, “Morphological perceptrons with dendritic structure,” in The 12th IEEE International Conference on Fuzzy Systems, 2003. FUZZ ’03., 2, 1296–1301 vol.2 (May 2003).
  4. G. X. Ritter and G. Urcid, “Lattice algebra approach to single-neuron computation,” IEEE Transactions on Neural Networks 14, 282–295 (March 2003).
  5. H. Sossa and E. Guevara, “Efficient training for dendrite morphological neural networks,” Neurocomputing 131, 132–142 (05 2014).
  6. E. Zamora and H. Sossa, “Dendrite morphological neurons trained by stochastic gradient descent,” in 2016 IEEE Symposium Series on Computational Intelligence (SSCI), 1–8 (Dec 2016).

All Articles