الشبكات المورفولوجية ثنائية القطب: عصبون بدون تكاثر

في الوقت الحاضر ، من الصعب العثور على مشكلة لم يتم اقتراح حلها من قبل الشبكات العصبية. وفي العديد من المشاكل ، لم تعد الطرق الأخرى تعتبر حتى. في مثل هذه الحالة ، من المنطقي أنه في إطار السعي وراء "الرصاصة الفضية" ، يقدم الباحثون والتقنيون المزيد والمزيد من التعديلات الجديدة لبنى الشبكات العصبية ، والتي يجب أن تجلب للممارسين "السعادة للجميع ، من أجل لا شيء ، ولا تدع أي شخص يسيء!" ومع ذلك ، في المشاكل الصناعية غالبًا ما يتبين أن دقة النموذج تعتمد بشكل أساسي على نظافة عينة التدريب وحجمها وهيكلها ، ويتطلب نموذج الشبكة العصبية واجهة معقولة (على سبيل المثال ، من غير اللائق أن تكون الإجابة المنطقية قائمة متغيرة الطول).

شيء آخر هو الإنتاجية والسرعة. هنا الاعتماد على العمارة مباشر ويمكن التنبؤ به تمامًا. ومع ذلك ، ليس كل العلماء مهتمين. من الرائع أن نفكر لقرون ، وعهود ، في الهدف الذهني لمدة قرن عندما تكون القوة الحاسوبية سحرية لا يمكن تصورها ، والطاقة المستخرجة من الهواء. ومع ذلك ، هناك ما يكفي من الناس الدنيوية. ومن المهم بالنسبة لهم أن الشبكات العصبية أكثر إحكاما وأسرع وأكثر كفاءة في استخدام الطاقة في الوقت الحالي. على سبيل المثال ، هذا مهم عند العمل على الأجهزة المحمولة وفي الأنظمة المضمنة حيث لا توجد بطاقة فيديو قوية أو تحتاج إلى توفير البطارية. لقد تم عمل الكثير في هذا الاتجاه: فيما يلي الشبكات العصبية الصحيحة صغيرة الحجم ، وإزالة الخلايا العصبية الزائدة ، وتحلل التحلل الموتر ، وأكثر من ذلك بكثير.

تمكنا من إزالة المضاعفات من الحسابات داخل العصبون ، واستبدالها بالإضافات وأخذ الحد الأقصى ، على الرغم من أننا تركنا الفرصة لاستخدام المضاعفات والعمليات غير الخطية في وظيفة التنشيط. أطلقنا على النموذج المقترح نموذجًا مورفولوجيًا ثنائي القطب للخلايا العصبية.

 

, , “ ” - . , , . . , . , , , .

, , , , . , , . . . Labor omnia vīcit improbus et dūrīs urgēns in rēbus egestās.

, — . 90- [1, 2]. . , [3], [4]. , , . [5], [6]. , . .

, , , , .

:

$$

$$y(\mathbf{x}, \mathbf{w}) = \sigma \left (\sum_{i=1}^N w_i x_i + w_{N+1} \right)$$

, $$$x$$$$w$, $$$\sigma$.

(-), . , . , 4 , :

$$

$$\sum_{i=1}^N x_i w_i = \sum_{i=1}^N p_i^{00} x_i w_i - \sum_{i=1}^N p_i^{01} x_i |w_i| - \sum_{i=1}^N p_i^{10} |x_i| w_i + \sum_{i=1}^N p_i^{11} |x_i| |w_i|,$$

$$

$$p_i^{kj} = \begin{cases} 1 , \mbox{ } (-1)^k x_i > 0 \mbox{ and } (-1)^j w_i > 0\\ 0 , \mbox{ } \end{cases}$$

. :

$$

$$M = \max_j (x_j w_j) \\ k = \frac{\sum \limits_{i=1}^N x_i w_i}{M} -1$$

:

$$

$$\sum_{i=1}^N x_i w_i = \exp \lbrace \ln \sum_{i=1}^N x_i w_i \rbrace = \exp \left \{ \ln M (1 + k) \right \} =(1 + k)\exp \ln M = \\ = (1 + k) \exp \left \{ \ln(\max_j (x_j w_j))\right \} = (1 + k)\exp \max_j \ln (x_j w_j) = \\ = (1 + k)\exp \max_j (\ln x_j + \ln w_j) = (1 + k)\exp \max_j (y_j + v_j) \approx \exp \max_j (y_j + v_j),$$

$$$y_j$— , $$$v_j = \ln w_j$— . , , $$$k \ll 1$. $$$0 \leq k \leq N - 1$, , ($$$k = 0$), — ($$$k = N-1$). $$$N$. , — , . , , — , . - .

- . 1. ReLU 4 : . . , .

, , . , , . (, -), — .

. 1. .

, - :

$$

$$\mbox{BM}(x, w) = \exp{\max_j (\ln \mbox{ReLU}(x_j) + v^{0}_j)} - \exp{\max_j (\ln \mbox{ReLU}(x_j) + v^{1}_j)} - \\ - \exp{\max_j (\ln \mbox{ReLU}(-x_j) + v^{0}_j)} + \exp{\max_j (\ln \mbox{ReLU}(-x_j) + v^{1}_j)},$$

$$

$$v_j^{k} = \begin{cases} \ln |w_j| , \mbox{ } (-1)^k w_j > 0\\ -\infty , \mbox{ } \end{cases}$$

, . , . , , .

, , , : - ! , . ( 1) ( 2). ? , . , .

, -: - , , -, , . - : , , , .

, , , incremental learning — , . . - , . “” — ( 1), — ( 2). “” , , . , -, , , -.

MNIST

MNIST — , 60000 28 28. 10000 . 10% , — . . 2.

. 2. MNIST.

:

conv(n, w_x, w_y) — n w_x w_y;
fc(n) — n ;
maxpool(w_x, w_y) — max-pooling w_x w_y;
dropout(p) — dropout p;
relu — $$${\mbox{ReLU}(x) = \max(x, 0)}$;
softmax — softmax.

MNIST :

CNN1: conv1(30, 5, 5) — relu1 — dropout1(0,2) — fc1(10) — softmax1.

CNN2: conv1(40, 5, 5) — relu1 — maxpool1(2, 2) — conv2(40, 5, 5) — relu2 — fc1(200) — relu3 — dropout1(0,3) — fc2(10) — softmax1.

. 1. “” . () ().

1. MNIST. — , — .

-, , - . , - , . , .

: . , . : - .

MRZ

MRZ- , (. . 3). 280 000 21 17 37 MRZ, .

. 3. MRZ .

CNN3: conv1(8, 3, 3) — relu1 — conv2(30, 5, 5) — relu2 — conv3(30, 5, 5) — relu3 — dropout1(0,25) — fc1(37) — softmax1.

CNN4: conv1(8, 3, 3) — relu1 — conv2(8, 5, 5) — relu2 — conv3(8, 3, 3) — relu3 — dropout1(0,25) — conv4(12, 5, 5) — relu4 — conv5(12, 3, 3) — relu5 — conv6(12, 1, 1) — relu6 — fc1(37) — softmax1.

2. “” . () ().

, MNIST: -, , . - , - .

2. MRZ. — , — .

, , . , - . MNIST MRZ.

? , - . , (, ) . , — TPU, .

, , : , .

PS. ICMV 2019:
E. Limonova, D. Matveev, D. Nikolaev and V. V. Arlazarov, “Bipolar morphological neural networks: convolution without multiplication,” ICMV 2019, 11433 ed., Wolfgang Osten, Dmitry Nikolaev, Jianhong Zhou, Ed., SPIE, Jan. 2020, vol. 11433, ISSN 0277-786X, ISBN 978-15-10636-43-9, vol. 11433, 11433 3J, pp. 1-8, 2020, DOI: 10.1117/12.2559299.

1. G. X. Ritter and P. Sussner, “An introduction to morphological neural networks,” Proceedings of 13th International Conference on Pattern Recognition 4, 709–717 vol.4 (1996).
2. P. Sussner and E. L. Esmi, Constructive Morphological Neural Networks: Some Theoretical Aspects and Experimental Results in Classification, 123–144, Springer Berlin Heidelberg, Berlin, Heidelberg (2009).
3. G. X. Ritter, L. Iancu, and G. Urcid, “Morphological perceptrons with dendritic structure,” in The 12th IEEE International Conference on Fuzzy Systems, 2003. FUZZ ’03., 2, 1296–1301 vol.2 (May 2003).
4. G. X. Ritter and G. Urcid, “Lattice algebra approach to single-neuron computation,” IEEE Transactions on Neural Networks 14, 282–295 (March 2003).
5. H. Sossa and E. Guevara, “Efficient training for dendrite morphological neural networks,” Neurocomputing 131, 132–142 (05 2014).
6. E. Zamora and H. Sossa, “Dendrite morphological neurons trained by stochastic gradient descent,” in 2016 IEEE Symposium Series on Computational Intelligence (SSCI), 1–8 (Dec 2016).