नई तंत्रिका नेटवर्क आर्किटेक्चर

पिछला लेख “ तंत्रिका नेटवर्क। यह सब कहाँ जाता है ?

यह लेख कुछ तंत्रिका नेटवर्क आर्किटेक्चर पर चर्चा करता है, मुख्य रूप से वस्तुओं का पता लगाने के काम पर , ताकि इस तेजी से विकसित क्षेत्र में भविष्य की दिशाओं को खोजने (या कम से कम खोजने की कोशिश करें)।

लेख व्यापक होने का दिखावा नहीं करता है और विकर्ण पढ़ने वाले लेखों की अच्छी समझ रखता है। लेखक को यकीन है कि जब वह इस लेख को लिख रहा था, तब कई और नए आर्किटेक्चर सामने आए। : उदाहरण के लिए, यहाँ देख https://paperswithcode.com/area/computer-vision ।

• Efficientnet
• Efficientdet
• Spinenet
• Centernet
• Thundernet
• Cspnet
• Densenet
• Saunet
• Detnasnet
• SM-NAS
• AmoebaNet
• ग्राफ तंत्रिका नेटवर्क
• बढ़ते तंत्रिका सेलुलर ऑटोमेटा
• आवेग तंत्रिका नेटवर्क
• DPM
• जाँच - परिणाम

20 वर्षों में ऑब्जेक्ट डिटेक्शन - 20 वर्षों में वस्तुओं का पता लगाने के लिए 400+ लेखों का एक बड़ा अवलोकन।

तंत्रिका नेटवर्क चिड़ियाघर तंत्रिका नेटवर्क का एक चिड़ियाघर है जिसकी सामग्री लगातार बदल रही है।

कैसे एक तंत्रिका नेटवर्क डिजाइन करने के लिए सिफारिशों के साथ एक दिलचस्प वीडियो: " कैसे एक तंत्रिका नेटवर्क डिजाइन करने के लिए "।

Efficientnet

EfficientNet — , (, scaling) ( ) , . (compound scaling method), // . «Neural Architecture Search» (NAS, 1, 2, ) EfficientNets.

• «EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks»
• TensorFlow
• 1, 2.1, 2.2, 3

EfficientDet

EfficientDet . . EfficientNet , BiFPN, «» / .

— EfficientDet == EfficientNet + BiFPN + /

• «EfficientDet: Scalable and Efficient Object Detection»
• TensorFlow
• PyTorch
• 1

SpineNet

SpineNet . Google Research , state-of-the-art (SOTA) .

. , ( ). () - « » (Convolutional Encoder-Decoder Neural Network). « » . , – (). (backbone model), , , . , « » , ().

SpineNet - ( ). (Neural Architecture Search, NAS). SpineNet (Average Precision, AP). .

– ResNet (ResNet-50-FPN )

• «SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization»
• «SpineNet: »
• SpineNet online demo

CenterNet

CenterNet CornerNet-Lite 2019 (c « »).

CenterNet , , . , , 3D-, , .. (image features) . , (heatmap). . . CenterNet 3D .

3 : , .

– CenterNet

CornerNet CenterNet. CornerNet , : (bounding box). (anchor box), SSD YOLO, . « », .

CornerNet «corner pooling» . CenterNet «center pooling» .

– «corner pooling» . «max-pooling» «max-pooling». (feature maps) .

• CenterNet «CenterNet: Keypoint Triplets for Object Detection» + 1 + 2
• CornerNet-Lite «CornerNet-Lite: Efficient Keypoint Based Object Detection» +
• CornerNet: «CornerNet: Detecting Objects as Paired Keypoints» + +

ThunderNet

ThunderNet . . , , ARM ( ) 24.1 fps (frames per second, ) MobileNet-SSD.

• «ThunderNet: Towards Real-time Generic Object Detection»
• GitHub

— ThunderNet

CSPNet

CSPNet (Cross Stage Partial Network) Darknet, . , (residual neural networks, ResNet). , . , . CSPNet , . , CSPNet (feature pyramid network, FPN).

• «CSPNet: A New Backbone that can Enhance Learning Capability of CNN»
• 1, 2

—

DenseNet

— DenseNet c 5 k = 4. .

— DenseNet

DenseNet (Densely Connected Convolutional Network) 2017 . ResNet (Deep Residual Network) , CNN . (dense) , . , , ResNet, («») , (, channel-wise concatenation) . DenseNet , . , DenseNet .

• «Densely Connected Convolutional Networks»
• Keras + CoLab
• Torch ,

SAUNet

SAUNet (Shape Attentive U-Net) 2020 , .

— SAUNet : (texture stream); (gated shape stream). U-Net DenseNet-121 ( DenseNet), U-Net « » (dual attention decoder block).

SAUNet : U-Net, DenseNet, Gated-SCNN Squeeze-and-Excitation Networks.

• «SAUNet: Shape Attentive U-Net for Interpretable Medical Image Segmentation»
• PyTorch

DetNASNet

— DetNASNet

, , , (object detection) (image classification) . DetNASNet Neural Architecture Search (NAS) , . , NAS, .. , . 44 GPU- COCO. , ResNet-101, FLOP-.

• «DetNAS: Backbone Search for Object Detection»
• PyTorch

SM-NAS

— () (mAP) COCO.

SM-NAS Structural-to-Modular NAS (SM-NAS): ; .

• .
• «SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection»

AmoebaNet

— AmoebaNet-A. . «Normal Cell». «Reduction Cell».

AmoebaNet . AmoebaNet . AmoebaNet (search space), NASNet. TPU (Tensor Processing Units) .

• «Regularized Evolution for Image Classifier Architecture Search»

Graph Neural Network

Graph Neural Network , — , — . , .. - . . : PyTorch Geometric PyTorch, Graph Nets TensorFlow, Deep Graph .

• CoLab
• by Siraj Raval
• DGL (Deep Graph Library)

Growing Neural Cellular Automata

—

Growing Neural Cellular Automata , «» . (, ..). . «» 16 . «» , , JPEG (), MP3 (), MPEG () ZIP ().

, , () .

• Distill
• Colab notebook
• by Yannic Kilcher
• «»

Spiking neural network . . 1952 , . , . . , , , .

• (ru, en)
• PapersWithCode.com

DPM

DPM, Deformable Part Model detector, . ( CoLab) (HOG). - 2009 , , «Object Detection in 20 Years: A Survey», Integral Channel Features (ICF), .

«» , , , . , «Deformable Part Models are Convolutional Neural Networks» DPM .

• «Deformable Part Models are Convolutional Neural Networks» + MatLab Caffe

1. :

   
   
   • , AutoML, « », Neural Architecture Search (NAS NASNet);
   • (attention mechanism), ;
   • « » , (backbone) ;
   • , state-of-the-art (SOTA) .
   
   

2. . , . , , . « » , — , .

   
   

PS मैं वीडियो ब्लॉग ML टोक्यो की सिफारिश करता हूं , जिसमें लेखक बताते हैं और केरस पर तंत्रिका नेटवर्क बनाता है । उनका सीएनएन सेमिनार सिर्फ एक नौसिखिया "न्यूरोकोडर" है जैसे मुझे चाहिए।

ध्यान देने के लिए आपको धन्यवाद!