بنيات الشبكات العصبية الجديدة

المقال السابق " الشبكات العصبية. أين يذهب كل هذا ؟ "

تناقش هذه المقالة بإيجاز بعض معماريات الشبكة العصبية ، بشكل رئيسي حول مهمة الكشف عن الأشياء ، من أجل العثور على (أو على الأقل محاولة العثور على) الاتجاهات المستقبلية في هذا المجال سريع التطور.

لا تدعي المقالة أنها شاملة ولديها فهم جيد لمقالات القراءة القطرية. المؤلف متأكد من أنه أثناء كتابة هذا المقال ، ظهرت العديد من البنيات الجديدة. على سبيل المثال ، انظر هنا: https://paperswithcode.com/area/computer-vision .

• كفاءة
• كفاءة
• سبينيت
• Centernet
• Thundernet
• Cspnet
• دينسنت
• Saunet
• Detnasnet
• SM-NAS
• AmoebaNet
• الشبكة العصبية Graph
• تزايد الخلايا العصبية الآلية
• نبض الشبكة العصبية
• DPM
• الموجودات

اكتشاف الأشياء في 20 عامًا - نظرة عامة رائعة على أكثر من 400 مقال لاكتشاف الأشياء على مدار 20 عامًا.

حديقة حيوانات الشبكة العصبية هي حديقة حيوانات الشبكات العصبية التي تتغير محتوياتها باستمرار.

فيديو مثير للاهتمام يحتوي على توصيات حول كيفية تصميم شبكة عصبية: " كيفية تصميم شبكة عصبية ".

كفاءة

EfficientNet — , (, scaling) ( ) , . (compound scaling method), // . «Neural Architecture Search» (NAS, 1, 2, ) EfficientNets.

• «EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks»
• TensorFlow
• 1, 2.1, 2.2, 3

EfficientDet

EfficientDet . . EfficientNet , BiFPN, «» / .

— EfficientDet == EfficientNet + BiFPN + /

• «EfficientDet: Scalable and Efficient Object Detection»
• TensorFlow
• PyTorch
• 1

SpineNet

SpineNet . Google Research , state-of-the-art (SOTA) .

. , ( ). () - « » (Convolutional Encoder-Decoder Neural Network). « » . , – (). (backbone model), , , . , « » , ().

SpineNet - ( ). (Neural Architecture Search, NAS). SpineNet (Average Precision, AP). .

– ResNet (ResNet-50-FPN )

• «SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization»
• «SpineNet: »
• SpineNet online demo

CenterNet

CenterNet CornerNet-Lite 2019 (c « »).

CenterNet , , . , , 3D-, , .. (image features) . , (heatmap). . . CenterNet 3D .

3 : , .

– CenterNet

CornerNet CenterNet. CornerNet , : (bounding box). (anchor box), SSD YOLO, . « », .

CornerNet «corner pooling» . CenterNet «center pooling» .

– «corner pooling» . «max-pooling» «max-pooling». (feature maps) .

• CenterNet «CenterNet: Keypoint Triplets for Object Detection» + 1 + 2
• CornerNet-Lite «CornerNet-Lite: Efficient Keypoint Based Object Detection» +
• CornerNet: «CornerNet: Detecting Objects as Paired Keypoints» + +

ThunderNet

ThunderNet . . , , ARM ( ) 24.1 fps (frames per second, ) MobileNet-SSD.

• «ThunderNet: Towards Real-time Generic Object Detection»
• GitHub

— ThunderNet

CSPNet

CSPNet (Cross Stage Partial Network) Darknet, . , (residual neural networks, ResNet). , . , . CSPNet , . , CSPNet (feature pyramid network, FPN).

• «CSPNet: A New Backbone that can Enhance Learning Capability of CNN»
• 1, 2

—

DenseNet

— DenseNet c 5 k = 4. .

— DenseNet

DenseNet (Densely Connected Convolutional Network) 2017 . ResNet (Deep Residual Network) , CNN . (dense) , . , , ResNet, («») , (, channel-wise concatenation) . DenseNet , . , DenseNet .

• «Densely Connected Convolutional Networks»
• Keras + CoLab
• Torch ,

SAUNet

SAUNet (Shape Attentive U-Net) 2020 , .

— SAUNet : (texture stream); (gated shape stream). U-Net DenseNet-121 ( DenseNet), U-Net « » (dual attention decoder block).

SAUNet : U-Net, DenseNet, Gated-SCNN Squeeze-and-Excitation Networks.

• «SAUNet: Shape Attentive U-Net for Interpretable Medical Image Segmentation»
• PyTorch

DetNASNet

— DetNASNet

, , , (object detection) (image classification) . DetNASNet Neural Architecture Search (NAS) , . , NAS, .. , . 44 GPU- COCO. , ResNet-101, FLOP-.

• «DetNAS: Backbone Search for Object Detection»
• PyTorch

SM-NAS

— () (mAP) COCO.

SM-NAS Structural-to-Modular NAS (SM-NAS): ; .

• .
• «SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection»

AmoebaNet

— AmoebaNet-A. . «Normal Cell». «Reduction Cell».

AmoebaNet . AmoebaNet . AmoebaNet (search space), NASNet. TPU (Tensor Processing Units) .

• «Regularized Evolution for Image Classifier Architecture Search»

Graph Neural Network

Graph Neural Network , — , — . , .. - . . : PyTorch Geometric PyTorch, Graph Nets TensorFlow, Deep Graph .

• CoLab
• by Siraj Raval
• DGL (Deep Graph Library)

Growing Neural Cellular Automata

—

Growing Neural Cellular Automata , «» . (, ..). . «» 16 . «» , , JPEG (), MP3 (), MPEG () ZIP ().

, , () .

• Distill
• Colab notebook
• by Yannic Kilcher
• «»

Spiking neural network . . 1952 , . , . . , , , .

• (ru, en)
• PapersWithCode.com

DPM

DPM, Deformable Part Model detector, . ( CoLab) (HOG). - 2009 , , «Object Detection in 20 Years: A Survey», Integral Channel Features (ICF), .

«» , , , . , «Deformable Part Models are Convolutional Neural Networks» DPM .

• «Deformable Part Models are Convolutional Neural Networks» + MatLab Caffe

1. :

   
   
   • , AutoML, « », Neural Architecture Search (NAS NASNet);
   • (attention mechanism), ;
   • « » , (backbone) ;
   • , state-of-the-art (SOTA) .
   
   

2. . , . , , . « » , — , .

   
   

PS أوصي بمدونة الفيديو ML Tokyo ، حيث يشرح المؤلف ويصنع شبكات عصبية على Keras. ندوة سي إن إن الخاصة به هي بالضبط ما يحتاجه "المبرمج العصبي" المبتدئ مثلي.

شكرا للانتباه!