Get best of the week

Nouvelles architectures de réseaux de neurones

Nouvelles architectures de réseaux de neurones


Réseau


Article précédent « Réseaux de neurones. Où tout cela va- t -il ? "


Cet article discute brièvement quelques architectures de réseaux de neurones, principalement sur la tâche de détecter des objets , afin de trouver (ou du moins essayer de trouver) des directions futures dans ce domaine en développement rapide.


L'article ne prétend pas être complet et avoir une bonne compréhension des articles lus en diagonale. L'auteur est sûr que pendant qu'il écrivait cet article, de nombreuses nouvelles architectures sont apparues. Par exemple, voir ici: https://paperswithcode.com/area/computer-vision .



Détection d'objets en 20 ans - Un excellent aperçu de plus de 400 articles pour détecter des objets sur 20 ans.


Le Neural Network Zoo est un zoo de réseaux de neurones dont le contenu est en constante évolution.


Une vidéo intéressante avec des recommandations sur la façon de concevoir un réseau neuronal: « Comment concevoir un réseau neuronal ».



Efficientnet


Efficientnet


EfficientNet — , (, scaling) ( ) , . (compound scaling method), // . «Neural Architecture Search» (NAS, 1, 2, ) EfficientNets.


  • «EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks»
  • TensorFlow
  • 1, 2.1, 2.2, 3


EfficientDet


Efficientdet


EfficientDet . . EfficientNet , BiFPN, «» / .


Architecture EfficientDet


— EfficientDet == EfficientNet + BiFPN + /


  • «EfficientDet: Scalable and Efficient Object Detection»
  • TensorFlow
  • PyTorch
  • 1


SpineNet


Spinenet


SpineNet . Google Research , state-of-the-art (SOTA) .


. , ( ). () - « » (Convolutional Encoder-Decoder Neural Network). « » . , – (). (backbone model), , , . , « » , ().


SpineNet - ( ). (Neural Architecture Search, NAS). SpineNet (Average Precision, AP). .


Construction d'un réseau à permutation d'échelle en permutant ResNet


– ResNet (ResNet-50-FPN )


  • «SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization»
  • «SpineNet: »
  • SpineNet online demo


CenterNet


Centernet


CenterNet CornerNet-Lite 2019 (c « »).


CenterNet , , . , , 3D-, , .. (image features) . , (heatmap). . . CenterNet 3D .


3 : , .


Diagramme CenterNet


– CenterNet


CornerNet CenterNet. CornerNet , : (bounding box). (anchor box), SSD YOLO, . « », .


CornerNet «corner pooling» . CenterNet «center pooling» .


Couche de regroupement de coins CornerNet en haut à gauche


– «corner pooling» . «max-pooling» «max-pooling». (feature maps) .


  • CenterNet «CenterNet: Keypoint Triplets for Object Detection» + 1 + 2
  • CornerNet-Lite «CornerNet-Lite: Efficient Keypoint Based Object Detection» +
  • CornerNet: «CornerNet: Detecting Objects as Paired Keypoints» + +


ThunderNet


Thundernet


ThunderNet . . , , ARM ( ) 24.1 fps (frames per second, ) MobileNet-SSD.


  • «ThunderNet: Towards Real-time Generic Object Detection»
  • GitHub

Architecture de Thundernet


— ThunderNet



CSPNet


Cspnet


CSPNet (Cross Stage Partial Network) Darknet, . , (residual neural networks, ResNet). , . , . CSPNet , . , CSPNet (feature pyramid network, FPN).


  • «CSPNet: A New Backbone that can Enhance Learning Capability of CNN»
  • 1, 2

Réseau pyramidal d'entités, FPN


—



DenseNet


Un bloc dense à 5 couches et taux de croissance 4


— DenseNet c 5 k = 4. .


DenseNet avec trois blocs denses


— DenseNet


DenseNet (Densely Connected Convolutional Network) 2017 . ResNet (Deep Residual Network) , CNN . (dense) , . , , ResNet, («») , (, channel-wise concatenation) . DenseNet , . , DenseNet .


  • «Densely Connected Convolutional Networks»
  • Keras + CoLab
  • Torch ,


SAUNet


SAUNet (Shape Attentive U-Net) 2020 , .


Architecture SAUNet


— SAUNet : (texture stream); (gated shape stream). U-Net DenseNet-121 ( DenseNet), U-Net « » (dual attention decoder block).


SAUNet : U-Net, DenseNet, Gated-SCNN Squeeze-and-Excitation Networks.


  • «SAUNet: Shape Attentive U-Net for Interpretable Medical Image Segmentation»
  • PyTorch


DetNASNet


Architecture Detnasnet


— DetNASNet


, , , (object detection) (image classification) . DetNASNet Neural Architecture Search (NAS) , . , NAS, .. , . 44 GPU- COCO. , ResNet-101, FLOP-.


  • «DetNAS: Backbone Search for Object Detection»
  • PyTorch


SM-NAS


SM-NAS AP


— () (mAP) COCO.


SM-NAS Structural-to-Modular NAS (SM-NAS): ; .


  • .
  • «SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection»


AmoebaNet


Architecture AmoebaNet-A


— AmoebaNet-A. . «Normal Cell». «Reduction Cell».


AmoebaNet . AmoebaNet . AmoebaNet (search space), NASNet. TPU (Tensor Processing Units) .


  • «Regularized Evolution for Image Classifier Architecture Search»


Graph Neural Network


Graph Neural Network


Graph Neural Network , — , — . , .. - . . : PyTorch Geometric PyTorch, Graph Nets TensorFlow, Deep Graph .


  • CoLab
  • by Siraj Raval
  • DGL (Deep Graph Library)


Growing Neural Cellular Automata


Des automates cellulaires neuronaux en croissance


—


Growing Neural Cellular Automata , «» . (, ..). . «» 16 . «» , , JPEG (), MP3 (), MPEG () ZIP ().


, , () .


  • Distill
  • Colab notebook
  • by Yannic Kilcher
  • «»



Spiking neural network . . 1952 , . , . . , , , .


  • (ru, en)
  • PapersWithCode.com


DPM


DPM, Deformable Part Model detector, . ( CoLab) (HOG). - 2009 , , «Object Detection in 20 Years: A Survey», Integral Channel Features (ICF), .


«» , , , . , «Deformable Part Models are Convolutional Neural Networks» DPM .


  • «Deformable Part Models are Convolutional Neural Networks» + MatLab Caffe



  1. :


    • , AutoML, « », Neural Architecture Search (NAS NASNet);
    • (attention mechanism), ;
    • « » , (backbone) ;
    • , state-of-the-art (SOTA) .

  2. . , . , , . « » , — , .



PS Je recommande le blog vidéo ML Tokyo , dans lequel l'auteur explique et fait des réseaux de neurones sur Keras. Son séminaire CNN est exactement ce dont un "neurocodeur" novice comme moi a besoin.


Merci pour l'attention!

More articles:


All Articles