Get best of the week

Novas arquiteturas de redes neurais

Novas arquiteturas de redes neurais


Rede


Artigo anterior “ Redes neurais. Para onde tudo isso vai ?


Este artigo discute brevemente algumas arquiteturas de redes neurais, principalmente na tarefa de detectar objetos , a fim de encontrar (ou pelo menos tentar encontrar) direções futuras nesse campo em rápido desenvolvimento.


O artigo nĂŁo pretende ser abrangente e compreender bem os artigos lidos na diagonal. O autor tem certeza de que, enquanto escrevia este artigo, muitas outras novas arquiteturas apareceram. Por exemplo, consulte aqui: https://paperswithcode.com/area/computer-vision .



Detecção de objetos em 20 anos - Uma ótima visão geral de mais de 400 artigos para detecção de objetos por mais de 20 anos.


O ZoolĂłgico da Rede Neural Ă© um zoolĂłgico de redes neurais cujo conteĂşdo muda constantemente.


Um vídeo interessante com recomendações sobre como projetar uma rede neural: “ Como projetar uma rede neural ”.



Efficientnet


Efficientnet


EfficientNet — , (, scaling) ( ) , . (compound scaling method), // . «Neural Architecture Search» (NAS, 1, 2, ) EfficientNets.


  • «EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks»
  • TensorFlow
  • 1, 2.1, 2.2, 3


EfficientDet


Efficientdet


EfficientDet . . EfficientNet , BiFPN, «» / .


Arquitetura EfficientDet


— EfficientDet == EfficientNet + BiFPN + /


  • «EfficientDet: Scalable and Efficient Object Detection»
  • TensorFlow
  • PyTorch
  • 1


SpineNet


Spinenet


SpineNet . Google Research , state-of-the-art (SOTA) .


. , ( ). () - « » (Convolutional Encoder-Decoder Neural Network). « » . , – (). (backbone model), , , . , « » , ().


SpineNet - ( ). (Neural Architecture Search, NAS). SpineNet (Average Precision, AP). .


Construção de rede permutada por escala permutando ResNet


– ResNet (ResNet-50-FPN )


  • «SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization»
  • «SpineNet: »
  • SpineNet online demo


CenterNet


Centernet


CenterNet CornerNet-Lite 2019 (c « »).


CenterNet , , . , , 3D-, , .. (image features) . , (heatmap). . . CenterNet 3D .


3 : , .


Diagrama CenterNet


– CenterNet


CornerNet CenterNet. CornerNet , : (bounding box). (anchor box), SSD YOLO, . « », .


CornerNet «corner pooling» . CenterNet «center pooling» .


Camada de pool de canto superior esquerdo CornerNet


– «corner pooling» . «max-pooling» «max-pooling». (feature maps) .


  • CenterNet «CenterNet: Keypoint Triplets for Object Detection» + 1 + 2
  • CornerNet-Lite «CornerNet-Lite: Efficient Keypoint Based Object Detection» +
  • CornerNet: «CornerNet: Detecting Objects as Paired Keypoints» + +


ThunderNet


Thundernet


ThunderNet . . , , ARM ( ) 24.1 fps (frames per second, ) MobileNet-SSD.


  • «ThunderNet: Towards Real-time Generic Object Detection»
  • GitHub

Arquitetura Thundernet


— ThunderNet



CSPNet


Cspnet


CSPNet (Cross Stage Partial Network) Darknet, . , (residual neural networks, ResNet). , . , . CSPNet , . , CSPNet (feature pyramid network, FPN).


  • «CSPNet: A New Backbone that can Enhance Learning Capability of CNN»
  • 1, 2

Rede de pirâmides de recursos, FPN


—



DenseNet


Um bloco denso com 5 camadas e taxa de crescimento 4


— DenseNet c 5 k = 4. .


DenseNet com trĂŞs blocos densos


— DenseNet


DenseNet (Densely Connected Convolutional Network) 2017 . ResNet (Deep Residual Network) , CNN . (dense) , . , , ResNet, («») , (, channel-wise concatenation) . DenseNet , . , DenseNet .


  • «Densely Connected Convolutional Networks»
  • Keras + CoLab
  • Torch ,


SAUNet


SAUNet (Shape Attentive U-Net) 2020 , .


Arquitetura SAUNet


— SAUNet : (texture stream); (gated shape stream). U-Net DenseNet-121 ( DenseNet), U-Net « » (dual attention decoder block).


SAUNet : U-Net, DenseNet, Gated-SCNN Squeeze-and-Excitation Networks.


  • «SAUNet: Shape Attentive U-Net for Interpretable Medical Image Segmentation»
  • PyTorch


DetNASNet


Arquitetura Detnasnet


— DetNASNet


, , , (object detection) (image classification) . DetNASNet Neural Architecture Search (NAS) , . , NAS, .. , . 44 GPU- COCO. , ResNet-101, FLOP-.


  • «DetNAS: Backbone Search for Object Detection»
  • PyTorch


SM-NAS


AP SM-NAS


— () (mAP) COCO.


SM-NAS Structural-to-Modular NAS (SM-NAS): ; .


  • .
  • «SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection»


AmoebaNet


Arquitetura AmoebaNet-A


— AmoebaNet-A. . «Normal Cell». «Reduction Cell».


AmoebaNet . AmoebaNet . AmoebaNet (search space), NASNet. TPU (Tensor Processing Units) .


  • «Regularized Evolution for Image Classifier Architecture Search»


Graph Neural Network


Rede Neural de Gráfico


Graph Neural Network , — , — . , .. - . . : PyTorch Geometric PyTorch, Graph Nets TensorFlow, Deep Graph .


  • CoLab
  • by Siraj Raval
  • DGL (Deep Graph Library)


Growing Neural Cellular Automata


AutĂ´matos celulares neurais em crescimento


—


Growing Neural Cellular Automata , «» . (, ..). . «» 16 . «» , , JPEG (), MP3 (), MPEG () ZIP ().


, , () .


  • Distill
  • Colab notebook
  • by Yannic Kilcher
  • «»



Spiking neural network . . 1952 , . , . . , , , .


  • (ru, en)
  • PapersWithCode.com


DPM


DPM, Deformable Part Model detector, . ( CoLab) (HOG). - 2009 , , «Object Detection in 20 Years: A Survey», Integral Channel Features (ICF), .


«» , , , . , «Deformable Part Models are Convolutional Neural Networks» DPM .


  • «Deformable Part Models are Convolutional Neural Networks» + MatLab Caffe



  1. :


    • , AutoML, « », Neural Architecture Search (NAS NASNet);
    • (attention mechanism), ;
    • « » , (backbone) ;
    • , state-of-the-art (SOTA) .

  2. . , . , , . « » , — , .



PS Eu recomendo o vídeo do blog ML Tóquio , no qual o autor explica e faz redes neurais em Keras. Seu seminário na CNN é exatamente o que um "neurocoder" iniciante como eu precisa.


Obrigado pela atenção!

More articles:


All Articles