Augmentation à la volée - un outil important dans la formation des réseaux de neurones

La partie la plus importante de l'apprentissage automatique est les données. Peu importe la qualité du modèle et de la méthode de formation, si l'échantillon de formation est petit ou ne décrit pas la plupart des cas du monde réel, il sera presque impossible d'obtenir un travail de haute qualité. De plus, la tâche de créer des ensembles de données de formation n'est en aucun cas simple et ne convient pas à tout le monde, car en plus des annotations longues et épuisantes de données par des personnes, un financement supplémentaire pour ce processus est généralement nécessaire.

L'augmentation, ou la génération de nouvelles données sur la base des données disponibles, permet de résoudre assez facilement et à moindre coût certains des problèmes de l'ensemble de formation en utilisant les méthodes disponibles. Dans le cas des réseaux de neurones, un phénomène répandu est devenu d'intégrer l'augmentation directement dans le processus d'apprentissage, modifiant les données de chaque époque. Cependant, un très petit nombre d'articles se concentre sur l'importance d'une telle approche et sur les propriétés qu'elle apporte au processus d'apprentissage. Dans cet article, nous examinerons ce qui peut être extrait de l'augmentation à la volée et à quel point le choix des transformations et de leurs paramètres est critique dans le cadre de cette approche.

Augmentation: hors ligne ou en ligne?

“”, “” “”, . , . , – , , . .

, “” – . : , . , . , “” , . , , AlexNet, ImageNet 2012 . , , : CPU, , GPU. - 1.

 
. 1. -

, , . , , .

: . : , . , , , – , , .

: . , , ( ). , , , ! , , . 2 , .

 
. 2.

, “ ” . , , . , – . , , (, AutoAugment Google, ). – . , , , .

. , : //. – , , . , , (AxialWarp), (RandStructElem) [1] (BrightnessMod). 3.

 
. 3.

, , . , , :

• ;
• , , , (, );
• , . , , 0.9.

( ), , ( ). , , 10% SVHN (Street View House Numbers, , Google Street View), 1. SimpleNet [2] – LeNet , , . , . 4.

1. SimpleNet SVHN

 
. 4. ( ) SVHN

,

, . , , , . , , – .

, ResNet- [3] , ( , ). 5. SVHN. , , , (. 2). 2 – , ! , , .

 
. 5. ResNet- . —

2. ResNet SVHN

. , , – , . , , .

, . “” , . , – , , .

ICMV 2018 (, . ): Gayer, A., Chernyshova, Y., & Sheshkus, A. (2019). Effective real-time augmentation of training dataset for the neural networks learning. Proceedings of SPIE, 11041, 110411I-110411I-8

1. .. / .., .., .., .. // . 2018. . 32. № 3
2. Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures // ArXiv e-prints https://arxiv.org/abs/1608.06037
3. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. // ArXiv e-prints https://arxiv.org/abs/1512.03385