Aumento sobre la marcha: una herramienta importante en el entrenamiento de redes neuronales

La parte más importante del aprendizaje automático son los datos. No importa cuán bueno sea el modelo y el método de capacitación, si la muestra de capacitación es pequeña o no describe la mayoría de los casos del mundo real, será casi imposible lograr un trabajo de alta calidad. Además, la tarea de crear conjuntos de datos de capacitación no es simple y no se adapta a todos, ya que además de las largas y exhaustivas anotaciones de datos por parte de las personas, generalmente se requiere financiamiento adicional para este proceso.

El aumento, o la generación de nuevos datos sobre la base de los datos disponibles, hace posible resolver de manera fácil y económica algunos de los problemas con el conjunto de capacitación utilizando los métodos disponibles. En el caso de las redes neuronales, se ha convertido en un fenómeno generalizado para incorporar el aumento directamente en el proceso de aprendizaje, modificando los datos en cada época. Sin embargo, un número muy pequeño de artículos se centra en la importancia de dicho enfoque y qué propiedades aporta al proceso de aprendizaje. En este artículo, examinaremos qué es útil se puede extraer del aumento sobre la marcha, y qué tan importante es la elección de las transformaciones y sus parámetros en el marco de este enfoque.

Aumento: fuera de línea o en línea?

“”, “” “”, . , . , – , , . .

, “” – . : , . , . , “” , . , , AlexNet, ImageNet 2012 . , , : CPU, , GPU. - 1.

 
. 1. -

, , . , , .

: . : , . , , , – , , .

: . , , ( ). , , , ! , , . 2 , .

 
. 2.

, “ ” . , , . , – . , , (, AutoAugment Google, ). – . , , , .

. , : //. – , , . , , (AxialWarp), (RandStructElem) [1] (BrightnessMod). 3.

 
. 3.

, , . , , :

• ;
• , , , (, );
• , . , , 0.9.

( ), , ( ). , , 10% SVHN (Street View House Numbers, , Google Street View), 1. SimpleNet [2] – LeNet , , . , . 4.

1. SimpleNet SVHN

 
. 4. ( ) SVHN

,

, . , , , . , , – .

, ResNet- [3] , ( , ). 5. SVHN. , , , (. 2). 2 – , ! , , .

 
. 5. ResNet- . —

2. ResNet SVHN

. , , – , . , , .

, . “” , . , – , , .

ICMV 2018 (, . ): Gayer, A., Chernyshova, Y., & Sheshkus, A. (2019). Effective real-time augmentation of training dataset for the neural networks learning. Proceedings of SPIE, 11041, 110411I-110411I-8

1. .. / .., .., .., .. // . 2018. . 32. № 3
2. Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures // ArXiv e-prints https://arxiv.org/abs/1608.06037
3. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. // ArXiv e-prints https://arxiv.org/abs/1512.03385