Aumento em tempo real - uma ferramenta importante no treinamento de redes neurais

A parte mais importante do aprendizado de máquina são os dados. Não importa quão bom seja o modelo e o método de treinamento, se a amostra de treinamento for pequena ou não descrever a maioria dos casos do mundo real, será quase impossível obter um trabalho de alta qualidade. Além disso, a tarefa de criar conjuntos de dados de treinamento não é de forma alguma simples e não agrada a todos, pois além de anotações longas e exaustivas de dados por pessoas, geralmente é necessário financiamento adicional para esse processo.

O aumento, ou a geração de novos dados com base nos dados disponíveis, permite resolver com bastante facilidade e baixo custo alguns dos problemas do conjunto de treinamento usando os métodos disponíveis. No caso das redes neurais, um fenômeno generalizado passou a incorporar o aumento diretamente no processo de aprendizagem, modificando os dados de cada época. No entanto, um número muito pequeno de artigos concentra-se na importância de tal abordagem e em quais propriedades ela traz ao processo de aprendizagem. Neste artigo, analisaremos o que é útil pode ser extraído do aumento em tempo real e quão crítica é a escolha das transformações e seus parâmetros na estrutura dessa abordagem.

Aumento: offline ou online?

“”, “” “”, . , . , – , , . .

, “” – . : , . , . , “” , . , , AlexNet, ImageNet 2012 . , , : CPU, , GPU. - 1.

 
. 1. -

, , . , , .

: . : , . , , , – , , .

: . , , ( ). , , , ! , , . 2 , .

 
. 2.

, “ ” . , , . , – . , , (, AutoAugment Google, ). – . , , , .

. , : //. – , , . , , (AxialWarp), (RandStructElem) [1] (BrightnessMod). 3.

 
. 3.

, , . , , :

• ;
• , , , (, );
• , . , , 0.9.

( ), , ( ). , , 10% SVHN (Street View House Numbers, , Google Street View), 1. SimpleNet [2] – LeNet , , . , . 4.

1. SimpleNet SVHN

 
. 4. ( ) SVHN

,

, . , , , . , , – .

, ResNet- [3] , ( , ). 5. SVHN. , , , (. 2). 2 – , ! , , .

 
. 5. ResNet- . —

2. ResNet SVHN

. , , – , . , , .

, . “” , . , – , , .

ICMV 2018 (, . ): Gayer, A., Chernyshova, Y., & Sheshkus, A. (2019). Effective real-time augmentation of training dataset for the neural networks learning. Proceedings of SPIE, 11041, 110411I-110411I-8

1. .. / .., .., .., .. // . 2018. . 32. № 3
2. Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures // ArXiv e-prints https://arxiv.org/abs/1608.06037
3. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. // ArXiv e-prints https://arxiv.org/abs/1512.03385