Augmentasi on the fly - alat penting dalam pelatihan jaringan saraf

Bagian terpenting dari pembelajaran mesin adalah data. Tidak peduli seberapa bagus model dan metode pelatihannya, jika sampel pelatihannya kecil atau tidak menggambarkan sebagian besar kasus di dunia nyata, hampir tidak mungkin mencapai pekerjaan berkualitas tinggi. Selain itu, tugas untuk membuat set data pelatihan tidak sederhana dan tidak cocok untuk semua orang, karena selain anotasi data yang panjang dan melelahkan oleh orang-orang, biasanya dibutuhkan dana tambahan untuk proses ini.

Augmentasi, atau pembuatan data baru berdasarkan data yang tersedia, memungkinkan untuk dengan mudah dan murah menyelesaikan beberapa masalah dengan rangkaian pelatihan menggunakan metode yang tersedia. Dalam kasus jaringan saraf, fenomena luas telah menjadi menanamkan augmentasi langsung ke dalam proses pembelajaran, memodifikasi data dari setiap era. Namun, sejumlah kecil artikel berfokus pada pentingnya pendekatan semacam itu dan sifat apa yang dibawanya dalam proses pembelajaran. Dalam artikel ini, kita akan memeriksa apa yang berguna yang dapat diekstraksi dari augmentasi dengan cepat, dan seberapa kritis pilihan transformasi dan parameternya dalam kerangka pendekatan ini.

Augmentasi: offline atau online?

“”, “” “”, . , . , – , , . .

, “” – . : , . , . , “” , . , , AlexNet, ImageNet 2012 . , , : CPU, , GPU. - 1.

 
. 1. -

, , . , , .

: . : , . , , , – , , .

: . , , ( ). , , , ! , , . 2 , .

 
. 2.

, “ ” . , , . , – . , , (, AutoAugment Google, ). – . , , , .

. , : //. – , , . , , (AxialWarp), (RandStructElem) [1] (BrightnessMod). 3.

 
. 3.

, , . , , :

• ;
• , , , (, );
• , . , , 0.9.

( ), , ( ). , , 10% SVHN (Street View House Numbers, , Google Street View), 1. SimpleNet [2] – LeNet , , . , . 4.

1. SimpleNet SVHN

 
. 4. ( ) SVHN

,

, . , , , . , , – .

, ResNet- [3] , ( , ). 5. SVHN. , , , (. 2). 2 – , ! , , .

 
. 5. ResNet- . —

2. ResNet SVHN

. , , – , . , , .

, . “” , . , – , , .

ICMV 2018 (, . ): Gayer, A., Chernyshova, Y., & Sheshkus, A. (2019). Effective real-time augmentation of training dataset for the neural networks learning. Proceedings of SPIE, 11041, 110411I-110411I-8

1. .. / .., .., .., .. // . 2018. . 32. № 3
2. Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures // ArXiv e-prints https://arxiv.org/abs/1608.06037
3. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. // ArXiv e-prints https://arxiv.org/abs/1512.03385