Get best of the week

动态增强-神经网络训练中的重要工具

机器学习最重要的部分是数据。无论培训的模型和方法多么好，如果培训样本很小或不能描述现实世界中的大多数情况，则几乎不可能实现高质量的工作。此外，创建训练数据集的任务绝非易事，也不适合每个人，因为除了人们长时间冗长的数据注释外，通常还需要为此过程额外的资金。


增强或基于可用数据生成新数据，可以使用现有方法轻松，廉价地解决训练集的某些问题。在神经网络的情况下，一种普遍的现象已成为将增强直接嵌入学习过程中，从而修改了各个时代的数据。但是，很少有文章关注这种方法的重要性及其对学习过程的影响。在本文中，我们将分析可以从动态扩充中提取出什么有用的东西，以及在这种方法的框架内选择转换及其参数的重要性。



 


增强功能：离线还是在线？


“”, “” “”, . , . , – , , . .


, “” – . : , . , . , “” , . , , AlexNet, ImageNet 2012 . , , : CPU, , GPU. - 1.



 
. 1. -


, , . , , .



: . : , . , , , – , , .


: . , , ( ). , , , ! , , . 2 , .



 
. 2.



, “ ” . , , . , – . , , (, AutoAugment Google, ). – . , , , .


. , : //. – , , . , , (AxialWarp), (RandStructElem) [1] (BrightnessMod). 3.



 
. 3.


, , . , , :


  • ;
  • , , , (, );
  • , . , , 0.9.

( ), , ( ). , , 10% SVHN (Street View House Numbers, , Google Street View), 1. SimpleNet [2] – LeNet , , . , . 4.


1. SimpleNet SVHN


,Error rate,Error rate,
SimpleNet, 310 .2.37%2.17%


 
. 4. ( ) SVHN


,


, . , , , . , , – .


, ResNet- [3] , ( , ). 5. SVHN. , , , (. 2). 2 – , ! , , .



 
. 5. ResNet- . —


2. ResNet SVHN



w:
mul:
Error rate,Error rate,
ResNet, w: 40 ., mul: 1.63 .5.68%5.06%
ResNet, w: 18 ., mul: 730 .6.71%5.73%


. , , – , . , , .


, . “” , . , – , , .


ICMV 2018 (, . ): Gayer, A., Chernyshova, Y., & Sheshkus, A. (2019). Effective real-time augmentation of training dataset for the neural networks learning. Proceedings of SPIE, 11041, 110411I-110411I-8



  1. .. / .., .., .., .. // . 2018. . 32. № 3
  2. Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures // ArXiv e-prints https://arxiv.org/abs/1608.06037
  3. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. // ArXiv e-prints https://arxiv.org/abs/1512.03385

More articles:


All Articles