capítulos anteriores
38. Cómo determinar si agregar datos con una distribución diferente
Supongamos que queremos aprender a pronosticar los precios de la vivienda en Nueva York. Según el tamaño de la casa (signo de entrada x ), es necesario predecir su precio (valor objetivo y ).
Los precios de la vivienda en Nueva York son muy altos. Suponga que tiene un segundo conjunto de datos de precios de la vivienda en Detroit, Michigan, donde los bienes raíces son mucho más baratos. ¿Deberían incluirse estos datos en el conjunto de capacitación?
Con el mismo tamaño x, el precio de una casa y es muy diferente dependiendo de si está en Nueva York o en Detroit. Si es necesario pronosticar los precios de la vivienda en Nueva York, la combinación de los dos conjuntos de datos empeorará los resultados. En este caso, es mejor no agregar datos de propiedad de Detroit al conjunto de capacitación.
* Nota del autor Una forma de resolver el problema de la incompatibilidad de los datos de Detroit con los datos de Nueva York es agregar un parámetro adicional a cada muestra de datos que indique la ciudad. Dado el parámetro x que indica la ciudad, el valor objetivo de y se vuelve único. Sin embargo, este enfoque es raro en la práctica. *
¿En qué se diferencia este caso de los precios inmobiliarios en Nueva York y Detroit del caso de las imágenes de gatos recibidas desde una aplicación móvil e Internet?
, , , ( ). . f(x), x ( y), . , «» () . , ( ), .
, - , , (). , , .
39.
, 200 000 5000 . 40:1. , 205 000 , , -, .
, 40 "-", , 40 ( ) , 5000 .
, .
, ( , ). , :
5000 , 200 000. β:
β = 1/40, 5000 200 000 -. β , , .
Al reducir el peso de los errores en las imágenes obtenidas de Internet, desaparece la necesidad de una red neuronal masiva, que es necesaria para que el algoritmo haga frente a ambas distribuciones de datos. Este enfoque de redistribuir los pesos de la función de error es necesario solo si existe la sospecha de que los datos adicionales (imágenes de Internet) tienen una distribución que es muy diferente de la validación y las muestras de prueba, o si la cantidad de datos adicionales excede por mucho la cantidad de datos de la distribución que corresponde a la validación y muestras de prueba (imágenes de una aplicación móvil).
continuación