capítulos anteriores

34. Cómo determinar el nivel de calidad disponible para el hombre

Suponga que está trabajando en una aplicación de imágenes médicas que debería hacer diagnósticos automáticos de rayos X. El error de una persona común sin educación médica, con la excepción de alguna capacitación básica, es aproximadamente del 15%. El error de un médico novato es de aproximadamente el 10%. Un médico experimentado se equivoca en el 5% de los casos. El error de un pequeño equipo de médicos que estudian y discuten cada imagen no supera el 2%. ¿Cuál de estas cifras debe tomarse como el "nivel de calidad humana"?

En este caso, tomaría el 2% del nivel de calidad disponible para la persona y establecería el valor de error óptimo correspondiente. También tiene sentido establecer el 2% como el nivel de error deseado para nuestro sistema, ya que este valor de error cumple con los tres criterios descritos en el capítulo anterior para sistemas que le permiten comparar la calidad del algoritmo con la calidad de la tarea realizada por una persona:

• Facilidad de etiquetado de datos : puede utilizar un equipo de médicos para etiquetar datos con una precisión del 98% (error del 2%)
• Análisis de errores utilizando la intuición humana : al analizar las radiografías con un equipo de médicos, puede confiar en su intuición cuando busque formas de mejorar la calidad
• Uso del nivel de finalización de tareas de una persona para establecer el nivel de error óptimo, así como para determinar el "nivel de error deseado" alcanzable del sistema : es aconsejable utilizar el 2% como una estimación del nivel de error óptimo. El nivel de error óptimo puede ser incluso inferior al 2%, pero ciertamente no puede ser mayor debido al hecho de que dicho nivel de error corresponde a la calidad de los diagnósticos disponibles para los especialistas y no tiene sentido establecer el nivel de error en 5% o 10% para el sistema automático, ya que sabemos con certeza que lograremos un nivel de calidad deliberadamente más alto.

, , . , .

40%, , ( 10%) ( 5%) . 10%, , 2% , .

35. ,

. , 10% . , 8% . - , 33 ?

, , , . , , , .

, :

1. , ,
2. , ,
3. « » .

, , , , , . , , , .

Existen muchas aplicaciones importantes de aprendizaje automático en las que los algoritmos son superiores a los humanos. Por ejemplo, los automóviles pueden predecir mejor las clasificaciones de películas, el tiempo de viaje en automóvil y el reembolso del préstamo. En los casos en que es difícil para las personas encontrar ejemplos en los que el algoritmo esté claramente equivocado, solo se puede aplicar un número limitado de métodos para mejorar la calidad. Por lo tanto, cuando se trabaja en un sistema que ya ha superado a los humanos, el progreso generalmente progresa más lentamente que en los casos en que los algoritmos aún no han alcanzado el nivel humano.

continuación