capítulos anteriores
34. Como determinar o nível de qualidade disponível ao homem
Suponha que você esteja trabalhando em um aplicativo de imagens médicas que faça diagnósticos automáticos de raio-x. O erro de uma pessoa comum sem formação médica, com exceção de algum treinamento básico, é de cerca de 15%. O erro de um médico iniciante é de cerca de 10%. Um médico experiente está enganado em 5% dos casos. O erro de uma pequena equipe de médicos estudando e discutindo cada imagem não excede 2%. Qual dessas figuras deve ser tomada como o "nível de qualidade humana"?
Nesse caso, eu levaria 2% para o nível de qualidade disponível para a pessoa e estabeleceria o valor de erro ideal correspondente. Também faz sentido definir 2% como o nível de erro desejado para o nosso sistema, pois esse valor de erro atende aos três critérios descritos no capítulo anterior para sistemas que permitem comparar a qualidade do algoritmo com a qualidade da tarefa executada por uma pessoa:
- Facilidade de marcação de dados : você pode usar uma equipe de médicos para marcar dados com precisão de 98% (erro de 2%)
- Análise de erro usando intuição humana : ao discutir raios-x com uma equipe de médicos, você pode confiar na intuição deles ao procurar maneiras de melhorar a qualidade
- Usando o nível de conclusão de tarefa de uma pessoa para estabelecer o nível de erro ideal e determinar o "nível de erro desejado" alcançável do sistema : É aconselhável usar 2% como uma estimativa do nível de erro ideal. O nível ideal de erro pode até ser inferior a 2%, mas certamente não pode ser maior devido ao fato de que esse nível de erro corresponde à qualidade dos diagnósticos disponíveis para especialistas e não faz sentido definir 5% ou 10% de erro para o sistema automático como o nível de destino, pois sabemos com certeza que alcançaremos um nível deliberadamente mais alto de qualidade.
, , . , .
40%, , ( 10%) ( 5%) . 10%, , 2% , .
35. ,
. , 10% . , 8% . - , 33 ?
, , , . , , , .
, :
- , ,
- , ,
- « » .
, , , , , . , , , .
Existem muitas aplicações importantes de aprendizado de máquina nas quais os algoritmos são superiores aos humanos. Por exemplo, os carros podem prever melhor as classificações de filmes, o tempo de viagem de carro, o pagamento de empréstimos. Nos casos em que é difícil para as pessoas encontrar exemplos nos quais o algoritmo está claramente errado, apenas um número limitado de métodos pode ser aplicado para melhorar a qualidade. Consequentemente, ao trabalhar em um sistema que já superou os seres humanos, o progresso geralmente progride mais lentamente do que quando os algoritmos ainda não atingiram o nível humano.
continuação