chapitres précédents

34. Comment déterminer le niveau de qualité accessible à l'homme

Supposons que vous travaillez sur une application d'imagerie médicale qui devrait effectuer des diagnostics radiographiques automatiques. L'erreur d'une personne ordinaire sans formation médicale, à l'exception d'une formation de base, est d'environ 15%. L'erreur d'un médecin débutant est d'environ 10%. Un médecin expérimenté se trompe dans 5% des cas. L'erreur d'une petite équipe de médecins étudiant et discutant chaque image ne dépasse pas 2%. Lequel de ces chiffres devrait être considéré comme le "niveau de qualité humaine"?

Dans ce cas, je prendrais 2% pour le niveau de qualité disponible pour une personne et établir la valeur d'erreur optimale correspondante. Il est également logique de définir 2% comme niveau d'erreur souhaité pour notre système, car cette valeur d'erreur répond aux trois critères décrits dans le chapitre précédent pour les systèmes qui vous permettent de comparer la qualité de l'algorithme avec la qualité de la tâche effectuée par une personne:

• Facilité de balisage des données : vous pouvez utiliser une équipe de médecins pour baliser les données avec une précision de 98% (erreur de 2%)
• Analyse des erreurs à l'aide de l'intuition humaine : lorsque vous discutez des radiographies avec une équipe de médecins, vous pouvez vous fier à leur intuition lorsque vous recherchez des moyens d'améliorer la qualité
• Utilisation du niveau d’achèvement des tâches d’une personne pour établir le niveau d’erreur optimal et pour déterminer le «niveau d’erreur souhaité» réalisable du système : il est conseillé d’utiliser 2% comme estimation du niveau d’erreur optimal. Le niveau d'erreur optimal peut même être inférieur à 2%, mais il ne peut certainement pas être supérieur en raison du fait qu'un tel niveau d'erreur correspond à la qualité des diagnostics disponibles pour les spécialistes et qu'il est inutile de définir 5% ou 10% d'erreur pour le système automatique comme niveau cible, car nous savons avec certitude que nous atteindrons un niveau de qualité délibérément plus élevé.

, , . , .

40%, , ( 10%) ( 5%) . 10%, , 2% , .

35. ,

. , 10% . , 8% . - , 33 ?

, , , . , , , .

, :

1. , ,
2. , ,
3. « » .

, , , , , . , , , .

Il existe de nombreuses applications d'apprentissage automatique importantes dans lesquelles les algorithmes sont supérieurs aux humains. Par exemple, les voitures peuvent mieux prévoir les classements des films, le temps de trajet en voiture et le remboursement des prêts. Dans les cas où il est difficile pour les gens de trouver des exemples dans lesquels l'algorithme est clairement erroné, seul un nombre limité de méthodes peuvent être appliquées pour améliorer la qualité. Par conséquent, lorsque l'on travaille sur un système qui a déjà dépassé les humains, les progrès progressent généralement plus lentement que lorsque les algorithmes doivent encore atteindre le niveau humain.

continuation