vorherige Kapitel
34. Wie man das Qualitätsniveau bestimmt, das dem Menschen zur Verfügung steht
Angenommen, Sie arbeiten an einer medizinischen Bildgebungsanwendung, die eine automatische Röntgendiagnose durchführen soll. Der Fehler eines normalen Menschen ohne medizinische Ausbildung liegt mit Ausnahme einer Grundausbildung bei etwa 15%. Der Fehler eines unerfahrenen Arztes beträgt ca. 10%. Ein erfahrener Arzt irrt sich in 5% der Fälle. Der Fehler eines kleinen Teams von Ärzten, die jedes Bild untersuchen und diskutieren, beträgt nicht mehr als 2%. Welche dieser Zahlen sollte als "Niveau der menschlichen Qualität" angesehen werden?
In diesem Fall würde ich 2% für das der Person zur Verfügung stehende Qualitätsniveau nehmen und den entsprechenden optimalen Fehlerwert ermitteln. Es ist auch sinnvoll, 2% als gewünschte Fehlerstufe für unser System festzulegen, da dieser Fehlerwert alle drei im vorherigen Kapitel beschriebenen Kriterien für Systeme erfüllt, mit denen Sie die Qualität des Algorithmus mit der Qualität der von einer Person ausgeführten Aufgabe vergleichen können:
- Einfache Kennzeichnung von Daten : Sie können ein Ärzteteam verwenden, um Daten mit einer Genauigkeit von 98% (2% Fehler) zu kennzeichnen.
- Fehleranalyse mit menschlicher Intuition : Wenn Sie mit einem Ärzteteam über Röntgenstrahlen sprechen, können Sie sich auf deren Intuition verlassen, wenn Sie nach Möglichkeiten suchen, die Qualität zu verbessern
- Verwenden der Aufgabenabschlussstufe einer Person, um die optimale Fehlerstufe zu ermitteln und die erreichbare „gewünschte Fehlerstufe“ des Systems zu bestimmen : Es wird empfohlen, 2% als Schätzung der optimalen Fehlerstufe zu verwenden. Das optimale Fehlerniveau kann sogar weniger als 2% betragen, es kann jedoch sicherlich nicht höher sein, da ein solches Fehlerniveau der Qualität der Diagnose entspricht, die Fachleuten zur Verfügung steht, und es keinen Sinn macht, 5% oder 10% Fehler für das automatische System als Zielniveau festzulegen, da Wir wissen mit Sicherheit, dass wir ein bewusst höheres Qualitätsniveau erreichen werden.
, , . , .
40%, , ( 10%) ( 5%) . 10%, , 2% , .
35. ,
. , 10% . , 8% . - , 33 ?
, , , . , , , .
, :
- , ,
- , ,
- « » .
, , , , , . , , , .
Es gibt viele wichtige Anwendungen für maschinelles Lernen, bei denen Algorithmen dem Menschen überlegen sind. Zum Beispiel können Autos Filmbewertungen, Reisezeit mit dem Auto und Kreditrückzahlung besser vorhersagen. In Fällen, in denen es für Menschen schwierig ist, Beispiele zu finden, in denen der Algorithmus eindeutig falsch ist, kann nur eine begrenzte Anzahl von Methoden angewendet werden, um die Qualität zu verbessern. Wenn Sie also an einem System arbeiten, das den Menschen bereits übertroffen hat, schreitet der Fortschritt normalerweise langsamer voran als in Fällen, in denen Algorithmen die menschliche Ebene noch nicht erreicht haben.
Fortsetzung