vorherige Kapitel

40. Verallgemeinerungsprobleme: vom Trainingsmuster bis zur Validierung

Angenommen, Sie wenden ML unter Bedingungen an, bei denen die Verteilung der Trainings- und Validierungsmuster unterschiedlich ist. Ein Trainingsbeispiel enthält beispielsweise Bilder aus dem Internet + Bilder von einer mobilen Anwendung sowie Test- und Validierungsbeispiele nur von einer mobilen Anwendung. Der Algorithmus funktioniert jedoch nicht sehr gut: Er weist einen viel höheren Fehler in den Validierungs- und Testmustern auf, als wir möchten. Hier sind einige mögliche Gründe:

1. Der Algorithmus arbeitet schlecht an der Testprobe und dies ist auf das Problem einer hohen (vermeidbaren) Verzerrung bei der Verteilung der Trainingsprobe zurückzuführen
2. Der Algorithmus ist auf dem Trainingssatz von hoher Qualität, kann seine Arbeit jedoch nicht auf Daten verallgemeinern, die eine ähnliche Verteilung wie der Trainingssatz aufweisen, die er zuvor noch nicht gesehen hatte. Dies ist ein Fall von hoher Streuung.
3. Der Algorithmus verallgemeinert seine Arbeit gut auf neue Daten aus derselben Verteilung wie die Trainingsstichprobe, kann jedoch die Verteilung von Validierungs- und Teststichproben, die aus einer anderen Verteilung stammen, nicht bewältigen (verallgemeinern). Dies weist auf Dateninkonsistenzen hin, die aufgrund der unterschiedlichen Verteilung der Trainingsprobe von der Verteilung der Validierungs- und Testproben auftreten.

Angenommen, der menschliche Erkennungsgrad von Katzen ist nahezu ideal. Ihr Algorithmus dazu zeigt:

• 1% Fehler in der Trainingsprobe
• 1,5% Fehler für Daten aus derselben Verteilung wie die Trainingsprobe, die dem Algorithmus jedoch während des Trainings nicht angezeigt wurden
• 10% Fehler bei Validierungs- und Testproben

. , . , .

, , , . , , : , , « », .

:

• . , ( + ). , ( ).
• : , ( + ). , ; , .
• : , , , . (, )
• : . ( )

, :

• , , , « ».
• , , .

5-7 « ».

41. ,

( ≈0%) , , , 0%.

, :

• 1% .
• 5% « ».
• 5% .

? , . , , .
, :

• 10% .
• 11% « ».
• 12% .

, . .. . .

. , , , .
:

• 10% .
• 11% « ».
• 20% .

. , .
, , :

, . Y : , , , , . , .

. ( , ), , . , ( B) , . . , ( A B).

Nachdem Sie festgestellt haben, mit welchen Fehlertypen der Algorithmus am meisten Schwierigkeiten hat, können Sie vernünftiger entscheiden, ob Sie sich auf die Reduzierung der Verzerrung oder die Reduzierung der Streuung konzentrieren möchten oder ob Sie durch den Kampf mit Dateninkonsistenzen verwirrt sein müssen.

Fortsetzung