الفصول السابقة

40. مشكلات التعميم: من عينة التدريب إلى التحقق

افترض أنك تقوم بتطبيق ML في الظروف التي يختلف فيها توزيع عينات التدريب والتحقق. على سبيل المثال ، تحتوي عينة التدريب على صور من الإنترنت + صور من تطبيق جوال ، وعينات اختبار وتحقق من تطبيق جوال فقط. ومع ذلك ، لا تعمل الخوارزمية بشكل جيد للغاية: يوجد بها خطأ أعلى بكثير في عينات التحقق والاختبار مما نود. فيما يلي بعض الأسباب المحتملة:

1. أداء الخوارزمية ضعيف في عينة الاختبار ويرجع ذلك إلى مشكلة التحيز العالي (الذي يمكن تجنبه) في توزيع عينة التدريب
2. تتميز الخوارزمية بجودة عالية في مجموعة التدريب ، ولكن لا يمكنها تعميم عملها على البيانات ذات التوزيع المماثل مع مجموعة التدريب ، والتي لم يراها من قبل. هذه حالة مبعثرة عالية.
3. تقوم الخوارزمية بتعميم عملها بشكل جيد على البيانات الجديدة من نفس التوزيع مثل عينة التدريب ، ولكن لا يمكنها (تعميم) توزيع عينات التحقق والاختبار التي يتم الحصول عليها من توزيع آخر. يشير هذا إلى عدم تناسق البيانات الناتج عن الاختلاف في توزيع عينة التدريب من توزيعات عينات التحقق والاختبار.

على سبيل المثال ، لنفترض أن المستوى البشري للتعرف على القطط مثالي تقريبًا. الخوارزمية الخاصة بك فيما يتعلق بها تظهر:

• 1٪ خطأ في عينة التدريب
• خطأ بنسبة 1.5٪ للبيانات المأخوذة من نفس توزيع عينة التدريب ، ولكنها لم تظهر للخوارزمية أثناء التدريب
• خطأ 10٪ على عينات التحقق والاختبار

. , . , .

, , , . , , : , , « », .

:

• . , ( + ). , ( ).
• : , ( + ). , ; , .
• : , , , . (, )
• : . ( )

, :

• , , , « ».
• , , .

5-7 « ».

41. ,

( ≈0%) , , , 0%.

, :

• 1% .
• 5% « ».
• 5% .

? , . , , .
, :

• 10% .
• 11% « ».
• 12% .

, . .. . .

. , , , .
:

• 10% .
• 11% « ».
• 20% .

. , .
, , :

, . Y : , , , , . , .

. ( , ), , . , ( B) , . . , ( A B).

بعد تحديد أنواع الأخطاء التي تواجه الخوارزمية معظم الصعوبات ، من الممكن أن تقرر بشكل أكثر منطقية ما إذا كنت تريد التركيز على تقليل التحيز ، أو تقليل التشتت ، أو ما إذا كنت بحاجة إلى الحيرة بسبب الصراع مع تناقض البيانات.

استمرار