الفصول السابقة
34. كيفية تحديد مستوى الجودة المتاح للإنسان
افترض أنك تعمل على تطبيق تصوير طبي يجب أن يقوم بالتشخيص التلقائي للأشعة السينية. خطأ شخص عادي بدون تعليم طبي ، باستثناء بعض التدريب الأساسي ، حوالي 15٪. خطأ طبيب مبتدئ حوالي 10٪. أخطأ الطبيب الخبير في 5٪ من الحالات. خطأ فريق صغير من الأطباء الذين يدرسون ويناقشون كل صورة لا يتجاوز 2٪. أي من هذه الأرقام ينبغي اعتبارها "مستوى جودة الإنسان"؟
في هذه الحالة ، أود أن آخذ 2٪ لمستوى الجودة المتاح للشخص وتحديد قيمة الخطأ المثلى المقابلة. من المنطقي أيضًا تعيين 2٪ كمستوى الخطأ المطلوب لنظامنا ، نظرًا لأن قيمة الخطأ هذه تفي بالمعايير الثلاثة الموضحة في الفصل السابق للأنظمة التي تسمح لك بمقارنة جودة الخوارزمية بجودة المهمة التي يقوم بها الشخص:
- سهولة وضع العلامات على البيانات : يمكنك استخدام فريق من الأطباء لوضع علامة على البيانات بدقة 98٪ (خطأ 2٪)
- تحليل الأخطاء باستخدام الحدس البشري : عند مناقشة الأشعة السينية مع فريق من الأطباء ، يمكنك الاعتماد على حدسهم عند البحث عن طرق لتحسين الجودة
- استخدام مستوى إكمال مهمة الشخص لتحديد مستوى الخطأ الأمثل وتحديد "مستوى الخطأ المطلوب" الذي يمكن تحقيقه في النظام : من المستحسن استخدام 2٪ كتقدير لمستوى الخطأ الأمثل. يمكن أن يكون مستوى الخطأ الأمثل أقل من 2٪ ، ولكنه بالتأكيد لا يمكن أن يكون أعلى نظرًا لحقيقة أن مستوى الخطأ هذا يتوافق مع جودة التشخيصات المتاحة للمتخصصين وليس من المنطقي تعيين خطأ 5٪ أو 10٪ للنظام التلقائي على أنه المستوى المستهدف ، حيث نحن على يقين من أننا سنحقق مستوى أعلى من الجودة بشكل متعمد.
خلال ترميز البيانات ، من غير المحتمل أنه سيكون من الممكن جذب فريق كامل من الأطباء المؤهلين لدراسة كل صورة شعاعية ، لأن وقتهم مكلف. قد يكون من الحكمة تعيين طبيب مبتدئ للغالبية العظمى من اللقطات ، وفي الحالات الأكثر صعوبة فقط ، يشمل طبيبًا متمرسًا أو فريقًا من المتخصصين.
إذا كان نظامك يحتوي حاليًا على خطأ 40٪ ، فلا يهم كثيرًا ما إذا كنت تستخدم متخصصًا مبتدئًا (خطأ 10٪) أو طبيبًا متمرسًا (خطأ 5٪) لترميز البيانات والحصول على أفكار لتحسين جودة الخوارزمية. ولكن إذا كان خطأ نظامك أقل من 10٪ بالفعل ، فإن المستوى البشري للجودة ، المقابل لـ 2٪ من الأخطاء ، يمنحك الثقة في إمكانية تحسين نظامك بشكل أكبر.
35. التغلب على مستوى الجودة المتاح للإنسان
. , 10% . , 8% . - , 33 ?
, , , . , , , .
, :
- , ,
- , ,
- « » .
, , , , , . , , , .
هناك العديد من تطبيقات التعلم الآلي المهمة التي تتفوق فيها الخوارزميات على البشر. على سبيل المثال ، يمكن للسيارات التنبؤ بشكل أفضل بتصنيفات الأفلام ، ووقت السفر بالسيارة ، وسداد القرض. في الحالات التي يصعب فيها على الأشخاص العثور على أمثلة يخطئ فيها الخوارزمية بشكل واضح ، لا يمكن تطبيق سوى عدد محدود من الطرق لتحسين الجودة. لذلك ، عند العمل على نظام تجاوز بالفعل البشر ، يتقدم التقدم عادةً بشكل أبطأ من الحالات التي لم تصل فيها الخوارزميات بعد إلى المستوى البشري.
استمرار