🧚🏽 👩‍❤️‍👨 🐞 خوارزمية AdaBoost 🔭 🌺 🗡️

تم إعداد ترجمة المقال عشية بدء الدورة المتقدمة "الرياضيات لعلوم البيانات" .

المقدمة

يمكن استخدام خوارزمية AdaBoost لتحسين أداء أي خوارزمية للتعلم الآلي. أصبح التعلم الآلي أداة قوية لعمل تنبؤات تستند إلى كميات كبيرة من البيانات. أصبح من الشائع اليوم أن تطبيقات التعلم الآلي تجد التطبيق حتى في المهام اليومية. أحد الأمثلة الأكثر شيوعًا هي توصيات المنتج بناءً على عمليات الشراء السابقة التي قام بها العميل. يمكن تعريف التعلم الآلي ، الذي غالبًا ما يسمى التحليل التنبئي أو النمذجة التنبؤية ، بأنه قدرة أجهزة الكمبيوتر على التعلم بدون برمجة صريحة. يستخدم التعلم الآلي خوارزميات مُصممة مسبقًا لتحليل بيانات الإدخال لعمل تنبؤات تستند إلى معايير معينة.

ما هي خوارزمية AdaBoost؟

في التعلم الآلي ، يلزم التعزيز لتحويل المصنفات الضعيفة إلى المصنفات القوية. خوارزمية التعلم الضعيفة أو المصنف هي خوارزمية تعلم تعمل بشكل أفضل من التخمين العشوائي ، وستعمل بشكل جيد في حالة إعادة التدريب ، لأنه مع مجموعة كبيرة من المصنفات الضعيفة ، فإن أي مصنف ضعيف سيعمل بشكل أفضل من أخذ العينات العشوائية. كمصنف ضعيف ، غالبًا ما يتم استخدام المصنف المعتاد thresholdوفقًا لمعيار معين. إذا كانت العلامة أعلى threshold(قيمة العتبة) مما كان متوقعًا ، فإنها تشير إلى المنطقة الإيجابية ، وإلا - إلى السلبية.

AdaBoost يعني "تعزيز التكيف" أو تعزيز التكيف. يحول خوارزميات التعلم الضعيفة إلى خوارزميات قوية لحل مشاكل التصنيف.

يمكن أن تكون المعادلة النهائية للتصنيف كما يلي:

هنا f _m هو المصنف الضعيف _m ، حيث _m مسؤول عن الوزن المقابل.

كيف تعمل خوارزمية AdaBoost؟

يمكن استخدام AdaBoost لتحسين أداء خوارزميات التعلم الآلي . يعمل بشكل أفضل مع خوارزميات التدريب الضعيفة ، لذلك يمكن لهذه النماذج تحقيق دقة أعلى بكثير من العشوائية عند حل مشكلة التصنيف. الخوارزميات الأكثر شيوعًا المستخدمة مع AdaBoost هي أشجار القرار ذات المستوى الواحد . خوارزمية التعلم الضعيفة هي خوارزمية التصنيف أو خوارزمية التنبؤ التي تعمل بشكل سيئ نسبيًا من حيث الدقة. بالإضافة إلى ذلك ، يمكننا القول أن المصنفات الضعيفة يسهل حسابها ، لذا يمكنك الجمع بين العديد من كيانات الخوارزميات لإنشاء مصنف أقوى باستخدام التعزيز.

إذا كان لدينا مجموعة بيانات يكون فيها n عدد النقاط و

حيث -1 هي الفئة السلبية و 1 هي الموجبة. ثم سيتم تهيئة وزن كل نقطة ، كما هو موضح أدناه:

كل متر في التعبير التالي سيختلف من 1 إلى M.
أولاً ، نحتاج إلى تحديد مصنف ضعيف مع أصغر خطأ تصنيف مرجح ، وتطبيق المصنف على مجموعة البيانات.

ثم نحسب وزن المصنف الضعيف ، كما هو موضح أدناه:

الوزن إيجابي لأي مصنف بدقة تزيد عن 50٪. كلما زاد الوزن ، زادت دقة المصنف. يصبح الوزن سالبًا عندما تنخفض الدقة إلى أقل من 50٪. يمكن الجمع بين التنبؤات من خلال عكس العلامة. وبالتالي ، يمكن تحويل المصنف بدقة 40٪ إلى مصنف بدقة 60٪. لذا سيساهم المصنف في التنبؤ النهائي ، حتى لو كان يعمل بشكل أسوأ من التخمين العشوائي. ومع ذلك ، لن تتغير النتيجة النهائية بأي شكل من الأشكال تحت تأثير المصنف الذي تبلغ دقته 50٪.

سيكون الأس في البسط دائمًا أكبر من 1 في حالة التصنيف غير الصحيح من المصنف بوزن إيجابي. بعد التكرار ، سيزداد وزن الأشياء المصنفة بشكل غير صحيح. سوف تتصرف المصنفات ذات الوزن السالب بطريقة مماثلة. هناك اختلاف في عكس الإشارة: سيصبح التصنيف الصحيح غير صحيح. يمكن حساب التوقعات النهائية من خلال مراعاة مساهمة كل مصنف وحساب مجموع توقعاته المرجحة.

سيتم تحديث وزن كل نقطة على النحو التالي:

هنا Z _m هي معلمة تطبيع. يلزم التأكد من أن مجموع أوزان المثيلات هو 1.

أين يتم استخدام خوارزمية AdaBoost؟

يمكن استخدام AdaBoost للتعرف على الوجوه ، لأنه خوارزمية قياسية لمثل هذه المهام. يستخدم سلسلة رفض تتكون من عدة طبقات من المصنفات. عندما لا تكتشف منطقة التعرف الوجوه على أي طبقة ، يتم رفضها. يتجاهل المصنف الأول في المنطقة المنطقة السلبية لتقليل تكلفة الحوسبة. على الرغم من استخدام AdaBoost لدمج المصنفات الضعيفة ، إلا أن مبادئ AdaBoost تُستخدم أيضًا للعثور على أفضل الميزات لكل طبقة في السلسلة المتتالية.

مزايا وعيوب خوارزمية AdaBoost

واحدة من المزايا العديدة لخوارزمية AdaBoost هي أنها سهلة وسريعة وسهلة البرمجة. بالإضافة إلى ذلك ، فهي مرنة بما يكفي لدمجها مع أي خوارزمية للتعلم الآلي بدون تعيين المعلمات ، باستثناء المعلمة T. وهي قابلة للتوسيع إلى مهام التعلم الأكثر تعقيدًا من التصنيف الثنائي ، وهي عالمية بما يكفي لأنه يمكن استخدامها مع البيانات العددية أو النصية.

يحتوي AdaBoost أيضًا على العديد من العوائق ، على الأقل حقيقة أن هذه الخوارزمية مثبتة تجريبيًا وهي عرضة جدًا للضوضاء الموزعة بالتساوي. المصنفات الضعيفة إذا كانت ضعيفة للغاية يمكن أن تؤدي إلى نتائج سيئة وإعادة التدريب.

مثال خوارزمية AdaBoost

كمثال ، خذ حملة القبول في الجامعة ، حيث يمكن قبول مقدم الطلب في الجامعة أم لا. هنا يمكنك أخذ بيانات كمية ونوعية مختلفة. على سبيل المثال ، يمكن تحديد نتيجة القبول ، والتي يمكن التعبير عنها بـ "نعم" أو "لا" ، في حين يمكن تحديد مهارات وهوايات الطلاب. يمكننا بسهولة التوصل إلى التصنيف الصحيح لبيانات التدريب. افترض ، إذا أظهر الطالب نفسه جيدًا في تخصص معين ، فسيتم قبوله باحتمالية أعلى. ومع ذلك ، فإن التنبؤ بدقة عالية هو أمر معقد ، وهنا تساعد المصنفات الضعيفة.

استنتاج

يساعد AdaBoost على اختيار مجموعة تدريب لكل مصنف ، والتي يتم تدريبها بناءً على نتائج المصنف السابق. بالنسبة لدمج النتائج ، تحدد الخوارزمية مقدار الوزن الذي يجب إعطاؤه لكل مصنف بناءً على الاستجابة المستلمة. فهو يجمع بين المصنفات الضعيفة لإنشاء أخطاء تصنيف قوية وصحيحة ، وهو أيضًا خوارزمية تعزيز ناجحة للغاية لمشاكل التصنيف الثنائي.

تعلم المزيد عن الدورة.

خوارزمية AdaBoost