في هذه المقالة ، أود أن أتحدث عن الصعوبات الرئيسية لأتمتة تعلُم الآلة ، وطبيعتها ومزاياها ، وكذلك التفكير في نهج أكثر مرونة يسمح لك بالابتعاد عن بعض أوجه القصور.
الأتمتة ، بحكم تعريفها ، Mikell P. Groover هي تقنية يتم من خلالها تنفيذ عملية أو إجراء بأقل مشاركة بشرية. تمكنت الأتمتة منذ فترة طويلة من تحقيق إنتاجية متزايدة ، مما يؤدي غالبًا إلى انخفاض التكاليف لكل وحدة من المنتج. تتحسن طرق الأتمتة ، وكذلك مجالات تطبيقها ، بسرعة وقد تطورت عبر القرون الماضية من الآليات البسيطة إلى الروبوتات الصناعية. لا تبدأ الأتمتة في التأثير على العمل البدني فحسب ، بل تؤثر أيضًا على الفكر ، حيث تصل إلى مجالات جديدة نسبيًا ، بما في ذلك التعلم الآلي - التعلم الآلي الآلي (auto ml ، aml). في الوقت نفسه ، وجدت أتمتة تعلُم الآلة تطبيقه بالفعل في عدد من المنتجات التجارية (على سبيل المثال ، Google AutoML و SAP AutoML وغيرها).
تنصللا تدعي هذه المقالة أنها متشددة في هذا المجال وهي رؤية المؤلف.
التعلم الآلي الآلي
ترتبط المهام في مجال معالجة البيانات والتعلم الآلي بالعديد من العوامل التي تنشأ بسبب تعقيد النظام وتعقيد حلها. وهي تشمل ( وفقًا لتشارلز ساتون ):- وجود عدم اليقين وعدم اليقين ، مما يؤدي إلى عدم وجود معرفة مسبقة بالبيانات والتبعيات المطلوبة. وبالتالي ، فإن عنصر البحث موجود دائمًا.
- "الموت من ألف جروح." من الناحية العملية ، عند بناء خط أنابيب لمعالجة البيانات وتحليلها والنمذجة اللاحقة ، يجب عليك اتخاذ العديد من القرارات الكبيرة والصغيرة. على سبيل المثال ، هل من الضروري تطبيع البيانات ، إذا كان الأمر كذلك ، ما هي الطريقة ، وما هي المعلمات التي يجب أن تحتوي عليها هذه الطريقة؟ إلخ.
- وجود حلقات التغذية المرتدة الناتجة عن عدم اليقين. كلما زاد الانغماس في المهمة والبيانات ، زادت معرفتك بها. وهذا يؤدي إلى الحاجة إلى التراجع وإجراء تغييرات على آليات المعالجة والتحليل الحالية.
- بالإضافة إلى ذلك ، فإن نتائج النماذج التي تم الحصول عليها بواسطة خوارزميات التعلم الآلي ليست سوى تقريبًا للواقع ، أي من الواضح أنها ليست دقيقة.
وبالتالي ، يمكن اعتبار عملية الحصول على خط أنابيب كامل لمعالجة البيانات وتحليلها بمثابة نظام معقد (أي نظام معقد).نظام معقدPeter Sloot, « » « », . , () , , () , () .. , , .
من ناحية ، يؤدي وجود هذه العوامل إلى تعقيد كل من حل مشاكل التعلم الآلية والعميقة وأتمتتها. من ناحية أخرى ، تسمح لنا قدرات الحوسبة المتزايدة باستمرار والتي يمكن الوصول إليها بإرفاق المزيد من الموارد لهذه المهمة.
وفقًا لمعيار CRISP-DM الشائع ، تتكون دورة حياة المشروع المتعلقة بتحليل البيانات بشكل متكرر من ست مراحل رئيسية: فهم مهمة العمل (فهم الأعمال) ، وفهم ودراسة البيانات (فهم البيانات) ، ومعالجة البيانات (إعداد البيانات) ، والنمذجة ( النمذجة) ، وتقييم الجودة (التقييم) والتطبيق العملي (النشر والتطبيق). من الناحية العملية ، لا يمكن أتمتة جميع هذه الخطوات بشكل فعال اليوم.تركز معظم الأعمال أو المكتبات الحالية (h2o و auto-sklearn و autokeras) على أتمتة النمذجة وجزئيًا على تقييم الجودة. ومع ذلك ، فإن توسيع النهج نحو أتمتة معالجة البيانات يسمح بتغطية المزيد من المراحل (التي تم تطبيقها ، على سبيل المثال ، في خدمة Google AutoML).صياغة المشكلة
يمكن حل مهام التعلم الآلي مع المعلم بطرق مختلفة ، يتم تقليل معظمها إلى تقليل وظيفة الخسارة أو تعظيم وظيفة الاحتمال ، من أجل الحصول على تقدير للمعلمات بناء على عينة بيانات التدريب المتاحة :أو أين - معلمات النموذج المدربة (على سبيل المثال ، المعاملات في حالة الانحدار).من أجل عدم قصر الأتمتة على النمذجة فقط ، من الممكن توسيع نطاق الطريقة إلى مراحل أخرى من خط الأنابيب. على سبيل المثال ، لأتمتة عملية صنع القرار حول طرق معالجة البيانات التي يجب تطبيقها ، حول اختيار نموذج أو مجموعاتها ، بالإضافة إلى اختيار قريب من المعلمات الفائقة المثلى.نحن لتوضيح ما يوصف مع مثال بسيط، في الإطار الذي هناك خيار بين اثنين معالجة البيانات أساليب ( قشارة القياسية و قشارة quantile ) واثنين من نماذج ( الغابات العشوائية و الشبكة العصبية )، بما في ذلك اختيار بعض hyperparameters. يمكن تمثيل هيكل التحديد كشجرة:
كل تحديد تم إجراءه هو معلمة للنظام ، بينما تصبح الشجرة نفسها مساحة المعلمات المحتملة. تسمح لنا هذه النظرة إلى المشكلة بالارتفاع إلى مستوى التجريد وصياغة مهمة الحصول على خط الأنابيب النهائي ، بما في ذلك طرق معالجة البيانات ونماذجها ومعلماتها ، كعملية لتقليل أو تعظيم وظيفة:أو أين - معلمات غير تعليمية ، - تأخر اختيار التحكم (مجموعة البيانات للتحقق المتقاطع).تشمل المزايا الرئيسية لمكننة التعلم ما يلي:- اختيار عدد أكبر من معلمات النظام في وجود نقطة إدخال واحدة في إطار عملية تحسين واحدة.
- روتين الأتمتة الذي ينقذ الباحث أو المطور من "آلاف التخفيضات".
- "دمقرطة" التعلم الآلي من خلال الأتمتة ، مما يسمح للعديد من غير المتخصصين بتطبيق العديد من الأساليب.
ومع ذلك ، فإن الأتمتة لا تخلو من العيوب:- مع زيادة عدد المعلمات ، تنمو مساحتها أيضًا ، مما يؤدي عاجلاً أم آجلاً إلى انفجار اندماجي ، والذي يتطلب تطوير الخوارزميات وزيادة في عدد موارد الحوسبة.
- لا توفر الطرق التلقائية بالكامل دائمًا حلًا مرنًا يعتمد على مبدأ "الصندوق الأسود" ، مما يقلل من التحكم في النتيجة.
- مسافة المعلمة lin غير خطية ولها بنية معقدة ، مما يعقد عملية التحسين.
من الأتمتة إلى شبه الأتمتة
في محاولة للحفاظ على أكبر قدر ممكن من المزايا وفي الوقت نفسه الابتعاد عن عدد من أوجه القصور ، على وجه الخصوص ، بسبب الرغبة في الحصول على تحكم إضافي في الحل ، توصلنا إلى نهج يسمى ml-auto semi. هذه ظاهرة جديدة نسبيًا في المجال ، والتي يمكن إثباتها بشكل غير مباشر من خلال تحليل سريع لاتجاهات Google: يمكن
تحقيق مثل هذا الحل الوسط بشكل مشروط مع الطرق المختلفة لتحويل التروس في عمليات نقل السيارات (أي طرق التحول ، ولكن ليس هيكلها الداخلي):في سياق العمل على المشاريع الداخلية ، أنشأنا أداة تسمح لنا بحل مشكلة التعلم الآلي شبه التلقائي بناءً على نظام التكوين الوظيفي الهجين الإعلاني. لا يستخدم نهج التكوين هذا أنواع البيانات القياسية فحسب ، بل يستخدم أيضًا وظائف من المكتبات الحديثة الشائعة لتعلم الآلة والتعلم العميق. تسمح لك الأداة بأتمتة إنشاء طرق بسيطة لمعالجة البيانات ، والبناء الأساسي للميزات (هندسة الميزات) ، واختيار النماذج ومعلماتها الفائقة ، وكذلك إجراء عمليات حسابية على مجموعة Spark أو GPU. القائمة تضفي الطابع الرسمي على المثال المذكور سابقًا في المقالة. يستخدم المثال نماذج بسيطة من sk-learn و hyperopt (والتي تمكنت حتى من تقديم مساهمة غير مهمة في كود المصدر المفتوح) لتوزيع المعلمات وتحسينها.'preprocessing': {
'scaler': hp.choice('scaler', [
{
'func': RobustScaler,
'params': {
'quantile_range': (10, 90)
}},
{
'func': StandardScaler,
'params': {
'with_mean': True
}}
]),
},
'model': hp.choice('model', [
{
'func': RandomForestClassifier,
'params': {
'max_depth': hp.choice('r_max_depth', [2, 5, 10]),
'n_estimators': hp.choice('r_n_estimators', [5, 10, 50])
}
},
{
'func': MLPClassifier,
'params': {
'hidden_layer_sizes': hp.choice('hidden_layer_sizes', [1, 10, 100]),
'learning_rate_init': hp.choice('learning_rate_init', [0.1, 0.01])
}
},
])
مثل هذا النظام شبه التلقائي ، بما في ذلك آلية التكوين ، يجعل من الممكن إنشاء سيناريوهات قياسية معدة مسبقًا في الحالات التي تكون فيها ، على سبيل المثال ، مجموعة معينة من النماذج مناسبة بشكل أفضل لحل أي مشاكل. قد تشمل هذه ، على وجه الخصوص ، تسجيل الائتمان ، ومع ذلك ، تتطلب هذه الخطوة إجراء بحث إضافي على مجموعة واسعة من المهام المماثلة. أيضًا ، عند العمل على آلية البحث ، من الممكن الحفاظ تلقائيًا على التوازن في معضلة التباعد بين التباين من خلال مراعاة قيم الوظيفة المُحسّنة في كل من التدريب وعينات التحقق المتبادل.استنتاج
من النادر جدًا الافتقار التام للأتمتة في الممارسة العملية ، نظرًا لأن تعداد قيم معلمة مفرطة واحدة في الدورة يعد بالفعل خطوة نحو الأتمتة. في نفس الوقت ، فإن الأتمتة الكاملة لعملية بناء خط الأنابيب بالكامل غير قابلة للتحقيق عمليا اليوم. وفقًا لذلك ، في تطوير معظم المشاريع الحديثة ، يتم تطبيق مناهج الأتمتة بوعي أو دون وعي.يتيح استخدام التعلم الآلي شبه التلقائي استخدامًا أكثر كفاءة لموارد الباحث أو المطور بسبب أتمتة الروتين ، دون التخلص من جزء كبير من المرونة في العمل. كما نرى ، يتطلب الحل المقترح مشاركة شخص ، مما يحد من مساحة معلمات النظام المحتملة. علاوة على ذلك ، فإن إدخال السيناريوهات القياسية التي تم الحصول عليها على أساس نظام التكوين يسمح باستخدام ليس فقط أساليب الأتمتة الجزئية ، ولكن أيضًا السيناريوهات الكاملة التي لا تتطلب مشاركة بشرية.