إن إنشاء مساعد افتراضي يمكنه التعامل بشكل جيد مع مهمة العمل اليوم ، للأسف ، ليس عملية بسيطة كما نود. بادئ ذي بدء ، ليس من الواضح دائمًا لماذا يخطئ روبوت الدردشة ، والأهم من ذلك ، ليس من الواضح كيف يمكن تقليل هذه الأخطاء في الوقت القصير المخصص لتطوير وإطلاق النظام الأساسي.

من خلال التطوير المستمر للمنتج ، يحاول فريق IBM Watson Assistant جعل عملية إنشاء مساعد افتراضي وإطلاقه بسيطة قدر الإمكان. نتحدث اليوم عن مفكرة تحليل مهارات الحوار- إطار عمل Python يسمح لك بتطوير مساعد AI عالي الجودة بسرعة في IBM Watson. لا يهم إذا كنت تنشئ أول برنامج دردشة أو كنت خبيرًا في مجال إنشاء مساعدين افتراضيين ، على أي حال ، سيساعدك هذا الإطار إذا كانت لديك أسئلة:

ما مدى فعالية برنامج الدردشة الخاص بي؟
كيف يمكنني قياس فعالية المساعد؟
لماذا يجيب البوت على الأسئلة بشكل غير صحيح؟
كيفية زيادة مستوى فهم الأسئلة من قبل المساعد؟

كيف تعمل؟

بعد ذلك ، سنعرض لك بعض الأمثلة على المهام التي يمكن حلها باستخدام إطار العمل. يمكنك تجربة ميزاته بنفسك عن طريق التنزيل من مستودع GitHub . الأمثلة المستخدمة في المقالة مقدمة باللغة الإنجليزية ، ولكن يمكنك استخدام اللغة الروسية للتدريب والتحقق من برنامج الدردشة الآلي.

ملاحظة: هذه المادة مخصصة لأولئك الذين لديهم فهم أساسي لإنشاء روبوتات الدردشة على منصة IBM Watson Assistant. إذا لم تكن على دراية بمنصتنا ، أو ترغب في معرفة كيفية إنشاء مساعدين افتراضيين عالي الجودة استنادًا إلى IBM Watson ، فإننا ندعوك إلى عقد ندوات تدريبية مجانية ستعقد في موسكو وسان بطرسبرغ في مارس 2020 ، بما في ذلك ورشة عمل عملية لمدة يومين حول إنشاء مساعدين افتراضيين.

الجزء الأول: تحليل بيانات التدريب

سنستخدم حالة الاختبار "رعاية العملاء" ، المتوفرة في Watson Assistant ، حيث يتم تدريب برنامج الدردشة الآلي على التعرف على الأسئلة المتعلقة بالمتجر ، على سبيل المثال: "أين يقع متجرك؟" أو "متى يفتح؟" وتعيينها إلى المقاصد Customer_Care_Store_Location و Customer_Care_Store_Hours

مباشرة بعد تحميل النص البرمجي ، يمكنك البدء في تحليل التعبيرات ، والتي ستسمح لك باكتشاف وتصحيح الأخطاء الفادحة مثل ارتباط كلمة واحدة أو عبارة في وقت واحد مع العديد من المقاصد ، وهو ما يضمن أن تؤدي إلى أخطاء في عملية استخدام المساعد.

الجزء الثاني: تحليل مهارات المحادثة

عند إنشاء مهارة محادثة لأول مرة ، يمكنك اختبار عملها باستخدام لوحة Try it out في Watson Assistant لتقييم قدرة المساعد على توقع ما إذا كان النص سينتمي إلى هدف معين.

من المؤكد أنه من المناسب التحقق مما إذا كان روبوت الدردشة الخاص بك يعمل على الإطلاق أو لإظهار مثال لعمله للعميل. ومع ذلك ، للتحقق من جودة عمل المساعد ، هذا النهج غير مناسب تمامًا بسبب استحالة الأتمتة. يمكن للمستخدمين طرح نفس السؤال بعشرات الطرق المختلفة ، وحتى إذا كان بإمكانك التنبؤ بجميع المجموعات الممكنة ، فإن هذا الفحص والتحليل اليدوي سيستغرقان الكثير من الوقت.

بدلاً من ذلك ، نقترح عليك استخدام الجزء الثاني من إطار عملنا ، والذي سيساعدك على تحليل مهاراتك في الحوار باستخدام عينة اختبارية تتضمن أمثلة إضافية لكل من النوايا التي يجب أن تأتي بها بنفسك. التفرد إلزامي لعناصر هذه العينة - لا يجب أن تتداخل مع الأمثلة التي تم تدريب روبوت الدردشة عليها ، وإلا فسيعرف الإجابات الصحيحة وسيكون الشيك بلا معنى.

يتم التقييم وفقًا للمقاييس التالية: الدقة والدقة والاستدعاء وقياس F1.

ضع في اعتبارك موضوع المساعدة:

تشير قيمة استدعاء عالية [100٪] إلى أن انتساب جمل الاختبار لهذا الغرض تم التعرف عليه بشكل صحيح تمامًا.
تشير القيمة الدقيقة [66.67٪] إلى أن النموذج قد اعترف ببعض الجمل الاختبارية المتعلقة بقصد آخر على أنها مرتبطة بقصد المساعدة . من الضروري الانتباه إلى ذلك عن طريق تعديل عينة التدريب لتحقيق نتيجة أعلى
يعد مقياس F1 [80٪] مقياسًا عامًا يأخذ في الاعتبار قيم الدقة والاستدعاء ويذكر الجودة الإجمالية للنموذج قيد الدراسة.

الجزء 3. التحليل المتقدم

يفتح الجزء الثالث من الإطار فرصًا لإجراء تحليل موسع لحل حوارك. باستخدام الوظائف المنفذة فيه ، يمكنك معرفة سبب التعرف على جملة معينة عن طريق الخطأ.

فكر في مثال لتصور الأهمية النسبية للكلمات في الجملة.

ملحوظة

, , : Customer_Care_Store_Location, Cancel, Customer_Care_Appointments General_Connect_to_Agent, Thanks, Customer_Care_Store_Hours, General_Greetings, Help

باستخدام العملية الصحيحة تمامًا ، يجب على المساعد ربط الجملة "إذا تم إغلاق حسابك يوم الأحد ، فهل يمكنك تحديد وقت ظهري بعد ظهر الغد؟" إلى نية Customer_Care_Appointments ، حيث يطلب المستخدم عقد اجتماع مساء الأحد. ومع ذلك ، في الوقت الحالي ، ينتمي هذا العرض إلى نية المساعد Customer_Care_Store_Hours .

بالنظر إلى الرسم التخطيطي ، يصبح من الواضح أن هذه الإجابة تبررها وجود جملة "مغلقة" و "بعد الظهر" في جملة نية Customer_Care_Store_Hours وفي نفس الوقت هذا النقص في الكلمات التي قد تشير إلى أنها تنتمي إلى القصد الضروري.
تسمح لك وظيفة إطار العمل بتحديد الكلمات الرئيسية في جملة "يدركها" المساعد على أنها الأكثر أهمية ، مما يعني أنه يمكنك بسهولة تحديد سبب الخطأ وتصحيحه.

استنتاج

الأمثلة الموضحة في المقالة ليست سوى جزء صغير من جميع ميزات إطار عملنا الجديد. نأمل أن يساعدك ذلك في تسريع وتبسيط عملية إنشاء مساعد ذكي.

كيفية الوصول إلى الإطار؟

يمكنك تنزيله من مستودع GitHub هنا .

بالنسبة لأولئك الذين لا يريدون أو لا يمكنهم تنزيل إطار العمل أو تشغيل IPython Notebook ، قمنا بإنشاء نسخة عبر الإنترنت من الإطار ، متوفرة في IBM Gallery عبر الرابط . يمكن إطلاق مثل هذه النسخة عبر الإنترنت في سحابة IBM كجزء من خدمة Watson Studio.

تحليل جودة برنامج الدردشة الآلي في IBM Watson Assistant