Get best of the week

IBM Watson Assistant中的聊天机器人质量分析



不幸的是，创建一个可以很好地处理当今业务任务的虚拟助手并不是我们想要的那样简单的过程。首先，聊天机器人为何会犯错误并并非总是很清楚，更重要的是，不清楚如何在分配给平台开发和启动的短时间内将这些错误最小化。

通过不断的产品开发，IBM Watson Assistant团队正在尝试使创建和启动虚拟助手的过程尽可能简单。今天我们谈论对话技能分析笔记本-Python框架，可让您快速在IBM Watson中开发高质量的AI助手。无论您是创建第一个聊天机器人还是您是创建虚拟助手领域的专家，无论如何，如果您有任何疑问，此框架都会为您提供帮助：

  • 我的聊天机器人效果如何？
  • 我如何衡量助理的效率？
  • 机器人为什么会错误地回答问题？
  • 如何提高助手对问题的理解水平？

怎么运行的？


接下来，我们将向您展示一些可以使用框架解决的任务示例。您可以通过从GitHub存储库下载自己尝试其功能。本文中使用的示例以英语提供，但是您可以使用俄语来培训和检查聊天机器人。

注：本材料适用于对在IBM Watson Assistant平台上创建聊天机器人具有基本了解的人员。如果您不熟悉我们的平台，或者想学习如何基于IBM Watson创建高质量的虚拟助手，我们邀请您参加免费培训研讨会，该研讨会将于2020年3月在莫斯科和圣彼得堡举行，其中包括为期两天的创建虚拟助手的实践研讨会。

第1部分：培训数据分析


我们将使用Watson Assistant中提供的测试用例“ Customer Care”，聊天机器人将在其中受过训练以识别有关商店的问题，例如：“您的商店在哪里？” 或“什么时候开放？” 并将其分配给意图Customer_Care_Store_Location和Customer_Care_Store_Hours

加载脚本后，您可以立即开始对表达式进行分析，这将使您能够同时检测和纠正关键错误，例如一个单词或短语与多个意图的相关性，这肯定会导致在使用助手过程中出错。



第2部分：会话技巧分析


首次创建会话技巧时，可以使用Watson Assistant中的“ 试用”面板来测试其工作，以评估助手预测文本是否属于特定意图的能力。



检查您的聊天机器人是否可以正常工作或向客户展示其工作示例当然很方便。但是，要检查助手的工作质量，由于无法实现自动化，因此这种方法完全不合适。用户可以用许多不同的方式提出相同的问题，即使您可以预测所有可能的组合，这种手动检查和分析也将花费太多时间。

相反，我们建议您使用我们框架的第二部分，这将帮助您使用测试样本来分析您的对话技巧，其中包括您必须自己想到的每种意图的其他示例。对于此样本的元素，唯一性是必不可少的-它们不应与聊天机器人经过训练的示例重叠，否则它将知道正确的答案，并且检查将毫无意义。

评估是根据以下指标进行的：准确性，准确性，召回率和F1度量，



请考虑“帮助”主题：

  • 较高的[ Recall]值[100％]表示测试句子与此意图的从属关系是绝对正确识别的。
  • Precision值[66.67％]表明模型将一些与其他意图相关的测试句子识别为与Help意图相关。有必要通过调整训练样本来注意这一点以获得更高的结果
  • 考虑到Precision和Recall的值， F1度量 [80％]是一个广义度量，报告了所研究模型的整体质量。

第3部分。高级分析


框架的第三部分为扩展对话框解决方案的分析机会。使用其中实现的功能，您可以找出错误地识别特定句子的原因。

考虑一个可视化句子中单词相对重要性的示例。

注意
, , : Customer_Care_Store_Location, Cancel, Customer_Care_Appointments General_Connect_to_Agent, Thanks, Customer_Care_Store_Hours, General_Greetings, Help

借助绝对正确的操作，助手应将句子“如果您在周日不营业，可以请我明天下午去吗？”。到Customer_Care_Appointments意图，因为用户要求在周日晚上开会。但是，此优惠目前属于助手Customer_Care_Store_Hours意图。

从图中可以清楚地看到，这样的答案是合理的，因为句子中存在与Customer_Care_Store_Hours意图相关的单词``closed''和``afternoon''，同时句子中缺少这些词可以表明它们属于必要意图。
该框架的功能使您可以识别助手“认为”最重要的句子中的关键字，这意味着您可以轻松确定错误原因并进行纠正。

结论


本文中显示的示例只是我们新框架所有功能的一小部分。我们希望它能帮助您加快并简化创建智能助手的过程。

如何访问框架？


您可以从GitHub的库下载它这里。

对于那些不想或无法下载框架或运行IPython Notebook的人，我们创建了该框架的在线版本，可通过链接在IBM Gallery中获得。这样的在线版本可以作为Watson Studio服务的一部分在IBM云中启动。

More articles:


All Articles