Get best of the week

我们如何在孩子的在线作业界面中发现明显的错误

平台上的每个新课程都是方法学家，设计师，插图画家，程序员和测试人员共同努力的结果。新作业通常在学校进行测试，方法学家可以观察他们对学生的了解程度，收集反馈和反馈。但是小样本中的一些问题可能不会引起注意。在这里，对学生的详细动作进行研究就可以了-他们点击的地方，输入的数字，选择的答案。任务中儿童的动作提供了宝贵的信息，使我们能够改善平台，使学习更加方便和易于理解。改进可以涉及任务界面以及解释和问题的措词。




我们知道什么不知道


对于所有任务，我们都有事件“学生开始解决任务”，“任务完成，决策正确”，“任务完成，有错误”。解决方案的每个会话均会记录此类事件的日志，在此基础上，我们可以找出有多少孩子在任务中犯了错误，以及他们在解决方案上花费了多少时间。


这是特定任务统计信息的示例。左图显示了正确和不正确决策的数量以及错误的百分比。右侧显示了学生完成任务所需的时间分配。

一些条款
. . , , . — ( . chunk — , ), — .

有时，某些任务会引起问题-例如，为什么孩子们不完成任务就比其他任务离开更多？他们为什么要在这么看似简单的任务上花费那么多时间？为什么在一系列相同类型的任务中错误的比例会多次不同？

要回答此类问题，我们需要深入研究解决方案-不仅要看到“是非”结果，还要看得出导致结果的行动。学生犯什么具体错误？他如何形成答案？这是采取行动分析的方法。

第一次尝试


JS程序员在进行此类分析的首次尝试中，修改了一流数学课程中第一张卡片的代码。在每张卡中，添加了其他事件，每种事件对于每种任务都是它们自己的。

例如，我们的任务是使用“多维数据集”方案解决示例。然后，孩子必须单击多维数据集，多维数据集将因此而破裂。然后，您需要计算还剩下多少个骰子并写下答案。


因此，首先要进行减法的任务：


学生“爆裂”多维数据集后，他需要将答案输入到窗口中。

在此类任务中，添加了一些事件，例如“打开任务的声音执行功能”，“单击多维数据集编号i”，“将数字输入到输入中” 。

事实证明，一半以上的错误决定是绝对正确的答案：数字6。“错误”在于点击错误的骰子：除了最后一个骰子外，无法爆裂一个骰子，而在卡上单击则认为是错误。我们更正了此逻辑，现在单击其他多维数据集不视为错误。结果，无错误完成任务的百分比从65％增加到75％，一年级学生不再需要猜测自己做错了什么。


该图显示了包括修改后的任务在内的卡不成功通过次数已减少了多少。

这种工作方式可以很好地理解解决儿童任务的细节，但是事实证明这非常耗时：

  • JS程序员必须通过添加必要事件的发送来修改卡。
  • 测试人员必须确认所做的更改不会破坏卡的功能。
  • 分析人员必须获取决策日志，了解事件并得出结论。

这样的解决方案无法扩展并分发给所有卡。因此，我们开发了一个变种，其中所有卡片都有共同的事件。

第二次尝试


所有卡都包含常见事件，例如点击，挖泥或输入中的输入值。已创建一个特殊组件来跟踪这些基本事件并将其发送到服务器。

这些事件及其包含的其他数据的示例：

  • click-（x，y）-单击坐标，css类和被单击元素的文本
  • 输入到输入-输入的值，是或否
  • 拖动开始-坐标，被拖动项的文本
  • 疏结束-类似

动作跟踪组件包含在卡中的一行中，不需要JS程序员和测试人员的额外努力。该组件已添加到5-9年级的数学卡中。

我将举一些使用这种方式收集的数据发现的例子。

鼓


作为优化任务界面的一个示例，您可以带来在某些卡中使用的元素“ drum”。孩子们单击箭头并更改答案选项，直到找到正确的答案。选项的变化是动态的-鼓向上或向下滚动。


带有鼓元素

的任务这种任务的点击图应该在三角形箭头区域内包含许多点击。但是，并非所有这些点击都是相同的-有两种不同类型的CSS类。卡中的实验表明，不同的值对应于箭头的可点击和不可点击状态。滚动动画期间出现不可点击状态。

我们发现有85％-90％的学生点击了箭头。也就是说，孩子们经常试图在滚动动画结束之前再次单击箭头。该卡忽略了此类点击。当时的动画持续了800毫秒，但有些孩子在100-200毫秒后设法做出了新的点击。


然后，我感觉到不活动的按钮使孩子们很烦，

为了使界面更灵敏，我们大大加快了滚动速度。这样的加速扩展到了所有带有“卷轴”的卡。

出院


除了诸如小组之类的很小的原子动作之外，我们还可以研究孩子给出的答案以及他们犯的错误。

例如，在一项作业中，六年级学生会重复数字的数字名称，并学会识别十分之一和百分之一。这是一个任务示例，孩子需要在给定类别中标记一个数字。


今天确定数字的任务

如下所示：在点击图上，我们看到了带有数字的矩形的点击。通过点击的坐标，您可以了解学生点击了哪个数字。还应考虑到，第一次单击数字会选择该数字，第二次单击会删除该选择。然后，从事件日志中，您可以在单击“完成”按钮之前推断出学生选择的类别。

在完成这项任务的第一次会议上，大约三分之一的孩子犯了一个错误。正如预期的那样，其中一些混淆了十分之几，但其他错误则更令人惊讶。例如，有7％的儿童注意到数万和数万。另外5％-完全添加到该列表中的比例也为十分之一。1.5％的儿童通常注意到所有数字。

任务界面已被修改，仅允许选择一个数字-单击新数字时，将删除前一个数字的选择。在新版本的作业中，错误的百分比降低到20％，学生可以更好地理解类别名称与记录编号中数字的位置明显相关。

分数


另一个例子是一个任务，向孩子介绍普通分数的主要属性。在作业开始时，会向学生显示插图，其中分数用部分填充的数字表示。


因此，作业的开始看起来比较早，

孩子们应该指出人物的哪一部分被画完了。88％的儿童在完成这一阶段时不会出现错误，将分子写为“ 3”。9％的学生写“ 1”：他们可能比灰色更喜欢灰色。另外3％的孩子写“ 4”-实际上，因为所有这些部分都不是白色的！

在该卡的修订版中，问题已更改，其新措辞为“绿色部分是什么？” 结果，错误的数量减少了三倍，现在有96％的孩子可以使用卡片的主要内容，而不会因此而意外。

第二次尝试的结果


我们收到了有趣的信息，并进行了有益的改进。但是，这种调查事件的方式需要分析师非常艰苦的工作。要将单击的序列转换为解决方案的过程，您首先需要研究卡的布局并了解哪个元素具有特定的单击。其次，要了解工作的逻辑-学生在其中选择某些元素，在其中删除选择，然后在地方重新排列元素。实际上，您必须从字面上复制卡的功能。

当然，在这样的研​​究过程中，功能逐渐被开发出来以处理标准力学（例如，“从水平放置的行中选择一个选项”）。但是，任务是如此多样，以至于不可能完全自动化该过程。此外，大多数情况下，对特定卡的研究都以“一切都按计划进行”的结论结束-儿童中的错误与预期的错误大致相同，并且界面也不存在任何困难。一方面，这表明产品团队的工作做得很好，但另一方面，它却可能会降低工作效率，因为似乎浪费了他们自己的精力。

通过基本事件，我们研究了儿童给出的答案以及他们如何得出答案。知道学生的答案与任何作业都相关，但是由于机制多种多样，很难从一系列小事件中恢复答案。这导致了创建一个单独的事件``学生给出答案''的想法。

我们现在正在收集什么日志，它们提供了什么


每次卡片检查学生的回答时，我们都会发送事件并提供有关答案的信息。该事件包含以下信息：

  • 正确答案或不正确
  • 答案本身，即卡中活动元素的当前状态（在输入中输入了什么，选择了哪些单选按钮，在平面上标记了哪些点，依此类推，取决于当前任务）
  • 可选-学生现在处于作业的哪个阶段

重要的是，在卡片的密码中显然要检查学生的答案，并且此刻所有状态都是已知的。剩下的就是添加一条线将此响应发送到服务器。也就是说，在此选项中，无需复制卡的逻辑，这在前一阶段造成了很多困难。

具有非线性通道的卡片需要有关任务阶段的信息。例如，学生可以选择-立即写下问题的答案或分步解决。

这些事件的累积统计数据为我们提供了：

  1. 作业阶段的学生运动图 我们了解哪些阶段对儿童来说容易完成，哪些阶段有困难。
  2. 每个阶段的答案统计。这有助于了解学生犯了什么样的错误。

由于事件具有单一格式，因此可以对其进行自动处理。现在，发布了一张新卡片，我们已经可以在第二天的特殊应用中看到孩子们如何应付任务。



典型的拼写错误是显而易见的。

我们在所有新卡片中都包含带有答案的事件，并在定稿时将其添加到旧卡片中。现在，所有参与分配过程的员工都可以轻松地了解给学生的东西以及造成麻烦的原因。

More articles:


All Articles