Chaque nouvelle leçon sur la plateforme est le résultat du travail conjoint de méthodologistes, designers, illustrateurs, programmeurs et testeurs. Les nouveaux travaux sont généralement testés dans les écoles, où les méthodologistes peuvent observer dans quelle mesure ils comprennent les élèves, recueillir des commentaires et des commentaires. Mais certains problèmes dans de petits échantillons peuvent passer inaperçus. Et ici, l'étude des actions détaillées des étudiants vient à la rescousse - où ils ont cliqué, quels chiffres ils ont entrés, quelle réponse ils ont choisie. Les actions des enfants à l'intérieur des tâches fournissent des informations précieuses qui nous permettent d'améliorer notre plateforme pour rendre l'apprentissage plus pratique et compréhensible. Les améliorations peuvent concerner à la fois l'interface de tâche et le libellé des explications et des questions.
Ce que nous savons et ce que nous ne savons pas
Pour toutes les tâches, nous avons à disposition les événements «l'élève a commencé à résoudre la tâche», «la tâche est terminée, la décision est correcte», «la tâche est terminée, il y a eu des erreurs». Chaque session de la solution laisse un journal de ces événements, sur la base duquel nous pouvons savoir combien d'enfants font des erreurs dans la tâche et combien de temps ils passent sur la solution.
Ceci est un exemple de statistiques pour une tâche spécifique. Les graphiques à gauche indiquent le nombre de décisions correctes et incorrectes et le pourcentage d'erreurs. Le côté droit montre la répartition du temps nécessaire aux élèves pour résoudre les tâches.Quelques termes. . , , . — ( . chunk — , ), — .
Parfois, des questions se posent pour certaines tâches - par exemple, pourquoi les enfants les quittent-ils plus souvent que d'autres sans les terminer? Pourquoi passent-ils autant de temps sur une tâche apparemment simple? Pourquoi dans une série de tâches du même type la proportion d'erreurs diffère plusieurs fois?Pour répondre à ces questions, nous devons regarder à l'intérieur de la solution - pour voir non seulement le résultat «vrai / faux», mais aussi les actions qui y ont conduit. Quelle erreur spécifique l'étudiant fait-il? Comment forme-t-il sa réponse? C'est là que l'analyse de l'action vient à la rescousse.Premières tentatives
Dans leurs premières tentatives pour effectuer une telle analyse, les programmeurs JS ont modifié le code des premières cartes du cours de mathématiques de première classe. Dans chaque carte, des événements supplémentaires ont été ajoutés, les leurs pour chaque type de tâche.Par exemple, nous avons des tâches pour résoudre des exemples avec le schéma «cubes». Ensuite, l'enfant doit cliquer sur le cube, qui va éclater à partir de cela. Ensuite, vous devez calculer le nombre de dés restants et noter la réponse.
Ainsi, la tâche de soustraction apparaît en premier. Une
fois que l'élève a "éclaté" le cube, il doit entrer la réponse dans la fenêtre.Dans les tâches de ce type, des événements ont été ajoutés tels que "activer la voix agissant sur la tâche", "cliquer sur le cube numéro i", "entrer le numéro dans l'entrée" .Il s'est avéré que plus de la moitié des mauvaises décisions sont des réponses absolument correctes: numéro 6. «L'erreur» a consisté à cliquer sur le mauvais dé: il était impossible d'éclater un seul dé sauf le dernier, et cliquer dessus était considéré comme une erreur par la carte. Nous avons corrigé cette logique, et maintenant cliquer sur d'autres cubes n'est pas considéré comme une erreur. En conséquence, le pourcentage de réalisation sans erreur des tâches est passé de 65% à 75%, et les élèves de première année n'ont plus à deviner ce qu'ils ont fait de mal.
Le graphique montre combien le nombre de passes infructueuses de la carte, qui inclut la tâche révisée, a diminué.Cette façon de travailler a permis de bien comprendre les détails de la résolution des tâches des enfants, mais elle s'est avérée très longue:- Le programmeur JS doit modifier la carte en ajoutant l'envoi des événements nécessaires.
- Le testeur doit vérifier que les modifications n'ont pas gâché la fonctionnalité de la carte.
- L'analyste doit obtenir les journaux de décisions, comprendre les événements et tirer des conclusions sur ce qui se passe.
Une telle solution n'a pas pu être mise à l'échelle et distribuée à toutes les cartes. Par conséquent, nous avons développé une variante avec des événements communs à toutes les cartes.Deuxième essai
Toutes les cartes contiennent des événements courants, tels que des clics, des dragues ou des valeurs d'entrée dans les entrées. Un composant spécial a été créé qui suit ces événements élémentaires et les envoie au serveur.Exemples de ces événements et des données supplémentaires qu'ils contiennent:- clic - (x, y) - coordonnées du clic, classe css et texte de l'élément cliqué
- entrée à entrée - valeur entrée, vraie ou non
- début du glissement - coordonnées, texte de l'élément glissé
- fin de la drague - de mĂŞme
Le composant de suivi des actions est inclus dans la carte sur une seule ligne et ne nécessite pas d'efforts supplémentaires de la part des programmeurs et testeurs JS. La composante a été ajoutée aux cartes mathématiques des niveaux 5 à 9.Je vais donner quelques exemples de ce qui a été découvert en utilisant les données collectées de cette manière.Tambour
Comme exemple de raffinement de l'interface de tâche, vous pouvez apporter l'élément "tambour", qui est utilisé dans certaines cartes. Les enfants cliquent sur les flèches et modifient les options de réponse jusqu'à ce qu'ils trouvent la bonne. Le changement d'options est animé - le tambour défile vers le haut ou vers le bas.
Une tâche avec un élément de tambourLa carte de clics d'une telle tâche devrait contenir de nombreux clics dans la région des flèches triangulaires. Cependant, tous ces clics ne se sont pas révélés être les mêmes - il y avait deux types différents de classes CSS. L'expérience sur la carte a montré que différentes valeurs correspondent à l'état cliquable et non cliquable des flèches. Un état non cliquable apparaît pendant l'animation de défilement.Nous avons constaté des clics sur les flèches bloquées chez 85% à 90% des élèves. Autrement dit, les enfants ont souvent cherché à cliquer à nouveau sur la flèche avant la fin de l'animation de défilement. La carte a ignoré ces clics. L'animation à cette époque a duré 800 ms, mais certains enfants ont réussi à faire un nouveau clic après 100-200 ms.
Puis j'ai senti à quel point le bouton inactif agaçait les enfants.Pour rendre l'interface plus réactive, nous avons considérablement accéléré le défilement. Cette accélération a été étendue à toutes les cartes avec des "rouleaux".Décharges
En plus de très petites actions atomiques, comme les cliques, nous pouvons étudier ce que les enfants donnent et quelles erreurs ils font.Par exemple, dans l'une des affectations, les élèves de sixième année répètent les noms des chiffres d'un nombre et apprennent à reconnaître les dixièmes et les centièmes. Voici un exemple de tâche où les enfants doivent marquer un chiffre dans une catégorie donnée.
La tâche de déterminer les chiffres aujourd'hui ressemble à ceci.Ici, sur la carte des clics, nous avons vu des clics sur des rectangles avec des nombres. Par les coordonnées du clic, vous pouvez comprendre sur lequel des nombres l'étudiant a cliqué. Il convient également de tenir compte du fait que le premier clic sur un numéro le sélectionne et que le second clic supprime le choix. Ensuite, à partir du journal des événements, vous pouvez déduire les catégories choisies par l'étudiant avant de cliquer sur le bouton «Terminer».Lors de la première rencontre avec cette tâche, environ un tiers des enfants s'y sont trompés. Certains, comme prévu, ont confondu les dixièmes et les dizaines, mais d'autres erreurs étaient plus surprenantes. Par exemple, 7% des enfants ont noté des dizaines et des dizaines de milliers. Un autre 5% - ajouté à fond à cette liste également des dixièmes. 1,5% des enfants ont noté tous les chiffres en général.L'interface de tâche a été modifiée pour permettre la sélection d'un seul chiffre - lorsque vous cliquez sur un nouveau chiffre, la sélection du précédent est supprimée. Dans la nouvelle version du devoir, le pourcentage d'erreurs a diminué à 20%, et les élèves peuvent mieux comprendre que le nom de la catégorie est clairement en corrélation avec la position du chiffre dans le numéro d'enregistrement.Fraction
Un autre exemple est une tâche qui présente aux enfants la propriété principale des fractions ordinaires. Au début du devoir, les élèves ont une illustration où la fraction est représentée par un chiffre partiellement rempli.
Ainsi, le début de la tâche a semblé plus tôt. Lesenfants doivent indiquer quelle partie de la figure est peinte. 88% des enfants font face à cette étape sans erreur, en écrivant au numérateur "3". 9% des élèves écrivent «1»: ils aiment probablement le gris plus que le vert. Un autre 3% des enfants écrivent «4» - enfin, en fait, parce que toutes ces parties ne sont pas blanches!Dans la version révisée de la carte, la question a été modifiée et son nouveau libellé est «Quelle partie est verte?» En conséquence, le nombre d'erreurs a diminué trois fois, maintenant 96% des enfants accèdent désormais au contenu principal de la carte, sans trébucher ici à l'improviste.Résultats de la deuxième tentative
Nous avons reçu des informations intéressantes et apporté des améliorations utiles. Mais cette façon d'enquêter sur les événements nécessite un travail très minutieux de l'analyste. Pour convertir une séquence de clics en un cours compréhensible d'une solution, vous devez d'abord étudier la disposition de la carte et comprendre quel élément a un clic spécifique. Deuxièmement, pour comprendre la logique du travail - où l'étudiant sélectionne un élément, où il retire le choix, où il réorganise les éléments par endroits. En fait, vous devez dupliquer littéralement les fonctionnalités de la carte.Bien entendu, au cours de ces investigations, des fonctions sont progressivement développées pour le traitement de la mécanique standard (par exemple, «choisir une option dans une rangée située horizontalement»). Mais malgré tout, les tâches sont si diverses qu'il est impossible d'automatiser complètement ce processus. De plus, le plus souvent, l'étude d'une carte spécifique se termine par la conclusion «tout se passe comme prévu» - les erreurs chez les enfants sont à peu près les mêmes que prévu, et il n'y a pas de difficultés avec l'interface non plus. Ceci, d'une part, indique le bon travail de l'équipe produit, mais d'autre part, cela peut démotiver, car il semble que leurs propres efforts ont été gaspillés.À l'aide d'événements élémentaires, nous avons étudié les réponses que les enfants donnent et comment ils arrivent à leur réponse. Connaître les réponses des étudiants est pertinent dans toutes les tâches, mais en raison de la grande variété de mécanismes, il est très difficile de restaurer les réponses à partir d'une séquence de petits événements. Cela a conduit à l'idée de créer un événement distinct "l'étudiant a donné une réponse."Quels journaux collectons-nous maintenant et que donnent-ils
Chaque fois que la carte vérifie la réponse de l’élève, nous envoyons un événement contenant des informations sur la réponse. L'événement contient les informations suivantes:- réponse correcte ou incorrecte
- la réponse elle-même, c'est-à -dire l'état actuel des éléments actifs de la carte (ce qui est entré dans l'entrée, lequel des boutons radio est sélectionné, quels points sont marqués sur le plan, et ainsi de suite, selon la tâche en cours)
- facultatif - à quel stade de la tâche l'étudiant est-il maintenant
Il est important que, dans le code de la carte, il y ait évidemment une vérification de la réponse de l’élève et que tout le statut en ce moment soit connu. Il ne reste plus qu'à ajouter une ligne envoyant cette réponse au serveur. Autrement dit, dans cette option, il n'est pas nécessaire de dupliquer la logique de la carte, ce qui a créé tant de difficultés à l'étape précédente.Des informations sur l'étape de la tâche sont nécessaires dans les cartes à passage non linéaire. Par exemple, un élève peut avoir le choix - écrivez tout de suite la réponse au problème ou résolvez-le par étapes.Les statistiques accumulées de tels événements nous donnent:- Carte du mouvement des étudiants dans les étapes du devoir. Nous comprenons quelles étapes sont faciles pour les enfants et dans lesquelles ils ont des difficultés.
- Statistiques des réponses de chaque étape. Cela aide à voir quel genre d'erreurs les élèves font.
Les événements ayant un seul format, leur traitement automatique est possible. Maintenant, après avoir sorti une nouvelle carte, nous pouvons déjà voir le lendemain dans une application spéciale comment les enfants font face aux tâches.
Des fautes d'orthographe typiques sont évidentes.Nous incluons les événements avec des réponses dans toutes les nouvelles cartes, et les ajoutons également aux anciennes au fur et à mesure de leur finalisation. Désormais, tous les employés impliqués dans le processus d'affectation peuvent voir facilement ce qui est donné aux étudiants et ce qui cause des difficultés.