Jede neue Lektion auf der Plattform ist das Ergebnis der gemeinsamen Arbeit von Methodologen, Designern, Illustratoren, Programmierern und Testern. Neue Aufgaben werden normalerweise in Schulen getestet, in denen Methodologen beobachten können, wie gut sie Schüler verstehen, Feedback und Feedback sammeln können. Einige Probleme in kleinen Proben können jedoch unbemerkt bleiben. Und hier kommt das Studium der detaillierten Aktionen der Schüler zur Rettung - wo sie geklickt haben, welche Zahlen sie eingegeben haben, welche Antwort sie gewählt haben. Die Aktionen von Kindern innerhalb der Aufgaben liefern wertvolle Informationen, die es uns ermöglichen, unsere Plattform zu verbessern, um das Lernen bequemer und verständlicher zu machen. Verbesserungen können sich sowohl auf die Aufgabenoberfläche als auch auf den Wortlaut von Erklärungen und Fragen beziehen.
Was wir wissen und was nicht
Für alle Aufgaben stehen die Ereignisse „Der Schüler hat begonnen, die Aufgabe zu lösen“, „Die Aufgabe ist erledigt, die Entscheidung ist richtig“, „Die Aufgabe ist erledigt, es gab Fehler“ zur Verfügung. Jede Sitzung der Lösung hinterlässt ein Protokoll solcher Ereignisse, anhand dessen wir herausfinden können, wie viele Kinder Fehler in der Aufgabe machen und wie viel Zeit sie für die Lösung aufwenden.
Dies ist ein Beispiel für Statistiken für eine bestimmte Aufgabe. Die Grafiken links zeigen die Anzahl der richtigen und falschen Entscheidungen und den Prozentsatz der Fehler. Die rechte Seite zeigt die Verteilung der Zeit, die die Schüler benötigen, um Aufgaben zu lösen.Einige Begriffe. . , , . — ( . chunk — , ), — .
Manchmal stellen sich für einige Aufgaben Fragen - zum Beispiel, warum verlassen Kinder sie häufiger als andere, ohne sie zu erledigen? Warum verbringen sie so viel Zeit mit einer scheinbar einfachen Aufgabe? Warum unterscheidet sich bei einer Reihe von Aufgaben des gleichen Typs der Fehleranteil mehrmals?Um solche Fragen zu beantworten, müssen wir in die Lösung schauen - um nicht nur das Ergebnis „wahr / falsch“ zu sehen, sondern auch die Aktionen, die dazu geführt haben. Welchen konkreten Fehler macht der Schüler? Wie formt er seine Antwort? Hier hilft die Aktionsanalyse.Erste Versuche
Bei ihren ersten Versuchen, eine solche Analyse durchzuführen, haben JS-Programmierer den Code der ersten Karten aus dem erstklassigen Mathematikkurs geändert. In jeder Karte wurden zusätzliche Ereignisse hinzugefügt, die für jede Art von Aufgabe ihre eigenen sind.Zum Beispiel haben wir Aufgaben zum Lösen von Beispielen mit dem Schema "Würfel". Dann muss das Kind auf den Würfel klicken, der daraus platzt. Dann müssen Sie berechnen, wie viele Würfel noch übrig sind, und die Antwort aufschreiben.
Die Aufgabe für die Subtraktion sieht also zuerst aus.
Nachdem der Schüler den Würfel „geplatzt“ hat, muss er die Antwort in das Fenster eingeben.Bei Aufgaben dieser Art wurden Ereignisse hinzugefügt, z. B. „Sprachausgabe der Aufgabe aktiviert“, „Würfel Nummer i angeklickt“, „Nummer in die Eingabe eingegeben“. .Es stellte sich heraus, dass mehr als die Hälfte der falschen Entscheidungen absolut richtige Antworten sind: Nummer 6. Der „Fehler“ bestand darin, auf den falschen Würfel zu klicken: Es war unmöglich, einen einzelnen Würfel außer dem letzten zu platzen, und das Klicken darauf wurde von der Karte als Fehler angesehen. Wir haben diese Logik korrigiert, und jetzt wird das Klicken auf andere Würfel nicht als Fehler angesehen. Infolgedessen stieg der Prozentsatz der fehlerfreien Erledigung von Aufgaben von 65% auf 75%, und Erstklässler müssen nicht mehr raten, was sie falsch gemacht haben.
Die Grafik zeigt, um wie viel die Anzahl der erfolglosen Durchgänge der Karte, einschließlich der überarbeiteten Aufgabe, abgenommen hat.Diese Arbeitsweise ermöglichte es, die Details der Lösung von Kinderaufgaben gut zu verstehen, stellte sich jedoch als sehr zeitaufwändig heraus:- Der JS-Programmierer muss die Karte ändern, indem er das Senden der erforderlichen Ereignisse hinzufügt.
- Der Tester muss überprüfen, ob die Änderungen die Funktionalität der Karte nicht beeinträchtigt haben.
- Der Analyst muss die Entscheidungsprotokolle abrufen, die Ereignisse verstehen und Schlussfolgerungen darüber ziehen, was passiert.
Eine solche Lösung konnte nicht skaliert und auf alle Karten verteilt werden. Aus diesem Grund haben wir eine Variante mit Ereignissen entwickelt, die allen Karten gemeinsam sind.Zweiter Versuch
Alle Karten enthalten allgemeine Ereignisse wie Klicks, Bagger oder Eingabewerte für Eingaben. Es wurde eine spezielle Komponente erstellt, die diese elementaren Ereignisse verfolgt und an den Server sendet.Beispiele für diese Ereignisse und die darin enthaltenen zusätzlichen Daten:- click - (x, y) - Klickkoordinaten, CSS-Klasse und Text des angeklickten Elements
- Eingabe zu Eingabe - eingegebener Wert, wahr oder nicht
- Beginn des Ziehens - Koordinaten, Text des gezogenen Elements
- Ende des Baggers - ähnlich
Die Aktionsverfolgungskomponente ist in einer Zeile in der Karte enthalten und erfordert keine zusätzlichen Anstrengungen von JS-Programmierern und -Testern. Die Komponente wurde zu Mathematikkarten der Klassen 5 bis 9 hinzugefügt.Ich werde einige Beispiele dafür geben, was mit den auf diese Weise gesammelten Daten entdeckt wurde.Trommel
Als Beispiel für die Verfeinerung der Task-Oberfläche können Sie das Element "drum" mitbringen, das in einigen Karten verwendet wird. Kinder klicken auf die Pfeile und ändern die Antwortoptionen, bis sie die richtige finden. Die Änderung der Optionen wird animiert - die Trommel rollt nach oben oder unten.
Eine Aufgabe mit einem Drum-ElementEs wird erwartet, dass die Klickkarte einer solchen Aufgabe viele Klicks im Bereich der dreieckigen Pfeile enthält. Es stellte sich jedoch heraus, dass nicht alle dieser Klicks gleich waren - es gab zwei verschiedene Arten von CSS-Klassen. Das Experiment auf der Karte zeigte, dass unterschiedliche Werte dem anklickbaren und nicht anklickbaren Zustand der Pfeile entsprechen. Während der Scroll-Scroll-Animation wird ein nicht anklickbarer Status angezeigt.Wir fanden bei 85% -90% der Schüler Klicks auf blockierte Pfeile. Das heißt, Kinder haben oft versucht, erneut auf den Pfeil zu klicken, bevor die Bildlaufanimation beendet wurde. Die Karte ignorierte solche Klicks. Die Animation dauerte zu dieser Zeit 800 ms, aber einige Kinder konnten nach 100-200 ms einen neuen Klick machen.
Dann spürte ich, wie die inaktive Schaltfläche die Kinder ärgerte.Um die Benutzeroberfläche reaktionsfähiger zu machen, haben wir das Scrollen erheblich beschleunigt. Diese Beschleunigung wurde auf alle Karten mit "Walzen" ausgedehnt.Entladungen
Neben sehr kleinen atomaren Aktionen wie Cliquen können wir untersuchen, welche Antworten Kinder geben und welche Fehler sie machen.Beispielsweise wiederholen Sechstklässler in einer der Aufgaben die Namen der Ziffern einer Zahl und lernen, Zehntel und Hundertstel zu erkennen. Hier ist ein Beispiel für eine Aufgabe, bei der Kinder eine Ziffer in einer bestimmten Kategorie markieren müssen.
Die Aufgabe, die Ziffern heute zu bestimmen, sieht folgendermaßen aus:Hier auf der Klickkarte haben wir Klicks auf Rechtecke mit Zahlen gesehen. An den Koordinaten des Klicks können Sie erkennen, auf welche der Zahlen der Schüler geklickt hat. Es sollte auch berücksichtigt werden, dass der erste Klick auf eine Zahl diese auswählt und der zweite Klick die Auswahl aufhebt. Anschließend können Sie aus dem Ereignisprotokoll ableiten, welche Kategorien der Schüler ausgewählt hat, bevor Sie auf die Schaltfläche „Fertig stellen“ klicken.Beim ersten Treffen mit dieser Aufgabe hat etwa ein Drittel der Kinder einen Fehler gemacht. Einige von ihnen verwirrten erwartungsgemäß die Zehntel und Dutzende, aber andere Fehler waren überraschender. Zum Beispiel gaben 7% der Kinder sowohl Zehntausende als auch Zehntausende an. Weitere 5% - gründlich zu dieser Liste hinzugefügt auch Zehntel. 1,5% der Kinder notierten alle Zahlen im Allgemeinen.Die Aufgabenoberfläche wurde so geändert, dass nur eine Ziffer ausgewählt werden kann. Wenn Sie auf eine neue Ziffer klicken, wird die Auswahl aus der vorherigen entfernt. In der neuen Version der Aufgabe verringerte sich der Prozentsatz der Fehler auf 20%, und die Schüler können besser verstehen, dass der Name der Kategorie eindeutig mit der Position der Ziffer in der Datensatznummer korreliert.Fraktion
Ein weiteres Beispiel ist eine Aufgabe, die Kindern die Haupteigenschaft gewöhnlicher Brüche näher bringt. Zu Beginn der Aufgabe wird den Schülern eine Abbildung gezeigt, in der der Bruch durch eine teilweise ausgefüllte Zahl dargestellt wird.
Der Beginn der Aufgabe sah also früher aus.Kinder sollten angeben, welcher Teil der Figur übermalt ist. 88% der Kinder bewältigen diese Phase fehlerfrei und schreiben in den Zähler "3". 9% der Schüler schreiben "1": Sie mögen wahrscheinlich mehr Grau als Grün. Weitere 3% der Kinder schreiben "4" - na ja, weil all diese Teile nicht weiß sind!In der überarbeiteten Version der Karte wurde die Frage geändert und der neue Wortlaut lautet "Welcher Teil ist grün?". Infolgedessen hat sich die Anzahl der Fehler verdreifacht, jetzt gehen 96% der Kinder zum Hauptinhalt der Karte, ohne hier aus heiterem Himmel zu stolpern.Ergebnisse des zweiten Versuchs
Wir haben interessante Informationen erhalten und nützliche Verbesserungen vorgenommen. Diese Art der Untersuchung von Ereignissen erfordert jedoch eine sehr sorgfältige Arbeit des Analytikers. Um eine Folge von Klicks in einen verständlichen Verlauf einer Lösung umzuwandeln, müssen Sie zunächst das Layout der Karte untersuchen und verstehen, welches Element einen bestimmten Klick hat. Zweitens, um die Logik der Arbeit zu verstehen - wo der Schüler ein Element auswählt, wo er die Auswahl aufhebt, wo er die Elemente an bestimmten Stellen neu anordnet. In der Tat müssen Sie die Funktionalität der Karte buchstäblich duplizieren.Natürlich werden im Rahmen solcher Untersuchungen schrittweise Funktionen für die Verarbeitung der Standardmechanik entwickelt (z. B. „Auswahl einer Option aus einer horizontal angeordneten Reihe“). Trotzdem sind die Aufgaben so vielfältig, dass es unmöglich ist, diesen Prozess vollständig zu automatisieren. Darüber hinaus endet das Studium einer bestimmten Karte meistens mit der Schlussfolgerung „Alles läuft nach Plan“ - die Fehler bei Kindern sind ungefähr gleich wie erwartet, die Schwierigkeiten mit der Benutzeroberfläche sind ebenfalls nicht sichtbar. Dies zeigt einerseits die gute Arbeit des Produktteams an, andererseits kann es demotivieren, da es den Anschein hat, dass ihre eigenen Anstrengungen verschwendet wurden.Anhand elementarer Ereignisse haben wir untersucht, welche Antworten Kinder geben und wie sie zu ihrer Antwort kommen. Die Antworten der Schüler zu kennen, ist für alle Aufgaben relevant, aber aufgrund der großen Vielfalt an Mechaniken ist es sehr schwierig, Antworten aus einer Folge kleiner Ereignisse wiederherzustellen. Dies führte zu der Idee, eine separate Veranstaltung zu erstellen, "der Student gab eine Antwort".Welche Protokolle sammeln wir jetzt und was geben sie
Jedes Mal, wenn die Karte die Antwort des Schülers überprüft, senden wir eine Veranstaltung mit Informationen zur Antwort. Die Veranstaltung enthält folgende Informationen:- richtige Antwort oder falsch
- die Antwort selbst, dh der aktuelle Status der aktiven Elemente der Karte (was in der Eingabe eingegeben wird, welches der Optionsfelder ausgewählt ist, welche Punkte in der Ebene markiert sind usw., abhängig von der aktuellen Aufgabe)
- optional - in welcher Phase der Aufgabe befindet sich der Schüler jetzt?
Es ist wichtig, dass im Code der Karte offensichtlich die Antwort des Schülers überprüft wird und der aktuelle Status bekannt ist. Sie müssen lediglich eine Zeile hinzufügen, die diese Antwort an den Server sendet. Das heißt, bei dieser Option muss die Logik der Karte nicht dupliziert werden, was in der vorherigen Phase zu so vielen Schwierigkeiten geführt hat.Informationen über die Aufgabenstufe werden bei Karten mit nichtlinearer Passage benötigt. Zum Beispiel kann ein Schüler die Wahl haben - schreiben Sie die Antwort auf das Problem sofort auf oder lösen Sie sie schrittweise.Die gesammelten Statistiken solcher Ereignisse geben uns:- Karte der Bewegung der Schüler in den Phasen der Aufgabe Wir verstehen, welche Stadien für Kinder einfach sind und in welchen Schwierigkeiten sie haben.
- Statistik der Antworten aus jeder Phase. Es hilft zu sehen, welche Fehler die Schüler machen.
Da Ereignisse ein einziges Format haben, ist ihre automatische Verarbeitung möglich. Nachdem wir nun eine neue Karte veröffentlicht haben, können wir bereits am nächsten Tag in einer speziellen Anwendung sehen, wie Kinder mit Aufgaben umgehen.
Typische Rechtschreibfehler sind vorhanden. Wir fügen Ereignisse mit Antworten in alle neuen Karten ein und fügen sie den alten hinzu, sobald sie abgeschlossen sind. Jetzt können alle am Zuweisungsprozess beteiligten Mitarbeiter leicht erkennen, was den Schülern gegeben wird und was Schwierigkeiten verursacht.