Cada nueva lección en la plataforma es el resultado del trabajo conjunto de metodólogos, diseñadores, ilustradores, programadores y probadores. Las nuevas tareas generalmente se prueban en las escuelas, donde los metodólogos pueden observar cuánto entienden a los estudiantes, recopilar comentarios y comentarios. Pero algunos problemas en muestras pequeñas pueden pasar desapercibidos. Y aquí el estudio de las acciones detalladas de los estudiantes viene al rescate: dónde hicieron clic, qué números ingresaron, qué respuesta eligieron. Las acciones de los niños dentro de las tareas proporcionan información valiosa que nos permite mejorar nuestra plataforma para hacer que el aprendizaje sea más conveniente y comprensible. Las mejoras pueden relacionarse tanto con la interfaz de la tarea como con la redacción de explicaciones y preguntas.
Lo que sabemos y lo que no.
Para todas las tareas, tenemos disponibles los eventos "el estudiante comenzó a resolver la tarea", "la tarea se completó, la decisión es correcta", "la tarea se completó, hubo errores". Cada sesión de la solución deja un registro de tales eventos, en base al cual podemos averiguar cuántos niños cometen errores en la tarea y cuánto tiempo pasan en la solución.
Este es un ejemplo de estadísticas para una tarea específica. Los gráficos de la izquierda muestran el número de decisiones correctas e incorrectas y el porcentaje de errores. El lado derecho muestra la distribución del tiempo requerido para que los estudiantes resuelvan tareas.Algunos términos. . , , . — ( . chunk — , ), — .
A veces surgen preguntas para algunas tareas, por ejemplo, ¿por qué los niños las dejan con más frecuencia que otras sin completarlas? ¿Por qué pasan tanto tiempo en una tarea aparentemente simple? ¿Por qué en una serie de tareas del mismo tipo la proporción de errores difiere varias veces?Para responder a estas preguntas, debemos mirar dentro de la solución, para ver no solo el resultado “verdadero / falso”, sino también las acciones que lo llevaron a ello. ¿Qué error específico comete el alumno? ¿Cómo se forma su respuesta? Aquí es donde el análisis de acción viene al rescate.Primeros intentos
En sus primeros intentos de realizar dicho análisis, los programadores de JS modificaron el código de las primeras tarjetas del curso de matemáticas de primera clase. En cada tarjeta, se agregaron eventos adicionales, propios para cada tipo de tarea.Por ejemplo, tenemos tareas para resolver ejemplos con el esquema de "cubos". Luego, el niño debe hacer clic en el cubo, que explotará a partir de esto. Luego debes calcular cuántos dados quedan y anotar la respuesta.
Entonces, la tarea de sustracción se ve primero.
Después de que el estudiante "explota" el cubo, debe ingresar la respuesta en la ventana.En tareas de este tipo, se agregaron eventos como "activar la actuación de voz de la tarea", "hacer clic en el cubo número i", "ingresar el número en la entrada" .Resultó que más de la mitad de las decisiones incorrectas son respuestas absolutamente correctas: número 6. El "error" consistió en hacer clic en el dado incorrecto: era imposible reventar un solo dado, excepto el último, y hacer clic en ellos era considerado un error por la carta. Corregimos esta lógica, y ahora hacer clic en otros cubos no se considera un error. Como resultado, el porcentaje de finalización de tareas sin errores aumentó del 65% al 75%, y los alumnos de primer grado ya no tienen que adivinar qué hicieron mal.
El gráfico muestra cuánto ha disminuido el número de pases sin éxito de la tarjeta, que incluye la tarea revisada.Esta forma de trabajar permitió comprender bien los detalles de la resolución de las tareas de los niños, pero resultó ser muy lento:- El programador de JS debe modificar la tarjeta agregando el envío de los eventos necesarios.
- El probador debe verificar que los cambios no estropearon la funcionalidad de la tarjeta.
- El analista debe obtener los registros de decisiones, comprender los eventos y sacar conclusiones sobre lo que está sucediendo.
Tal solución no se pudo escalar y distribuir a todas las tarjetas. Por lo tanto, desarrollamos una variante con eventos comunes a todas las tarjetas.Segundo intento
Todas las tarjetas contienen eventos comunes, como clics, dragas o valores de entrada en las entradas. Se ha creado un componente especial que rastrea estos eventos elementales y los envía al servidor.Ejemplos de estos eventos y los datos adicionales que contienen:- click - (x, y) - coordenadas de clic, clase css y texto del elemento cliqueado
- entrada a entrada - valor ingresado, verdadero o no
- inicio de arrastre: coordenadas, texto del elemento arrastrado
- final de dragado - de manera similar
El componente de seguimiento de acciones se incluye en la tarjeta en una línea y no requiere esfuerzos adicionales de los programadores y probadores de JS. El componente se agregó a las tarjetas de matemáticas de los grados 5–9.Daré algunos ejemplos de lo que se descubrió utilizando los datos recopilados de esta manera.Tambor
Como ejemplo de refinamiento de la interfaz de la tarea, puede traer el elemento "drum", que se usa en algunas tarjetas. Los niños hacen clic en las flechas y cambian las opciones de respuesta hasta encontrar la correcta. El cambio de opciones es animado: el tambor se desplaza hacia arriba o hacia abajo.
Una tarea con un elemento de tamborSe espera que el mapa de clics de dicha tarea contenga muchos clics en el área de las flechas triangulares. Sin embargo, no todos estos clics resultaron iguales: había dos tipos diferentes de clases CSS. El experimento en la tarjeta mostró que diferentes valores corresponden al estado de las flechas que se puede hacer clic y no hacer clic. Aparece un estado sin clics durante la animación de desplazamiento de desplazamiento.Encontramos clics en flechas bloqueadas en el 85% -90% de los estudiantes. Es decir, los niños a menudo intentaban hacer clic en la flecha nuevamente antes de que finalizara la animación de desplazamiento. La tarjeta ignoró tales clics. La animación en ese momento duró 800 ms, pero algunos niños lograron hacer un nuevo clic después de 100-200 ms.
Entonces sentí cómo el botón inactivo molestaba a los niños.Para hacer que la interfaz sea más receptiva, aceleramos significativamente el desplazamiento. Dicha aceleración se extendió a todas las cartas con "carretes".Descargas
Además de acciones atómicas muy pequeñas, como las camarillas, podemos estudiar qué respuestas dan los niños y qué errores cometen.Por ejemplo, en una de las tareas, los alumnos de sexto grado repiten los nombres de los dígitos de un número y aprenden a reconocer décimos y centésimos. Aquí hay un ejemplo de una tarea donde los niños necesitan marcar un dígito en una categoría dada.
La tarea de determinar los dígitos hoy se ve así:aquí, en el mapa de clics, vimos clics en rectángulos con números. Mediante las coordenadas del clic, puede comprender en qué números hizo clic el alumno. También debe tenerse en cuenta que el primer clic en un número lo selecciona y el segundo clic elimina la elección. Luego, desde el registro de eventos, puede deducir qué categorías eligió el alumno antes de hacer clic en el botón "Finalizar".En la primera reunión con esta tarea, aproximadamente un tercio de los niños cometieron un error. Algunos de ellos, como era de esperar, confundieron las décimas y las docenas, pero otros errores fueron más sorprendentes. Por ejemplo, el 7% de los niños notó decenas y decenas de miles. Otro 5% - agregado completamente a esta lista también décimas. El 1,5% de los niños anotó todas las cifras en general.La interfaz de la tarea se ha modificado para permitir que solo se seleccione un dígito: al hacer clic en un nuevo dígito, se elimina la selección del anterior. En la nueva versión de la tarea, el porcentaje de errores disminuyó al 20%, y los estudiantes pueden comprender mejor que el nombre de la categoría se correlaciona claramente con la posición del dígito en el número de registro.Fracción
Otro ejemplo es una tarea que presenta a los niños la propiedad principal de las fracciones ordinarias. Al comienzo de la tarea, a los estudiantes se les muestra una ilustración donde la fracción está representada por una figura parcialmente llena.
Así que el comienzo de la tarea parecía anterior: losniños deben indicar sobre qué parte de la figura está pintada. El 88% de los niños hacen frente a esta etapa sin errores, escribiendo en el numerador "3". El 9% de los estudiantes escribe "1": probablemente les gusta más el gris que el verde. Otro 3% de los niños escribe "4", bueno, de hecho, ¡porque todas estas partes no son blancas!En la versión revisada de la tarjeta, la pregunta cambió y su nueva redacción es "¿Qué parte es verde?" Como resultado, el número de errores ha disminuido tres veces, ahora el 96% de los niños ahora van al contenido principal de la tarjeta, sin tropezar aquí de la nada.Resultados del segundo intento
Recibimos información interesante e hicimos mejoras útiles. Pero esta forma de investigar eventos requiere un trabajo muy minucioso por parte del analista. Para convertir una secuencia de clics en un curso comprensible de una solución, primero necesita estudiar el diseño de la tarjeta y comprender qué elemento tiene un clic específico. En segundo lugar, para comprender la lógica del trabajo: donde el alumno selecciona algún elemento, donde elimina la elección, donde reorganiza los elementos en lugares. De hecho, tienes que duplicar literalmente la funcionalidad de la tarjeta.Por supuesto, en el curso de tales investigaciones, las funciones se desarrollan gradualmente para procesar la mecánica estándar (por ejemplo, "elegir una opción de una fila ubicada horizontalmente"). Pero aún así, las tareas son tan diversas que es imposible automatizar completamente este proceso. Además, la mayoría de las veces el estudio de una tarjeta en particular termina con la conclusión "todo va según lo planeado": los errores en los niños son casi los mismos que se esperaban, las dificultades con la interfaz tampoco son visibles. Esto, por un lado, indica el buen trabajo del equipo de producto, pero por otro lado, puede desmotivar, ya que parece que sus propios esfuerzos se han desperdiciado.Usando eventos elementales, estudiamos qué respuestas dan los niños y cómo llegan a su respuesta. Conocer las respuestas de los estudiantes es relevante en cualquier tarea, pero debido a la gran variedad de mecanismos, es muy difícil restaurar las respuestas de una secuencia de pequeños eventos. Esto llevó a la idea de crear un evento separado "el estudiante dio una respuesta".¿Qué registros estamos recopilando ahora y qué dan?
Cada vez que la tarjeta verifica la respuesta del estudiante, enviamos un evento con información sobre la respuesta. El evento contiene la siguiente información:- respuesta correcta o incorrecta
- la respuesta en sí, es decir, el estado actual de los elementos activos de la tarjeta (lo que se ingresa en la entrada, cuál de los botones de opción está seleccionado, qué puntos están marcados en el plano, etc., según la tarea actual)
- opcional - en qué etapa de la tarea se encuentra el estudiante ahora
Es importante que en el código de la tarjeta, obviamente, se verifique la respuesta del alumno y se conozca todo el estado en este momento. Todo lo que queda es agregar una línea que envíe esta respuesta al servidor. Es decir, en esta opción, no hay necesidad de duplicar la lógica de la tarjeta, lo que creó tantas dificultades en la etapa anterior.Se necesita información sobre la etapa de la tarea en tarjetas con pasaje no lineal. Por ejemplo, un estudiante puede tener una opción: escriba la respuesta al problema de inmediato o resuélvala en pasos.Las estadísticas acumuladas de tales eventos nos dan:- Mapa del movimiento de estudiantes en las etapas de la tarea. Entendemos qué etapas son fáciles para los niños y en qué tienen dificultades.
- Estadísticas de respuestas de cada etapa. Ayuda a ver qué tipo de errores cometen los estudiantes.
Como los eventos tienen un formato único, es posible su procesamiento automático. Ahora, después de haber lanzado una nueva tarjeta, ya podemos ver al día siguiente en una aplicación especial cómo los niños hacen frente a las tareas.
Los errores de ortografía típicos son evidentes.Incluimos eventos con respuestas en todas las tarjetas nuevas, y también las agregamos a las antiguas a medida que se finalizan. Ahora todos los empleados involucrados en el proceso de asignación pueden ver lo que se les da a los estudiantes fácilmente y lo que causa dificultades.