Setiap pelajaran baru pada platform adalah hasil kerja bersama para ahli metodologi, perancang, ilustrator, programmer dan penguji. Tugas baru biasanya diuji di sekolah, di mana para ahli metodologi dapat mengamati seberapa banyak mereka memahami siswa, mengumpulkan umpan balik dan umpan balik. Tetapi beberapa masalah dalam sampel kecil mungkin tidak diperhatikan. Dan di sini studi tentang tindakan terperinci para siswa datang untuk menyelamatkan - di mana mereka mengklik, nomor apa yang mereka masukkan, jawaban apa yang mereka pilih. Tindakan anak-anak di dalam tugas memberikan informasi berharga yang memungkinkan kami untuk meningkatkan platform kami untuk menjadikan pembelajaran lebih nyaman dan mudah dipahami. Perbaikan dapat berhubungan dengan antarmuka tugas dan kata-kata penjelasan dan pertanyaan.
Apa yang kita ketahui dan apa yang tidak
Untuk semua tugas, kami telah tersedia acara "siswa mulai menyelesaikan tugas", "tugas selesai, keputusan sudah benar", "tugas selesai, ada kesalahan". Setiap sesi dari solusi meninggalkan catatan kejadian-kejadian seperti itu, atas dasar di mana kita dapat mengetahui berapa banyak anak melakukan kesalahan dalam tugas dan berapa banyak waktu yang mereka habiskan untuk solusi.
Ini adalah contoh statistik untuk tugas tertentu. Grafik di sebelah kiri menunjukkan jumlah keputusan yang benar dan salah dan persentase kesalahan. Sisi kanan menunjukkan distribusi waktu yang diperlukan bagi siswa untuk menyelesaikan tugas.Beberapa istilah. . , , . — ( . chunk — , ), — .
Terkadang timbul pertanyaan untuk beberapa tugas - misalnya, mengapa anak-anak lebih sering meninggalkannya daripada yang lain tanpa menyelesaikannya? Mengapa mereka menghabiskan begitu banyak waktu untuk beberapa tugas yang tampaknya sederhana? Mengapa dalam serangkaian tugas dengan jenis yang sama proporsi kesalahan berbeda beberapa kali?Untuk menjawab pertanyaan seperti itu, kita perlu melihat ke dalam solusi - untuk melihat tidak hanya hasil "benar / salah", tetapi juga tindakan yang mengarah ke sana. Kesalahan spesifik apa yang dilakukan siswa? Bagaimana dia membentuk jawabannya? Di sinilah analisis tindakan datang untuk menyelamatkan.Upaya pertama
Dalam upaya pertama mereka untuk melakukan analisis seperti itu, programmer JS memodifikasi kode kartu pertama dari kursus matematika kelas satu. Di setiap kartu, acara tambahan ditambahkan, masing-masing untuk masing-masing jenis tugas.Misalnya, kami memiliki tugas untuk menyelesaikan contoh dengan skema "kubus". Maka anak harus mengklik pada kubus, yang akan meledak dari ini. Maka Anda perlu menghitung berapa banyak dadu yang tersisa dan menuliskan jawabannya.
Jadi tugas untuk pengurangan terlihat terlebih dahulu.
Setelah siswa "meledakkan" kubus, ia harus memasukkan jawaban ke dalam jendela.Dalam tugas jenis ini peristiwa ditambahkan seperti "menyalakan suara akting tugas", "mengklik nomor kubus i", "memasukkan nomor ke dalam input" .Ternyata lebih dari setengah dari keputusan yang salah adalah jawaban yang benar-benar benar: nomor 6. "Kesalahan" terdiri dari mengklik die yang salah: tidak mungkin meledak satu die kecuali yang terakhir, dan mengkliknya dianggap kesalahan oleh kartu. Kami memperbaiki logika ini, dan sekarang mengklik kubus lain tidak dianggap sebagai kesalahan. Akibatnya, persentase penyelesaian bebas kesalahan dari tugas meningkat dari 65% menjadi 75%, dan siswa kelas satu tidak lagi harus menebak apa yang mereka lakukan salah.
Grafik menunjukkan seberapa banyak jumlah lintasan kartu yang gagal, yang mencakup tugas yang direvisi, telah menurun.Cara kerja ini memungkinkan untuk memahami dengan baik rincian penyelesaian tugas anak-anak, tetapi ternyata sangat memakan waktu:- Programmer JS harus memodifikasi kartu dengan menambahkan pengiriman acara yang diperlukan.
- Penguji harus memverifikasi bahwa perubahan tidak merusak fungsi kartu.
- Analis harus mendapatkan log keputusan, memahami peristiwa dan menarik kesimpulan tentang apa yang terjadi.
Solusi semacam itu tidak dapat diskalakan dan didistribusikan ke semua kartu. Oleh karena itu, kami mengembangkan varian dengan acara umum untuk semua kartu.Usaha kedua
Semua kartu berisi peristiwa umum, seperti klik, kapal keruk, atau nilai input ke input. Komponen khusus telah dibuat yang melacak peristiwa-peristiwa dasar ini dan mengirimkannya ke server.Contoh acara ini dan data tambahan yang dikandungnya:- klik - (x, y) - klik koordinat, kelas css dan teks dari elemen yang diklik
- input ke input - nilai yang dimasukkan, benar atau tidak
- mulai dari drag - koordinat, teks dari item yang diseret
- akhir kapal keruk - sama
Komponen pelacakan tindakan disertakan dalam kartu dalam satu baris, dan tidak memerlukan upaya tambahan dari programmer dan penguji JS. Komponen ditambahkan ke kartu matematika kelas 5-9.Saya akan memberikan beberapa contoh dari apa yang ditemukan menggunakan data yang dikumpulkan dengan cara ini.Drum
Sebagai contoh penyempurnaan antarmuka tugas, Anda dapat membawa elemen "drum", yang digunakan dalam beberapa kartu. Anak-anak mengklik panah dan mengubah opsi jawaban sampai mereka menemukan yang tepat. Perubahan opsi dianimasikan - drum bergulir ke atas atau ke bawah.
Tugas dengan elemen drumPeta klik dari tugas semacam itu diharapkan mengandung banyak klik di wilayah panah segitiga. Namun, tidak semua klik ini ternyata sama - ada dua jenis kelas css. Eksperimen dalam kartu menunjukkan bahwa nilai yang berbeda sesuai dengan keadaan panah yang dapat diklik dan tidak dapat diklik. Keadaan yang tidak dapat diklik muncul selama animasi gulir gulir.Kami menemukan klik pada panah yang diblokir di 85% -90% siswa. Artinya, anak-anak sering berusaha mengklik panah lagi sebelum animasi gulir berakhir. Kartu mengabaikan klik tersebut. Animasi pada saat itu berlangsung 800 ms, tetapi beberapa anak berhasil membuat klik baru setelah 100-200 ms.
Kemudian saya merasakan bagaimana tombol tidak aktif mengganggu anak-anak.Untuk membuat antarmuka lebih responsif, kami secara signifikan mempercepat pengguliran. Akselerasi seperti itu diperluas ke semua kartu dengan "gulungan".Pelepasan
Selain tindakan atom yang sangat kecil, seperti klik, kita dapat mempelajari jawaban apa yang diberikan anak-anak dan kesalahan apa yang mereka buat.Misalnya, dalam salah satu tugas, siswa kelas enam mengulangi nama-nama digit angka dan belajar mengenali persepuluhan dan perseratusan. Berikut adalah contoh tugas di mana anak-anak perlu menandai angka dalam kategori yang diberikan.
Tugas menentukan digit hari ini terlihat seperti ini.Di sini, di peta klik kita melihat klik pada persegi panjang dengan angka. Dengan koordinat klik, Anda dapat memahami nomor mana yang diklik siswa. Juga harus diperhitungkan bahwa klik pertama pada nomor memilihnya, dan klik kedua menghilangkan pilihan. Kemudian dari log peristiwa Anda dapat menyimpulkan kategori mana yang dipilih siswa sebelum mengklik tombol "Selesai".Pada pertemuan pertama dengan tugas ini, sekitar sepertiga dari anak-anak membuat kesalahan di dalamnya. Beberapa dari mereka, seperti yang diharapkan, membingungkan persepuluh dan lusinan, tetapi kesalahan lain lebih mengejutkan. Sebagai contoh, 7% anak-anak mencatat puluhan dan puluhan ribu. Lain 5% - benar-benar ditambahkan ke daftar ini juga persepuluh. 1,5% anak-anak mencatat semua angka pada umumnya.Antarmuka tugas telah dimodifikasi untuk memungkinkan hanya satu digit untuk dipilih - ketika mengklik pada digit baru, pemilihan dari yang sebelumnya dihapus. Dalam versi tugas yang baru, persentase kesalahan menurun hingga 20%, dan siswa dapat lebih memahami bahwa nama kategori jelas berkorelasi dengan posisi digit dalam nomor catatan.Pecahan
Contoh lain adalah tugas memperkenalkan anak-anak ke properti utama dari pecahan biasa. Pada awal penugasan, siswa diperlihatkan ilustrasi di mana fraksi diwakili oleh sosok yang terisi sebagian.
Jadi bagian awal penugasan tampak lebih awal.Anak-anak harus menunjukkan bagian mana dari gambar yang dilukis. 88% anak-anak mengatasi tahap ini tanpa kesalahan, menulis dalam pembilang "3". 9% siswa menulis "1": mereka mungkin lebih suka abu-abu daripada hijau. 3% anak-anak lain menulis "4" - yah, sebenarnya, karena semua bagian ini tidak putih!Dalam versi kartu yang direvisi, pertanyaannya diubah, dan kata-katanya yang baru adalah "Bagian mana yang hijau?" Akibatnya, jumlah kesalahan telah berkurang tiga kali, sekarang 96% anak-anak sekarang pergi ke konten utama kartu, tanpa tersandung di sini tiba-tiba.Hasil percobaan kedua
Kami menerima informasi yang menarik dan membuat perbaikan yang bermanfaat. Tetapi cara menyelidiki peristiwa ini membutuhkan kerja yang sangat melelahkan dari analis. Untuk mengonversi urutan klik ke arah solusi yang dapat dipahami, Anda perlu, pertama, mempelajari tata letak kartu dan memahami elemen mana yang memiliki klik spesifik. Kedua, untuk memahami logika kerja - di mana siswa memilih beberapa elemen, di mana ia menghilangkan pilihan, di mana ia mengatur ulang elemen di tempat. Bahkan, Anda harus benar-benar menduplikasi fungsi kartu.Tentu saja, dalam proses investigasi semacam itu, fungsi secara bertahap dikembangkan untuk memproses mekanika standar (misalnya, “memilih satu opsi dari satu baris yang terletak secara horizontal”). Tapi tetap saja, tugasnya sangat beragam sehingga mustahil untuk sepenuhnya mengotomatisasi proses ini. Selain itu, paling sering studi tentang kartu tertentu berakhir dengan kesimpulan "semuanya berjalan sesuai rencana" - kesalahan pada anak-anak hampir sama seperti yang diharapkan, kesulitan dengan antarmuka juga tidak terlihat. Ini, di satu sisi, menunjukkan kerja tim produk yang baik, tetapi di sisi lain, ini dapat menurunkan motivasi, karena tampaknya usaha mereka sendiri telah sia-sia.Dengan menggunakan acara-acara dasar, kami mempelajari jawaban apa yang diberikan anak-anak dan bagaimana mereka sampai pada jawaban mereka. Mengetahui jawaban para siswa relevan dalam tugas apa pun, tetapi karena beragamnya mekanika, sangat sulit untuk mengembalikan jawaban dari serangkaian peristiwa kecil. Ini mengarah pada ide untuk membuat acara terpisah "siswa memberikan jawaban."Log apa yang kami kumpulkan sekarang dan apa yang mereka berikan
Setiap kali kartu memeriksa respons siswa, kami mengirim acara dengan informasi tentang jawabannya. Acara tersebut berisi informasi berikut:- jawaban yang benar atau salah
- jawabannya sendiri, yaitu keadaan saat ini dari elemen aktif kartu (apa yang dimasukkan dalam input, tombol radio mana yang dipilih, titik mana yang ditandai pada pesawat, dan sebagainya, tergantung pada tugas saat ini)
- opsional - pada tahap apa tugas siswa sekarang
Penting bahwa dalam kode kartu jelas ada cek jawaban siswa, dan semua status saat ini diketahui. Yang tersisa hanyalah menambahkan garis yang mengirimkan respons ini ke server. Artinya, dalam opsi ini, tidak perlu menduplikasi logika kartu, yang menciptakan begitu banyak kesulitan pada tahap sebelumnya.Informasi tentang tahap tugas diperlukan dalam kartu dengan bagian non-linear. Sebagai contoh, seorang siswa mungkin memiliki pilihan - tulis jawaban untuk masalah itu segera atau selesaikan dalam langkah-langkah.Akumulasi statistik peristiwa semacam itu memberi kita:- Peta pergerakan siswa dalam tahapan tugas. Kami memahami tahap apa yang mudah bagi anak-anak, dan di mana mereka mengalami kesulitan.
- Statistik jawaban dari setiap tahap. Akan membantu untuk melihat kesalahan apa yang dilakukan siswa.
Karena acara memiliki format tunggal, pemrosesan otomatisnya dimungkinkan. Sekarang, setelah merilis kartu baru, kita sudah dapat melihat keesokan harinya di aplikasi khusus bagaimana anak-anak mengatasi tugas.
Kesalahan ejaan umum terbuktiKami menyertakan acara dengan jawaban di semua kartu baru, dan juga menambahkannya ke yang lama saat selesai. Sekarang semua karyawan yang terlibat dalam proses penugasan dapat melihat apa yang diberikan kepada siswa dengan mudah dan apa yang menyebabkan kesulitan.