Antarmuka Mata. Laporkan dalam Yandex

Pada bulan Februari, Yandex mengadakan konferensi kedua, "I Frontend." Kami membuatnya tidak seperti I. Subbotnik tradisional kami - hampir semua pembicara bukan dari Yandex sehingga pemirsa dapat belajar tentang pengalaman berbagai perusahaan dan pengembang. Pada siang hari, 10 kg marmalade dimakan, para tamu menyaksikan kurir robot Yandex.Rover bekerja, dan pada malam hari mereka bersorak untuk para peserta Code in the Dark contest. Seperti biasa, kami akan menerbitkan ringkasan beberapa laporan dari konferensi. Ivan Bakaidov





ibakaidovbekerja sebagai programmer di LINKa di St. Petersburg. Dia adalah pencipta program komunikasi alternatif dan advokat untuk hak-hak orang tanpa tanda tangan. Vanya berbicara pada sesi Komisi Tuna Rungu dalam Keadaan Darurat KTT Kemanusiaan PBB di Istanbul. Di konferensi kami, ia berbicara tentang "antarmuka mata" - berbagi pengalamannya dalam mengembangkan game dan aplikasi pendidikan anak-anak yang dikendalikan oleh perangkat pelacakan tatapan mata dan dirancang untuk para penyandang cacat. Dari abstrak dan video Anda akan belajar tentang perangkap dalam menciptakan "antarmuka mata" dan Anda dapat menjawab sendiri pertanyaan apakah ini masa depan.


- Hai Mereka mungkin sudah memperkenalkan saya, saya tidak tahu, karena saya menulis teks ini kemarin, tetapi hari ini saya hanya mereproduksi dengan synthesizer ucapan. Karena saya tidak memiliki pengetahuan ini, saya akan memperkenalkan diri lagi. Saya Ivan Bakaidov. Saya berumur 21 tahun. Dan pekerjaan utama saya adalah bahwa saya membuat antarmuka dengan mana orang-orang dengan kerusakan bentuk frase untuk synthesizer ucapan. Mereka dapat mencetak teks, memilih gambar, menekan satu tombol, dan semua ini akan menghasilkan pidato yang lengkap. Proyek saya disebut LINKa .



Tetapi sekarang saya mencoba jenis perangkat baru untuk memasukkan informasi ke komputer. Ini adalah pelacak TI, perangkat yang memberi tahu komputer titik di mana seseorang melihat di layar. Itu kecil, dipasang di bawah layar. Dan, tampaknya, dengan pengoperasian perangkat yang cukup baik, kita bisa melupakan mouse dan keyboard. Tetapi apakah itu? Ini laporan saya.

Laporan saya memiliki beberapa tujuan:

1. Untuk menunjukkan kepada Anda bahwa masa depan sudah sangat dekat, kontrol mata sudah mengetuk pintu konsumen dan kita harus mulai menggergaji perpustakaan untuk area ini.
2. Untuk mengetahui perbedaan utama antara antarmuka seperti itu dari yang biasa.
3. Secara umum, kelumpuhan pada konferensi bermanfaat. Mungkin salah satu dari Anda akan melihat saya dan pergi memeriksa fokus pada situs tersebut sehingga saya dapat menggunakannya sebagai tab.



Sebenarnya, selama bertahun-tahun saya diberitahu tentang teknologi ini, tetapi selama bertahun-tahun saya tidak percaya akan hal itu. Pertama, model pelacak TI harganya sekitar 140 ribu rubel, yang sangat mahal. Kedua, seperti yang Anda lihat, kepala saya sangat berkedut, dan pada model pertama yang saya coba, itu sangat mengganggu.



Tapi sekarang, Tobii telah merilis sebuah pelacak game bernilai sekitar sepuluh ribu dan dengan fungsi pelacakan kepala. Artinya, perangkat ini melacak gerakan kepala dan mata dan, saya curiga, cukup mengurangi satu dari yang lain. Perlu disebutkan bahwa Tobii seperti Apple, hanya di pasar pelacak.

Pelacak ini dirancang untuk gamer dan berfungsi sebagai fungsi bantu.



Misalnya, jika Anda melihat tepi layar, kamera pemain sedikit berubah ke arah ini. Atau di penembak terbaru, jika Anda melihat lawan, mereka ditandai di peta.



Fungsi lain dari pelacak ini, yang keluar dari kotak, adalah bantuan dalam menu program terbuka. Artinya, saya berpegang pada alt + Tab yang familier, tampilan jendela muncul, saya melihat jendela yang diinginkan dan melepaskan alt + Tab. Anda terbiasa secara instan dan kemudian Anda tidak mengerti mengapa fungsi ini tidak berfungsi di macbook utama Anda.

Oh ya, benda ini menyala di komputer saat Anda duduk di meja dan mati saat Anda pergi untuk minum kopi.

Ngomong-ngomong, pelacak IT hanya berfungsi dengan Windows, jadi sekarang semua orang melihat saya sebagai orang sakit, karena saya menjalankan dengan macbook yang menjadi tempat Windows. Meskipun, jika itu bukan untuk Windows, mereka masih akan melihat saya seperti pasien.



Jadi, menu pemilihan program keren, tentu saja, tetapi kami ingin mengontrol sistem sepenuhnya tanpa keyboard. Kami adalah penyandang cacat motorik. Dan ada dua solusi. Yang pertama jelas, Anda bisa mengendalikan mouse dengan mata Anda. Yaitu, kursor bergerak ke posisi pandangan, dan ketika Anda memegang pandangan, klik terjadi.



Solusi kedua adalah membuat antarmuka Anda sendiri yang dirancang untuk pelacak. Seperti yang Anda ketahui, jika jalur pertama bekerja secara normal, saya tidak akan membicarakan yang kedua.



Ada beberapa program untuk jalur pertama, saya mencoba tiga:
- Alat yang dibangun di dalam gedung Windows terbaru, yang hanya termasuk dalam pengaturan aksesibilitas.
- Program Optikey dari pengembang bahasa Inggris.
- Program ini dari seorang programmer Rusia, yang namanya penulis jelas tidak membedakan, jadi saya akan menyebutnya trojan. Yah, karena antivirus bilang itu trojan.



Program-program pada umumnya serupa secara prinsip, jadi saya tidak akan membongkar masing-masing. Bilah alat virtual muncul. Anda memilih salah satu dari alat ini, misalnya, klik kiri, lalu lihat zona tempat Anda ingin mengklik, tambah zona ini, Anda lihat yang kedua di tempat tertentu dan klik terjadi. Angkat tanganmu untuk mereka yang mengerti bahwa ini bukan masa depan kita.



Tambahkan ke fakta bahwa tatapanku berkedut, karena mata adalah otot, dan semua otot tubuhku berkedut. Ngomong-ngomong, di sini aku menuliskan lintasan tatapan - milikku dan orang biasa - sambil membaca Lolita. Seperti yang Anda lihat, pandangan saya meninggalkan garis atas. Karena itu, saya telah membaca tujuh buku dalam hidup saya dan takut pergi ke perguruan tinggi. Saya mengirim gambar ini ke guru sastra saya dengan kata-kata: Saya bukan orang bodoh.



Tetapi dalam semua program ini ada fungsi keyboard di layar, yang bekerja berdasarkan prinsip kuadrat dengan huruf. Ketika Anda memegang pandangan Anda di kotak, itu ditekan. Dalam hal ini, kotak itu memaafkan kenyataan bahwa Anda memalingkan muka darinya pada yang lain untuk beberapa fraksi detik.

Dan Anda sudah mengerti apa yang terjadi pada saya?

Itu benar, Anda perlu membuat antarmuka dari kotak. Oleh karena itu, saya memutuskan untuk menulis perpustakaan komponen untuk pelacak TI. Sekarang saya sedang mempersiapkannya untuk rilis. Dan menurut aplikasi demo pertama, kami dapat dengan yakin mengatakan bahwa pelacak subjek, yang tunduk pada pembuatan aplikasi khusus untuk itu, akan menggantikan mouse kami, karena jauh lebih nyaman untuk hanya melihat tombolnya.

Saya tidak bisa mengatakan hal yang sama tentang keyboard: lagipula, pengetikan sentuh lebih ergonomis dan terjadi pada level otot. Dalam hal mouse, kita selalu melihat layar tempat kita mengklik. Dan saya pikir segera antarmuka akan bergerak ke arah ini.

Secara umum, visi saya adalah ini. Lima tahun kemudian, teknologi pelacakan IT akan memasuki kehidupan kita dengan ketat, tetapi ini akan menjadi antarmuka yang sangat berbeda. Mereka akan menjadi kombinasi dari keyboard dan pelacak. Artinya, seperti pada contoh dengan alt + Tab, pengguna akan membuka tampilan tertentu menggunakan pintasan keyboard, dan memilih dari mereka dengan pandangan sekilas.

Tetapi saya ingin berbicara tentang proyek saya yang lain.

Karena keterampilan mengendalikan pandangan cukup rumit untuk orang, saya mulai mengembangkan game kasual sederhana yang membantu saya mendapatkan keterampilan yang tepat. Sebenarnya, sebagian dari gim ini menelusuri kertas dari rekan baratnya untuk banyak uang. Sekarang saya akan menunjukkan permainan dan menjelaskan keterampilan apa yang terbentuk menurut saya. Proyek ini ditujukan untuk anak-anak penyandang cacat perkembangan.



Game pertama yang saya buat disebut Flash. Esensinya sangat sederhana. Lenin muncul di layar hitam di tempat acak, dan ketika melihat ke daerah ini, Lenin berubah menjadi cahaya. Kemudian cerita itu berulang. Kemudian saya mengganti potret Vladimir Ilyich, mereka bertanya kepada saya.

Dengan permainan ini, anak mulai berkenalan dengan pelacak. Karena hanya ada satu gambar di layar, anak kemungkinan akan melihatnya. Untuk ini dia menerima suara yang menyenangkan.

Permainan tingkat berikutnya melatih untuk melihat objek. Prinsipnya, sekali lagi, sederhana: Anda harus tetap memperhatikan bola, bola itu berubah merah, lalu meledak. Pria Vietnam itu mendapat roket di kepala, dan semua orang senang. Keterampilan memegang pandangan diperlukan untuk mengendalikan tombol. Dan ada serangkaian game dengan tombol.

Lihat gif game kedua

Tapi sekarang saya akan menunjukkan game ke level skill berikutnya. Ini adalah keterampilan penglihatan miring. Ini diperlukan pada saat mengetik, ketika Anda secara bersamaan perlu melihat huruf yang diinginkan dan mengikuti teks yang Anda masukkan. Jadi saya membuat permainan Sisyphus, di mana Anda perlu menatap untuk menggerakkan kipas yang meniup bola. Bola harus meluncur ke atas. Saat Anda mengalihkan pandangan dari kipas, bola kembali berputar.

Lihat gif game ketiga

Beberapa game seperti itu telah keluar, ini adalah proyek amatir saya. Beberapa dari Anda mungkin ingin bergabung dengannya.

Kontak:
-ibakaidov
- ivan@aacidov.ru
- Saya ingin belajar