Interfaces oculares. Informar en Yandex

En febrero, Yandex celebró la segunda conferencia, "I Frontend". Lo hicimos diferente a nuestro tradicional I. Subbotniks: casi todos los oradores no eran de Yandex para que los espectadores pudieran conocer la experiencia de diferentes compañías y desarrolladores. Durante el día, se comieron 10 kg de mermelada, los invitados vieron el Yandex.Rover robot courier trabajando, y por la noche vitorearon a los participantes del concurso Code in the Dark. Como siempre, publicaremos resúmenes de varios informes de la conferencia. Ivan Bakaidov





ibakaidovtrabaja como programador en LINKa en San Petersburgo. Es el creador de programas de comunicación alternativos y un defensor de los derechos de las personas sin firmas. Vanya habló en una sesión de la Comisión para Sordos en Emergencias de la Cumbre Humanitaria de la ONU en Estambul. En nuestra conferencia, habló sobre "interfaces oculares": compartió su experiencia en el desarrollo de juegos y aplicaciones educativas para niños controlados por un dispositivo de seguimiento de la mirada y diseñados para personas con discapacidades. A partir del resumen y el video, aprenderá sobre las trampas en la creación de “interfaces oculares” y puede responder por sí mismo la pregunta de si este es el futuro.


- Hola. Probablemente ya me presentaron, no lo sé, porque escribí este texto ayer, pero hoy solo lo reproduzco con un sintetizador de voz. Como no tengo este conocimiento, me presentaré nuevamente. Soy Ivan Bakaidov. Tengo 21 años. Y mi ocupación principal es crear interfaces con las cuales las personas con daño del habla forman frases para un sintetizador de voz. Pueden imprimir texto, seleccionar imágenes, presionar un botón, y todo esto debería producir un discurso completo. Mi proyecto se llama LINKa .



Pero ahora estoy probando un nuevo tipo de dispositivo para ingresar información en una computadora. Este es un rastreador de TI, un dispositivo que le dice a la computadora el punto donde una persona está mirando en la pantalla. Es pequeño, montado debajo de la pantalla. Y, al parecer, con un funcionamiento bastante bueno del dispositivo, podemos olvidarnos de los ratones y teclados. ¿Pero es? Este es mi informe

Mi informe tiene varios objetivos:

1. Para mostrarle que el futuro está muy cerca, el control visual ya está llamando a las puertas de los consumidores y deberíamos comenzar a cortar bibliotecas para esta área.
2. Informar sobre la diferencia principal entre tales interfaces de las habituales.
3. En general, la parálisis en una conferencia es útil. Tal vez uno de ustedes me mirará y verificará el enfoque en el sitio para que pueda usarlo como una pestaña.



De hecho, durante muchos años me contaron sobre esta tecnología, pero durante muchos años no creí en ella. En primer lugar, el modelo de rastreadores de TI cuesta alrededor de 140 mil rublos, lo cual es muy costoso. En segundo lugar, como puede ver, mi cabeza se retuerce mucho, y en los primeros modelos que probé, interfirió mucho.



Pero ahora, Tobii ha lanzado un rastreador de juegos por valor de unos diez mil y con una función de seguimiento de la cabeza. Es decir, este dispositivo rastrea los movimientos de la cabeza y los ojos y, sospecho, simplemente resta uno del otro. Vale la pena mencionar que Tobii es como Apple, solo en el mercado de los rastreadores.

Este rastreador está diseñado para jugadores y sirve como una función auxiliar.



Por ejemplo, si observa el borde de la pantalla, la cámara del jugador gira ligeramente en esta dirección. O en los últimos tiradores, si miras a los oponentes, están marcados en el mapa.



Otra de las funciones de este rastreador, que viene de fábrica, es la ayuda en el menú de programas abiertos. Es decir, me aferro a la alt + Tab familiar, aparece una vista de ventana, miro la ventana deseada y suelto alt + Tab. Te acostumbras al instante y luego no entiendes por qué esta función no funciona en tu macbook principal.

Ah, sí, esta cosa enciende la computadora cuando te sientas en la mesa y se apaga cuando te vas a tomar un café.

Por cierto, el rastreador de TI solo funciona con Windows, por lo que ahora todos me ven como una persona enferma, porque estoy ejecutando con un macbook en el que está Windows. Aunque, si no fuera por Windows, todavía me mirarían como a un paciente.



Entonces, el menú de selección de programas es genial, por supuesto, pero queremos controlar el sistema completamente sin un teclado. Somos personas con discapacidad motora. Y hay dos soluciones. Lo primero es obvio, puedes controlar el mouse con los ojos. Es decir, el cursor se mueve a la posición de la mirada, y cuando mantiene la mirada, se produce un clic.



La segunda solución es crear sus propias interfaces personalizadas para el rastreador. Como saben, si el primer camino funcionara normalmente, no hablaría del segundo.



Hay varios programas para el primer camino, probé tres:
- Una herramienta integrada en las últimas compilaciones de Windows, que simplemente se incluye en la configuración de accesibilidad.
- Programa Optikey del desarrollador inglés.
- El programa es de un programador ruso, cuyo nombre el autor claramente no distinguió, por lo que lo llamaré troyano. Bueno, porque el antivirus dice que es un troyano.



Los programas son generalmente similares en principio, por lo que no desarmaré cada uno. Aparece una barra de herramientas virtual. Seleccione una de estas herramientas, por ejemplo, haga clic con el botón izquierdo, luego mire la zona donde desea hacer clic, aumente esta zona, mire un segundo en un lugar específico y se produce un clic. Levanta la mano a aquellos que entienden que este no es nuestro futuro.



Agregue a esto el hecho de que mi mirada se contrae, porque el ojo es un músculo y todos los músculos de mi cuerpo se contraen. Por cierto, aquí escribí la trayectoria de la mirada, mía y de la persona común, mientras leía a Lolita. Como puede ver, mi vista deja la línea. Por lo tanto, he leído siete libros en mi vida y tengo miedo de ir a la universidad. Envié esta foto a mi profesor de literatura con las palabras: no soy un imbécil.



Pero en todos estos programas hay una función del teclado en pantalla, que funciona según el principio de cuadrados con letras. Cuando mantienes tu mirada en un cuadrado, se presiona. En este caso, la caja perdona el hecho de que apartas la mirada de él a los demás durante un par de segundos.

¿Y ya entendiste qué brillante pensamiento se me ocurrió?

Así es, necesitas hacer interfaces a partir de cuadrados. En consecuencia, decidí escribir una biblioteca de componentes para el rastreador de TI. Ahora lo estoy preparando para su lanzamiento. Y de acuerdo con las primeras aplicaciones de demostración, podemos decir con confianza que el rastreador de temas, sujeto a la creación de aplicaciones especiales para él, reemplazará nuestro mouse, ya que es mucho más conveniente simplemente mirar el botón.

No puedo decir lo mismo sobre el teclado: después de todo, la escritura táctil es más ergonómica y ocurre a un nivel muscular. En el caso del mouse, siempre miramos la pantalla donde hacemos clic. Y creo que muy pronto las interfaces se moverán en esta dirección.

En general, mi visión es esta. Cinco años después, la tecnología de seguimiento de TI entrará estrechamente en nuestras vidas, pero serán interfaces completamente diferentes. Serán una combinación de teclado y rastreador. Es decir, como en el ejemplo con alt + Tab, el usuario abrirá ciertas vistas usando el atajo de teclado y seleccionará de ellas con un vistazo.

Pero quiero hablar sobre mi otro proyecto.

Dado que la habilidad de controlar la mirada es bastante complicada para las personas, comencé a desarrollar juegos casuales simples que me ayudan a obtener la habilidad adecuada. En realidad, parte de estos juegos es rastrear papel de su contraparte occidental por mucho dinero. Ahora mostraré los juegos y explicaré qué habilidad forman en mi opinión. El proyecto está dirigido a niños con discapacidades del desarrollo.



El primer juego que hice se llama Flash. Su esencia es muy simple. Lenin aparece en una pantalla negra en un lugar aleatorio, y cuando mira en esta área, Lenin cambia a una luz. Entonces la historia se repite. Luego reemplacé el retrato de Vladimir Ilich, me preguntaron.

Con este juego, el niño comienza a familiarizarse con el rastreador. Como solo hay una figura en la pantalla, es probable que el niño la mire. Por esto recibe un sonido agradable.

El juego del siguiente nivel se entrena para observar el objeto. El principio, de nuevo, es simple: debes mantener tus ojos en la pelota, se pone roja y luego explota. El hombre vietnamita recibe un cohete en la cabeza, y todos están felices. La habilidad de sostener la mirada es necesaria para controlar los botones. Y hay toda una serie de juegos con botones.

Mira el segundo juego gif

Pero ahora mostraré el juego al siguiente nivel de habilidad. Esta es una habilidad de visión oblicua. Es necesario al momento de escribir, cuando simultáneamente necesita mirar la letra deseada y seguir el texto que ingresa. Así que hice un juego de Sísifo, donde debes mirar para poner en movimiento un ventilador que sopla una pelota. La pelota debe rodar cuesta arriba. Cuando apartas la vista del ventilador, la pelota rueda hacia atrás.

Mira el gif del tercer juego

Han salido algunos de estos juegos, este es mi proyecto de aficionado. Algunos de ustedes pueden querer unirse a él.

Contactos:
-ibakaidov
- ivan@aacidov.ru
- Quiero estudiar