Interfaces oculares. Relatório em Yandex

Em fevereiro, a Yandex realizou a segunda conferência, "I Frontend". Fizemos isso diferente dos nossos I. Subbotniks tradicionais - quase todos os oradores não eram da Yandex, para que os espectadores pudessem aprender sobre a experiência de diferentes empresas e desenvolvedores. Durante o dia, 10 kg de marmelada foram consumidos, os convidados assistiram ao correio robô robô Yandex.Rover e, à noite, aplaudiram os participantes do concurso Code in the Dark. Como sempre, publicaremos resumos de vários relatórios da conferência. Ivan Bakaidov





ibakaidovtrabalha como programador na LINKa em São Petersburgo. Ele é o criador de programas de comunicação alternativos e um defensor dos direitos das pessoas sem assinaturas. Vanya falou em uma sessão da Comissão para Surdos em Emergências da Cúpula Humanitária da ONU em Istambul. Em nossa conferência, ele falou sobre “interfaces oculares” - compartilhou sua experiência no desenvolvimento de jogos e aplicativos educacionais para crianças, controlados por um dispositivo de rastreamento de olhar e projetados para pessoas com deficiência. Com o resumo e o vídeo, você aprenderá sobre as armadilhas na criação de “interfaces oculares” e poderá responder por si mesmo a pergunta sobre se esse é o futuro.


- Oi. Eles provavelmente já me apresentaram, não sei, porque escrevi este texto ontem, mas hoje apenas o reproduzo com um sintetizador de fala. Como não tenho esse conhecimento, vou me apresentar novamente. Eu sou Ivan Bakaidov. Eu tenho 21 anos de idade. E minha principal ocupação é que eu faço interfaces com as quais pessoas com problemas de fala formam frases para um sintetizador de fala. Eles podem imprimir texto, selecionar imagens, pressionar um botão e tudo isso deve produzir um discurso completo. Meu projeto se chama LINKa .



Mas agora estou tentando um novo tipo de dispositivo para inserir informações em um computador. Este é um rastreador de TI, um dispositivo que informa ao computador o ponto em que uma pessoa está olhando na tela. É pequeno, montado sob a tela. E, ao que parece, com uma operação bastante boa do dispositivo, podemos esquecer os mouses e teclados. Mas é isso? Este é o meu relatório.

Meu relatório tem vários objetivos:

1. Para mostrar que o futuro está muito próximo, o controle dos olhos já está batendo nas portas dos consumidores e devemos começar a serrar bibliotecas para esta área.
2. Falar sobre a principal diferença entre essas interfaces e as usuais.
3. Em geral, a paralisia em uma conferência é útil. Talvez um de vocês olhe para mim e verifique o foco no site para que eu possa usá-lo como uma guia.



De fato, por muitos anos me disseram sobre essa tecnologia, mas por muitos anos não acreditei nela. Primeiro, o modelo de rastreadores de TI custa cerca de 140 mil rublos, o que é muito caro. Em segundo lugar, como você pode ver, minha cabeça está tremendo muito e, nos primeiros modelos que tentei, interferiu bastante.



Mas agora, Tobii lançou um rastreador de jogos no valor de cerca de dez mil e com uma função de rastreamento de cabeça. Ou seja, esse dispositivo rastreia os movimentos da cabeça e dos olhos e, suspeito, simplesmente subtrai um do outro. Vale ressaltar que o Tobii é como a Apple, apenas no mercado de rastreadores.

Este rastreador foi projetado para jogadores e serve como uma função auxiliar.



Por exemplo, se você olhar para a borda da tela, a câmera do player gira levemente nessa direção. Ou nos atiradores mais recentes, se você olhar para os oponentes, eles estão marcados no mapa.



Outra das funções deste rastreador, que sai da caixa, é a ajuda no menu de programas abertos. Ou seja, eu mantenho o familiar alt + Tab, uma visualização da janela aparece, olho a janela desejada e solto o alt + Tab. Você se acostuma instantaneamente e não entende por que essa função não funciona no seu macbook principal.

Ah, sim, essa coisa liga o computador quando você se senta na mesa e desliga quando sai para tomar um café.

A propósito, o rastreador de TI funciona apenas com o Windows, então todos agora me olham como uma pessoa doente, porque estou executando um macbook no qual o Windows está. Embora, se não fosse o Windows, eles ainda me olhariam como um paciente.



Portanto, o menu de seleção de programas é legal, é claro, mas queremos controlar o sistema completamente sem teclado. Somos pessoas com deficiência motora. E há duas soluções. O primeiro é óbvio, você pode controlar o mouse com os olhos. Ou seja, o cursor se move para a posição de olhar e, quando você o mantém, um clique ocorre.



A segunda solução é criar suas próprias interfaces personalizadas para o rastreador. Como você sabe, se o primeiro caminho funcionasse normalmente, eu não falaria sobre o segundo.



Existem vários programas para o primeiro caminho, tentei três:
- Uma ferramenta incorporada nas versões mais recentes do Windows, que é simplesmente incluída nas configurações de acessibilidade.
- Programa Optikey do desenvolvedor inglês.
- O programa é de um programador russo, cujo nome o autor claramente não distinguiu, então chamarei de trojan. Bem, porque o antivírus diz que é um Trojan.



Os programas são geralmente similares em princípio, então não vou desmontar cada um. Uma barra de ferramentas virtual é exibida. Você seleciona uma dessas ferramentas, por exemplo, clique com o botão esquerdo e, em seguida, analisa a zona em que deseja clicar, aumenta essa zona, analisa um segundo em um local específico e um clique ocorre. Levante a mão para aqueles que entendem que este não é o nosso futuro.



Adicione a isso o fato de que meu olhar se contrai, porque o olho é um músculo e todos os músculos do meu corpo se contraem. A propósito, aqui escrevi a trajetória do olhar - o meu e a pessoa comum - enquanto lia Lolita. Como você pode ver, minha visão deixa a linha. Portanto, li sete livros na minha vida e tenho medo de ir para a faculdade. Enviei esta foto ao meu professor de literatura com as palavras: Eu não sou um idiota.



Mas em todos esses programas existe uma função do teclado na tela, que funciona com base no princípio dos quadrados com letras. Quando você mantém seu olhar em um quadrado, ele é pressionado. Nesse caso, a caixa perdoa o fato de você desviar o olhar dele para os outros por algumas frações de segundo.

E você já entendeu o que um pensamento brilhante me ocorreu?

É isso mesmo, você precisa fazer interfaces fora dos quadrados. Por isso, decidi escrever uma biblioteca de componentes para o rastreador de TI. Agora eu estou preparando para lançamento. E de acordo com as primeiras aplicações de demonstração, podemos dizer com segurança que o rastreador de assunto, sujeito à criação de aplicativos especiais para ele, substituirá o mouse, pois é muito mais conveniente apenas olhar para o botão.

Não posso dizer o mesmo sobre o teclado: afinal, a digitação por toque é mais ergonômica e acontece em um nível muscular. No caso do mouse, sempre olhamos para a tela em que clicamos. E acho que muito em breve as interfaces se moverão nessa direção.

Em geral, minha visão é essa. Cinco anos depois, a tecnologia de rastreamento de TI entrará firmemente em nossas vidas, mas essas serão interfaces completamente diferentes. Eles serão uma combinação de teclado e rastreador. Ou seja, como no exemplo com alt + Tab, o usuário abrirá determinadas visualizações usando o atalho do teclado e as selecionará rapidamente.

Mas eu quero falar sobre o meu outro projeto.

Como a habilidade de controlar o olhar é bastante complicada para as pessoas, comecei a desenvolver jogos casuais simples que me ajudam a obter a habilidade certa. Na verdade, parte desses jogos é traçar papel de sua contraparte ocidental por muito dinheiro. Agora vou mostrar os jogos e explicar qual habilidade eles formam na minha opinião. O projeto é destinado a crianças com deficiências de desenvolvimento.



O primeiro jogo que fiz é chamado Flash. Sua essência é muito simples. Lenin aparece em uma tela preta em um local aleatório e, ao olhar para essa área, Lenin muda para uma luz. Então a história se repete. Então substituí o retrato de Vladimir Ilyich, eles me perguntaram.

Com este jogo, a criança começa a se familiarizar com o rastreador. Como existe apenas uma figura na tela, é provável que a criança olhe para ela. Por isso, ele recebe um som agradável.

O jogo do próximo nível treina para manter um olhar sobre o objeto. O princípio, novamente, é simples: você precisa manter os olhos na bola, ela fica vermelha e depois explode. O vietnamita leva um foguete na cabeça e todo mundo está feliz. A habilidade de manter o olhar é necessária para controlar os botões. E há toda uma série de jogos com botões.

Veja o segundo jogo gif

Mas agora vou mostrar o jogo para o próximo nível de habilidade. Esta é uma habilidade da visão oblíqua. É necessário no momento da digitação, quando você precisa olhar simultaneamente para a letra desejada e seguir o texto digitado. Então eu fiz um jogo de Sísifo, onde você precisa olhar para colocar em movimento um ventilador que sopra uma bola. A bola deve ser rolada para cima. Quando você desvia o olhar do ventilador, a bola rola para trás.

Veja o gif do terceiro jogo

Alguns desses jogos foram lançados, este é o meu projeto amador. Alguns de vocês podem querer se juntar a ele.

Contatos:
-ibakaidov
- ivan@aacidov.ru
- quero estudar