Interfaces oculaires. Signaler dans Yandex

En février, Yandex a tenu la deuxième conférence, «I Frontend». Nous l'avons fait contrairement à nos I. Subbotniks traditionnels - presque tous les haut-parleurs n'étaient pas de Yandex afin que les téléspectateurs puissent en apprendre davantage sur l'expérience de différentes sociétés et développeurs. Pendant la journée, 10 kg de marmelade ont été mangés, les invités ont regardé le travail du courrier robotisé Yandex.Rover, et le soir, ils ont applaudi les participants au concours Code in the Dark. Comme toujours, nous publierons des résumés de plusieurs rapports de la conférence. Ivan Bakaidov





ibakaidovtravaille comme programmeur chez LINKa à Saint-Pétersbourg. Il est le créateur de programmes de communication alternatifs et un défenseur des droits des personnes sans signatures. Vanya a pris la parole lors d'une session de la Commission pour les sourds en situation d'urgence du Sommet humanitaire des Nations Unies à Istanbul. Lors de notre conférence, il a parlé des «interfaces oculaires» - a partagé son expérience dans le développement de jeux et d'applications éducatifs pour enfants qui sont contrôlés par un dispositif de suivi du regard et conçus pour les personnes handicapées. À partir du résumé et de la vidéo, vous découvrirez les pièges de la création d '«interfaces oculaires» et vous pourrez répondre vous-même à la question de savoir si c'est l'avenir.


- Salut. Ils m’ont probablement déjà présenté, je ne sais pas, parce que j’ai écrit ce texte hier, mais aujourd’hui je le reproduis avec un synthétiseur vocal. Comme je n'ai pas cette connaissance, je vais me présenter à nouveau. Je suis Ivan Bakaidov. J'ai 21 ans. Et ma principale occupation est de créer des interfaces avec lesquelles les personnes atteintes de troubles de la parole forment des phrases pour un synthétiseur vocal. Ils peuvent imprimer du texte, sélectionner des images, appuyer sur un bouton, et tout cela devrait produire un discours à part entière. Mon projet s'appelle LINKa .



Mais maintenant, j'essaie un nouveau type d'appareil pour entrer des informations dans un ordinateur. Il s'agit d'un tracker informatique, un appareil qui indique à l'ordinateur le point où une personne regarde l'écran. Il est petit, monté sous l'écran. Et, il semblerait qu'avec un assez bon fonctionnement de l'appareil, on puisse oublier les souris et les claviers. Mais est-ce? Voici mon rapport.

Mon rapport a plusieurs objectifs:

1. Pour vous montrer que l'avenir est très proche, le contrôle oculaire frappe déjà aux portes des consommateurs et nous devrions commencer à scier des bibliothèques pour ce domaine.
2. Pour parler de la principale différence entre ces interfaces et les interfaces habituelles.
3. En général, la paralysie lors d'une conférence est utile. Peut-être que l'un d'entre vous me regardera et ira vérifier le focus sur le site afin que je puisse l'utiliser comme un onglet.



En fait, pendant de nombreuses années, on m'a parlé de cette technologie, mais pendant de nombreuses années, je n'y ai pas cru. Premièrement, le modèle des trackers informatiques coûte environ 140 000 roubles, ce qui est très cher. Deuxièmement, comme vous pouvez le voir, ma tête est très tremblante, et sur les premiers modèles que j'ai essayés, elle a beaucoup interféré.



Mais maintenant, Tobii a publié un tracker de jeu d'une valeur d'environ dix mille et doté d'une fonction de suivi de la tête. Autrement dit, cet appareil suit les mouvements de la tête et des yeux et, je suppose, soustrait simplement l'un de l'autre. Il convient de mentionner que Tobii est comme Apple, uniquement sur le marché des trackers.

Ce tracker est conçu pour les joueurs et sert de fonction auxiliaire.



Par exemple, si vous regardez le bord de l'écran, la caméra du lecteur tourne légèrement dans cette direction. Ou dans les derniers tireurs, si vous regardez les adversaires, ils sont marqués sur la carte.



Une autre des fonctions de ce tracker, qui sort de la boîte, est l'aide dans le menu des programmes ouverts. Autrement dit, je m'accroche à l'alt + Tab familier, une vue de fenêtre apparaît, je regarde la fenêtre souhaitée et relâchez alt + Tab. Vous vous y habituez instantanément et vous ne comprenez pas pourquoi cette fonction ne fonctionne pas sur votre MacBook principal.

Oh oui, cette chose allume l'ordinateur lorsque vous vous asseyez sur la table et s'éteint lorsque vous partez prendre un café.

Soit dit en passant, le tracker informatique ne fonctionne qu'avec Windows, donc tout le monde me regarde maintenant comme une personne malade, car je cours avec un macbook sur lequel Windows est installé. Bien que, sans Windows, ils me regarderaient toujours comme un patient.



Donc, le menu de sélection de programme est cool, bien sûr, mais nous voulons contrôler le système complètement sans clavier. Nous sommes des personnes handicapées motrices. Et il y a deux solutions. Le premier est évident, vous pouvez contrôler la souris avec vos yeux. Autrement dit, le curseur se déplace vers la position du regard, et lorsque vous maintenez le regard, un clic se produit.



La deuxième solution consiste à créer vos propres interfaces adaptées au tracker. Comme vous le savez, si le premier chemin fonctionnait normalement, je ne parlerais pas du second.



Il existe plusieurs programmes pour le premier chemin, j'en ai essayé trois:
- Un outil intégré aux dernières versions de Windows, qui est simplement inclus dans les paramètres d'accessibilité.
- Programme Optikey du développeur anglais.
- Le programme provient d'un programmeur russe, dont l'auteur n'a clairement pas distingué le nom, donc je l'appellerai un cheval de Troie. Eh bien, parce que l'antivirus dit que c'est un cheval de Troie.



Les programmes sont généralement similaires en principe, donc je ne vais pas les démonter chacun. Une barre d'outils virtuelle apparaît. Vous sélectionnez l'un de ces outils, par exemple, un clic gauche, puis regardez la zone où vous souhaitez cliquer, augmentez cette zone, vous regardez une seconde à un endroit spécifique et un clic se produit. Levez la main à ceux qui comprennent que ce n'est pas notre avenir.



Ajoutez à cela le fait que mon regard se contracte, car l'œil est un muscle, et tous les muscles de mon corps se contractent. Soit dit en passant, j'ai écrit ici la trajectoire du regard - le mien et la personne ordinaire - tout en lisant Lolita. Comme vous pouvez le voir, mon point de vue quitte la file d'attente. Par conséquent, j'ai lu sept livres dans ma vie et j'ai peur d'aller à l'université. J'ai envoyé cette photo à mon professeur de littérature avec les mots: je ne suis pas un crétin.



Mais dans tous ces programmes, il y a une fonction du clavier à l'écran, qui fonctionne sur le principe des carrés avec des lettres. Lorsque vous tenez votre regard dans un carré, il est pressé. Dans ce cas, la boîte pardonne le fait que vous détournez le regard des autres pendant quelques secondes.

Et vous avez déjà compris quelle pensée lumineuse m'est venue à l'esprit?

C'est vrai, vous devez créer des interfaces à partir de carrés. En conséquence, j'ai décidé d'écrire une bibliothèque de composants pour le tracker informatique. Maintenant, je le prépare pour la sortie. Et selon les premières applications de démonstration, nous pouvons dire avec confiance que le tracker de sujet, sous réserve de la création d'applications spéciales pour lui, remplacera notre souris, car il est beaucoup plus pratique de simplement regarder le bouton.

Je ne peux pas dire la même chose du clavier: après tout, la saisie tactile est plus ergonomique et se produit au niveau musculaire. Dans le cas de la souris, nous regardons toujours l'écran sur lequel nous cliquons. Et je pense que très bientôt les interfaces vont évoluer dans ce sens.

En général, ma vision est la suivante. Cinq ans plus tard, la technologie de suivi informatique entrera étroitement dans nos vies, mais ce seront des interfaces complètement différentes. Ils seront une combinaison d'un clavier et d'un tracker. Autrement dit, comme dans l'exemple avec alt + Tab, l'utilisateur ouvrira certaines vues à l'aide du raccourci clavier et les sélectionnera d'un coup d'œil.

Mais je veux parler de mon autre projet.

Étant donné que la maîtrise du regard est assez compliquée pour les gens, j'ai commencé à développer des jeux simples et décontractés qui m'aident à acquérir la bonne compétence. En fait, une partie de ces jeux consiste à tracer du papier de son homologue occidental pour beaucoup d'argent. Je vais maintenant montrer les jeux et expliquer quelle compétence ils forment à mon avis. Le projet s'adresse aux enfants ayant une déficience intellectuelle.



Le premier jeu que j'ai créé s'appelle Flash. Son essence est très simple. Lénine apparaît sur un écran noir dans un endroit aléatoire, et lorsque vous regardez dans cette zone, Lénine se transforme en lumière. Ensuite, l'histoire se répète. Puis j'ai remplacé le portrait de Vladimir Ilitch, m'ont-ils demandé.

Avec ce jeu, l'enfant commence à se familiariser avec le tracker. Puisqu'il n'y a qu'une seule figure sur l'écran, l'enfant est susceptible de la regarder. Pour cela, il reçoit un son agréable.

Le jeu du niveau supérieur s'entraîne pour garder un œil sur l'objet. Le principe, là encore, est simple: il faut garder les yeux sur le ballon, il devient rouge, puis éclate. L'homme vietnamien reçoit une roquette sur la tête, et tout le monde est content. L'habileté à tenir le regard est nécessaire pour contrôler les boutons. Et il y a toute une série de jeux avec des boutons.

Voir le deuxième gif du jeu

Mais maintenant, je vais montrer le jeu au niveau de compétence suivant. Il s'agit d'une compétence de vision oblique. Il est nécessaire au moment de la frappe, lorsque vous devez simultanément regarder la lettre souhaitée et suivre le texte que vous entrez. J'ai donc fait un jeu de Sisyphe, où il faut regarder pour mettre en mouvement un éventail qui souffle sur une balle. La balle doit être roulée en montée. Lorsque vous détournez le regard du ventilateur, la balle recule.

Voir le gif du troisième jeu

Certains de ces jeux sont sortis, c'est mon projet amateur. Certains d'entre vous voudront peut-être le rejoindre.

Contacts:
-ibakaidov
- ivan@aacidov.ru
- Je veux étudier