Augenschnittstellen. Bericht in Yandex

Im Februar hielt Yandex die zweite Konferenz „I Frontend“ ab. Wir haben es anders gemacht als unsere traditionellen I. Subbotniks - fast alle Redner waren nicht von Yandex, so dass die Zuschauer etwas über die Erfahrungen verschiedener Unternehmen und Entwickler erfahren konnten. Tagsüber wurden 10 kg Marmelade gegessen, die Gäste beobachteten die Arbeit des Yandex.Rover-Roboterkuriers und am Abend jubelten sie den Teilnehmern des Code in the Dark-Wettbewerbs zu. Wie immer werden wir Zusammenfassungen mehrerer Berichte der Konferenz veröffentlichen. Ivan Bakaidov





ibakaidovarbeitet als Programmierer bei LINKa in St. Petersburg. Er ist der Schöpfer alternativer Kommunikationsprogramme und ein Verfechter der Rechte von Menschen ohne Unterschrift. Wanja sprach auf einer Sitzung der Kommission für Gehörlose in Notfällen auf dem humanitären Gipfel der Vereinten Nationen in Istanbul. Auf unserer Konferenz sprach er über „Augenschnittstellen“ - teilte seine Erfahrungen mit der Entwicklung von Lernspielen und -anwendungen für Kinder, die von einem Blickverfolgungsgerät gesteuert werden und für Menschen mit Behinderungen entwickelt wurden. Aus dem Abstract und dem Video lernen Sie die Fallstricke bei der Erstellung von „Augenschnittstellen“ kennen und können selbst die Frage beantworten, ob dies die Zukunft ist.


- Hallo. Sie haben mich wahrscheinlich schon vorgestellt, ich weiß nicht, weil ich diesen Text gestern geschrieben habe, aber heute reproduziere ich ihn einfach mit einem Sprachsynthesizer. Da ich dieses Wissen nicht habe, werde ich mich noch einmal vorstellen. Ich bin Ivan Bakaidov. Ich bin 21 Jahre alt. Und meine Hauptbeschäftigung ist es, Schnittstellen zu erstellen, mit denen Menschen mit Sprachschäden Phrasen für einen Sprachsynthesizer bilden. Sie können Text drucken, Bilder auswählen, eine Taste drücken, und all dies sollte eine vollwertige Sprache erzeugen. Mein Projekt heißt LINKa .



Aber jetzt versuche ich einen neuen Gerätetyp für die Eingabe von Informationen in einen Computer. Dies ist ein IT-Tracker, ein Gerät, das dem Computer den Punkt mitteilt, an dem eine Person auf den Bildschirm schaut. Es ist klein und unter dem Bildschirm montiert. Und anscheinend können wir bei einer recht guten Bedienung des Geräts Mäuse und Tastaturen vergessen. Aber ist es? Das ist mein Bericht.

Mein Bericht hat mehrere Ziele:

1. Um Ihnen zu zeigen, dass die Zukunft sehr eng ist, klopft die Augenkontrolle bereits an die Türen der Verbraucher, und wir sollten damit beginnen, Bibliotheken für diesen Bereich zu sägen.
2. Um den Hauptunterschied zwischen solchen Schnittstellen und den üblichen zu ermitteln.
3. Im Allgemeinen ist eine Lähmung auf einer Konferenz nützlich. Vielleicht wird einer von Ihnen mich ansehen und den Fokus auf der Site überprüfen, damit ich ihn als Tab verwenden kann.



Tatsächlich wurde mir viele Jahre lang von dieser Technologie erzählt, aber viele Jahre lang glaubte ich nicht daran. Erstens kostet das Modell der IT-Tracker etwa 140.000 Rubel, was sehr teuer ist. Zweitens, wie Sie sehen können, zuckt mein Kopf sehr, und bei den ersten Modellen, die ich ausprobiert habe, hat er stark gestört.



Aber jetzt hat Tobii einen Gaming-Tracker im Wert von etwa zehntausend und mit einer Head-Tracking-Funktion veröffentlicht. Das heißt, dieses Gerät verfolgt die Bewegungen von Kopf und Augen und subtrahiert, wie ich vermute, einfach voneinander. Es ist erwähnenswert, dass Tobii wie Apple ist, nur auf dem Markt der Tracker.

Dieser Tracker ist für Gamer konzipiert und dient als Hilfsfunktion.



Wenn Sie beispielsweise auf den Bildschirmrand schauen, dreht sich die Kamera des Players leicht in diese Richtung. Oder wenn Sie in den neuesten Schützen Gegner betrachten, werden diese auf der Karte markiert.



Eine weitere sofort einsatzbereite Funktion dieses Trackers ist die Hilfe im Menü geöffneter Programme. Das heißt, ich halte mich an die vertraute Alt + Tab, eine Fensteransicht erscheint, ich schaue auf das gewünschte Fenster und lasse Alt + Tab los. Sie gewöhnen sich sofort daran und verstehen dann nicht, warum diese Funktion auf Ihrem Haupt-Macbook nicht funktioniert.

Oh ja, dieses Ding schaltet den Computer ein, wenn Sie sich auf den Tisch setzen, und schaltet sich aus, wenn Sie zum Kaffee gehen.

Übrigens funktioniert der IT-Tracker nur mit Windows, sodass mich jetzt jeder als kranke Person ansieht, da ich mit einem MacBook arbeite, auf dem Windows läuft. Wenn es Windows nicht gäbe, würden sie mich trotzdem wie einen Patienten ansehen.



Das Programmauswahlmenü ist natürlich cool, aber wir wollen das System komplett ohne Tastatur steuern. Wir sind Menschen mit motorischen Behinderungen. Und es gibt zwei Lösungen. Das erste ist offensichtlich, Sie können die Maus mit Ihren Augen steuern. Das heißt, der Cursor bewegt sich in die Blickposition, und wenn Sie den Blick halten, tritt ein Klick auf.



Die zweite Lösung besteht darin, eigene Schnittstellen zu erstellen, die auf den Tracker zugeschnitten sind. Wie Sie wissen, würde ich nicht über den zweiten sprechen, wenn der erste Pfad normal funktionieren würde.



Es gibt mehrere Programme für den ersten Pfad, ich habe drei ausprobiert:
- Ein in die neuesten Windows-Versionen integriertes Tool, das einfach in den Eingabehilfen enthalten ist.
- Optikey-Programm des englischen Entwicklers.
- Das Programm stammt von einem russischen Programmierer, dessen Namen der Autor eindeutig nicht unterschieden hat, daher werde ich es als Trojaner bezeichnen. Nun, weil das Antivirus sagt, dass es ein Trojaner ist.



Die Programme sind im Allgemeinen im Prinzip ähnlich, daher werde ich nicht jedes einzelne zerlegen. Eine virtuelle Symbolleiste wird angezeigt. Sie wählen eines dieser Werkzeuge aus, z. B. mit der linken Maustaste klicken, dann die Zone betrachten, auf die Sie klicken möchten, diese Zone vergrößern, eine Sekunde an einer bestimmten Stelle betrachten und ein Klick erfolgt. Erhebe deine Hand zu denen, die verstehen, dass dies nicht unsere Zukunft ist.



Dazu kommt die Tatsache, dass mein Blick zuckt, weil das Auge ein Muskel ist und alle Muskeln meines Körpers zucken. Übrigens habe ich hier die Flugbahn des Blicks - meiner und der gewöhnlichen Person - beim Lesen von Lolita niedergeschrieben. Wie Sie sehen können, verlässt meine Ansicht die Reihe. Deshalb habe ich sieben Bücher in meinem Leben gelesen und habe Angst, aufs College zu gehen. Ich schickte dieses Bild mit den Worten an meinen Literaturlehrer: Ich bin kein Idiot.



In all diesen Programmen gibt es jedoch eine Funktion der Bildschirmtastatur, die nach dem Prinzip der Quadrate mit Buchstaben arbeitet. Wenn Sie Ihren Blick auf ein Quadrat halten, wird er gedrückt. In diesem Fall verzeiht die Box die Tatsache, dass Sie für ein paar Sekundenbruchteile von ihm wegschauen.

Und du hast schon verstanden, was für ein heller Gedanke mir einfiel?

Das ist richtig, Sie müssen Schnittstellen aus Quadraten machen. Dementsprechend habe ich beschlossen, eine Komponentenbibliothek für den IT-Tracker zu schreiben. Jetzt bereite ich es für die Veröffentlichung vor. Und laut den ersten Demo-Anwendungen können wir mit Sicherheit sagen, dass der Betreff-Tracker, sofern spezielle Anwendungen dafür erstellt werden, unsere Maus ersetzen wird, da es viel bequemer ist, nur auf die Schaltfläche zu schauen.

Ich kann nicht dasselbe über die Tastatur sagen: Schließlich ist das Tippen mit Berührungen ergonomischer und erfolgt auf muskulärer Ebene. Bei der Maus schauen wir immer auf den Bildschirm, auf den wir klicken. Und ich denke, dass sich die Schnittstellen sehr bald in diese Richtung bewegen werden.

Im Allgemeinen ist meine Vision dies. Fünf Jahre später wird die IT-Tracking-Technologie eng in unser Leben eindringen, aber dies werden völlig andere Schnittstellen sein. Sie werden eine Kombination aus Tastatur und Tracker sein. Das heißt, wie im Beispiel mit Alt + Tab öffnet der Benutzer bestimmte Ansichten über die Tastenkombination und wählt sie mit einem Blick aus.

Aber ich möchte über mein anderes Projekt sprechen.

Da die Fähigkeit, den Blick zu kontrollieren, für die Menschen ziemlich kompliziert ist, begann ich, einfache Gelegenheitsspiele zu entwickeln, die mir helfen, die richtigen Fähigkeiten zu erlangen. Tatsächlich besteht ein Teil dieser Spiele darin, Papier von seinem westlichen Gegenstück für viel Geld aufzuspüren. Jetzt werde ich die Spiele zeigen und erklären, welche Fähigkeiten sie meiner Meinung nach bilden. Das Projekt richtet sich an Kinder mit Entwicklungsstörungen.



Das erste Spiel, das ich gemacht habe, heißt Flash. Sein Wesen ist sehr einfach. Lenin erscheint an einer zufälligen Stelle auf einem schwarzen Bildschirm, und wenn Lenin in diesen Bereich schaut, verwandelt er sich in ein Licht. Dann wiederholt sich die Geschichte. Dann habe ich das Porträt von Wladimir Iljitsch ersetzt, fragten sie mich.

Mit diesem Spiel beginnt das Kind, den Tracker kennenzulernen. Da es nur eine Figur auf dem Bildschirm gibt, wird das Kind sie wahrscheinlich ansehen. Dafür erhält er einen angenehmen Klang.

Das Spiel des nächsten Levels trainiert, um das Objekt im Auge zu behalten. Das Prinzip ist wiederum einfach: Sie müssen den Ball im Auge behalten, er wird rot und platzt dann. Der Vietnamesen bekommt eine Rakete auf den Kopf und alle sind glücklich. Die Fähigkeit, den Blick zu halten, ist erforderlich, um die Tasten zu steuern. Und es gibt eine ganze Reihe von Spielen mit Knöpfen.

Siehe das zweite Spiel GIF

Aber jetzt werde ich das Spiel auf die nächste Fähigkeitsstufe bringen. Dies ist eine Fähigkeit des schrägen Sehens. Es wird zum Zeitpunkt der Eingabe benötigt, wenn Sie gleichzeitig den gewünschten Buchstaben betrachten und dem eingegebenen Text folgen müssen. Also habe ich eine Partie Sisyphus gemacht, bei der man einen Fächer in Bewegung setzen muss, der auf einen Ball bläst. Der Ball muss bergauf gerollt werden. Wenn Sie vom Ventilator wegsehen, rollt der Ball zurück.

Siehe das GIF des dritten Spiels

Einige solcher Spiele sind herausgekommen, dies ist mein Amateurprojekt. Einige von Ihnen möchten sich ihm vielleicht anschließen.

Kontakte:
-ibakaidov
- ivan@aacidov.ru
- Ich möchte studieren