眼接口。Yandex中的报告

2月,Yandex举行了第二次会议“ I Frontend”。我们使它不同于传统的I. Subbotniks-几乎所有发言人都不来自Yandex,因此观众可以了解不同公司和开发人员的经验。白天,吃了10公斤果酱,来宾们观看了Yandex.Rover机器人快递员的工作,并在傍晚为黑暗竞赛中的Code参与者欢呼。 与往常一样,我们将发布会议的一些报告摘要。伊万·巴卡多夫(Ivan Bakaidov)





伊巴卡多夫在圣彼得堡LINKa担任程序员。他是替代性交流计划的创造者,也是没有签名的人的权利的倡导者。范亚在伊斯坦布尔联合国人道主义峰会紧急情况下的聋人委员会会议上发表讲话。在我们的会议上,他谈到了“眼部界面”-分享了他在开发儿童教育游戏和应用程序方面的经验,该游戏由凝视跟踪设备控制,并为残疾人设计。通过摘要和视频,您将了解创建“眼图界面”的陷阱,并可以自己回答这是否是未来的问题。


嗨他们可能已经介绍了我,我不知道,因为我昨天写了这段文字,但是今天我只是用语音合成器进行复制。由于我没有此知识,因此我将再次自我介绍。我是Ivan Bakaidov。我21岁了。我的主要职业是与人建立接口,以使有语言障碍的人形成语音合成器的短语。他们可以打印文本,选择图片,按一个按钮,所有这些都将产生完整的语音。我的项目称为LINKa



但是现在我正在尝试一种新型设备,用于将信息输入计算机。这是一个IT跟踪器,它是一种设备,用于告知计算机人们在屏幕上的注视点。它很小,安装在屏幕下方。而且,通过对设备的良好操作,我们似乎可以忘记鼠标和键盘了。但是吗?这是我的报告。

我的报告有以下几个目标:

1.为了向您展示未来非常接近,眼睛控制已经敲响了消费者的大门,我们应该开始在这一领域锯库。
2.讲述这些接口与通常接口之间的主要区别。
3.通常,在会议上瘫痪是有用的。也许你们中的一个会看着我,然后去检查网站上的焦点,以便我可以将其用作标签。



实际上,多年来我一直被告知这项技术,但多年来我一直不相信它。首先,IT跟踪器模型的成本约为14万卢布,这非常昂贵。其次,如您所见,我的头部非常抽搐,在我尝试的第一个模型上,它产生了很大的干扰。



但是现在,Tobii发布了一款价值约一万的游戏追踪器,并具有头部追踪功能。也就是说,该设备跟踪头部和眼睛的运动,我怀疑只是简单地从另一个中减去一个就可以了。值得一提的是,Tobii就像苹果,只是在追踪器市场上。

该跟踪器是为游戏玩家设计的,可作为辅助功能。



例如,如果您看着屏幕的边缘,则播放机的摄像头朝该方向稍微转动。或者在最新的射击游戏中,如果您查看对手,则会在地图上标记他们。



该跟踪器的另一个功能(即装即用)是打开程序菜单中的帮助。也就是说,我坚持使用熟悉的alt + Tab,出现一个窗口视图,我查看所需的窗口并释放alt + Tab。您立即习惯了它,然后您不明白为什么此功能在您的主要Macbook上不起作用。

哦,是的,这东西在您坐在桌子上时会打开计算机,在您去喝咖啡时会关闭。

顺便说一句,IT跟踪器仅适用于Windows,因此现在每个人都将我视为生病的人,因为我正在运行装有Windows的Macbook。尽管,如果不是Windows,他们仍然会像病人一样看我。



因此,程序选择菜单当然很酷,但是我们想完全不用键盘来控制系统。我们是行动不便的人。并且有两种解决方案。首先是显而易见的,您可以用眼睛控制鼠标。即,光标移动到注视位置,并且当您按住注视时会发生单击。



第二种解决方案是创建自己的针对跟踪器的界面。如您所知,如果第一个路径正常工作,那么我不会谈论第二个路径。



第一种方法有几种程序,我尝试了三种:
-Windows的最新版本中内置的工具,它仅包含在辅助功能设置中。
-英文开发人员的Optikey程序。
-该程序来自俄罗斯程序员,作者的名字显然没有区别,因此我将其称为木马。好吧,因为防病毒软件说它是木马。



程序通常在原理上相似,因此我不会分解每个程序。出现一个虚拟工具栏。您选择其中一种工具,例如,单击鼠标左键,然后查看您要单击的区域,增加该区域,在特定位置查看一秒钟,然后单击。向那些了解这不是我们的未来的人们举手。



另外,我的视线会抽搐,因为眼睛是肌肉,而我身体的所有肌肉都会抽搐。顺便说一句,在这里,我在阅读洛丽塔的同时写下了我和普通人的凝视轨迹。如您所见,我的观点清晰明了。因此,我一生读了七本书,怕去上大学。我把这张照片寄给我的文学老师,上面写着:我不是白痴。



但是在所有这些程序中,都有屏幕键盘的功能,该功能可根据字母正方形进行操作。当您将视线保持在正方形中时,将其按下。在这种情况下,该框可以容忍您将视线从他的视线移到其他视线的事实。

而且您已经了解我想到了什么聪明的主意?

没错,您需要使接口不成正方形。因此,我决定为IT跟踪器编写一个组件库。现在,我正在准备发布它。而且,根据第一个演示应用程序,我们可以自信地说,主题跟踪器(将为其创建特殊的应用程序)将替换我们的鼠标,因为仅查看按钮会更加方便。

关于键盘,我不能说相同的话:毕竟​​,触摸打字更符合人体工程学,并且发生在肌肉上。在使用鼠标的情况下,我们始终会查看单击的屏幕。而且我认为接口很快就会朝这个方向发展。

总的来说,我的愿景是这样。五年后,IT跟踪技术将紧密进入我们的生活,但是它们将是完全不同的界面。它们将是键盘和跟踪器的组合。也就是说,与alt + Tab的示例一样,用户将使用键盘快捷键打开某些视图,并一目了然地从中选择。

但是我想谈谈我的其他项目。

由于控制视线的技巧对人们来说非常复杂,因此我开始开发简单的休闲游戏来帮助我掌握正确的技巧。实际上,这些游戏的一部分是从西方同行那里追寻大量金钱。现在,我将展示游戏并解释我认为它们具有哪些技能。该项目针对发育障碍的儿童。



我制作的第一个游戏称为Flash。其本质非常简单。列宁随机出现在黑屏上,当注视该区域时,列宁会变亮。然后故事重演。然后我换了弗拉基米尔·伊里奇的肖像,他们问我。

在这个游戏中,孩子开始熟悉跟踪器。由于屏幕上只有一个数字,孩子很可能会看着它。为此,他收到了悦耳的声音。

下一关的游戏训练以保持对对象的关注。同样,原理很简单:您需要将注意力放在球上,球变成红色,然后破裂。越南男子头上有一枚火箭,每个人都很高兴。需要保持凝视的技能来控制按钮。并且有一系列带有按钮的游戏。

看到第二个游戏gif

但是现在我将把游戏展示给下一个技能水平。这是斜视的技能。当您同时需要查看所需的字母并跟随输入的文本时,在输入时需要它。因此,我制作了一个西西弗斯(Sisyphus)游戏,您需要凝视它来启动一个扇动的风扇。球必须上滚。当您将视线从风扇移开时,球会回滚。

看到第三场比赛的GIF

一些这样的游戏问世了,这是我的业余项目。你们中有些人可能想加入他。

联系人:
-伊巴卡多夫
- ivan@aacidov.ru
-我要读书

All Articles