واجهات العين. تقرير في ياندكس

في فبراير ، عقدت ياندكس المؤتمر الثاني ، "I Frontend." لقد نجحنا في ذلك على عكس تقنيات Subbotniks التقليدية الخاصة بنا - لم يكن معظم المتحدثين من Yandex حتى يتمكن المشاهدون من التعرف على تجربة الشركات والمطورين المختلفين. خلال النهار ، تم تناول 10 كيلوغرام من مربى البرتقال ، شاهد الضيوف Yandex ، وعملوا على تشغيل روبوت روفر ، وفي المساء هتفوا للمشاركين في مسابقة Code in the Dark. كما هو الحال دائمًا ، سننشر ملخصات لعدة تقارير من المؤتمر. إيفان باكيدوف





إباكايدوفيعمل كمبرمج في LINKa في سان بطرسبرج. هو مبتكر برامج الاتصال البديلة ومدافع عن حقوق الناس بدون توقيعات. تحدثت فانيا في جلسة للجنة الصم في حالات الطوارئ في القمة الإنسانية للأمم المتحدة في اسطنبول. في مؤتمرنا ، تحدث عن "واجهات العين" - شارك تجربته في تطوير الألعاب والتطبيقات التعليمية للأطفال التي يتم التحكم فيها بواسطة جهاز تتبع نظري ومصمم للأشخاص ذوي الإعاقة. من الملخص والفيديو سوف تتعلم عن المزالق في إنشاء "واجهات للعين" ويمكنك الإجابة على السؤال عما إذا كان هذا هو المستقبل.


- مرحبا. ربما عرفوني بالفعل ، لا أعرف ، لأنني كتبت هذا النص أمس ، ولكني أعيد إنتاجه اليوم باستخدام مُركِّب الكلام. بما أنني لا أملك هذه المعرفة ، فسأقدم نفسي مرة أخرى. أنا إيفان باكيدوف. أنا عمري 21 سنة. ومهنتي الرئيسية هي أنني أقوم بعمل واجهات يكون فيها الأشخاص الذين يعانون من تلف الكلام عبارة عن مُركب الكلام. يمكنهم طباعة النص ، واختيار الصور ، والضغط على زر واحد ، وكل هذا من شأنه أن ينتج خطابًا كاملاً. مشروعي يسمى LINKa .



ولكن الآن أحاول نوعًا جديدًا من الأجهزة لإدخال المعلومات إلى جهاز الكمبيوتر. هذا عبارة عن متتبع لتكنولوجيا المعلومات ، وهو جهاز يخبر الكمبيوتر عن النقطة التي ينظر إليها الشخص على الشاشة. إنه صغير ، مثبت تحت الشاشة. ويبدو أنه مع التشغيل الجيد إلى حد ما للجهاز ، يمكننا نسيان الفئران ولوحات المفاتيح. لكن هل هي كذلك؟ هذا هو تقريري.

يحتوي تقريري على عدة أهداف:

1. لإظهار أن المستقبل قريب جدًا ، فإن التحكم بالعين يطرق أبواب المستهلك بالفعل ويجب أن نبدأ في نشر المكتبات لهذه المنطقة.
2. معرفة الفرق الرئيسي بين هذه الواجهات عن تلك المعتادة.
3. بشكل عام ، الشلل في المؤتمر مفيد. ربما ينظر أحدكم إلي ويذهب للتحقق من التركيز على الموقع حتى أتمكن من استخدامه كعلامة تبويب.



في الواقع ، لسنوات عديدة قيل لي عن هذه التكنولوجيا ، ولكن لسنوات عديدة لم أكن أؤمن بها. أولاً ، يكلف نموذج أجهزة تتبع تكنولوجيا المعلومات حوالي 140 ألف روبل ، وهو مكلف للغاية. ثانيًا ، كما ترون ، رأسي متشنج جدًا ، وفي النماذج الأولى التي جربتها ، تدخلت بشكل كبير.



ولكن الآن ، أطلق توبي جهاز تعقب للألعاب بقيمة حوالي عشرة آلاف وظيفة تتبع الرأس. أي أن هذا الجهاز يتتبع حركات الرأس والعينين ، وأظن أنه ببساطة يطرح أحدهما من الآخر. من الجدير بالذكر أن توبي يشبه Apple ، فقط في سوق أجهزة التتبع.

تم تصميم هذا المتتبع للاعبين ويعمل كوظيفة مساعدة.



على سبيل المثال ، إذا نظرت إلى حافة الشاشة ، فإن كاميرا المشغل تتحول قليلاً في هذا الاتجاه. أو في أحدث الرماة ، إذا نظرت إلى الخصوم ، فسيتم تمييزهم على الخريطة.



وظيفة أخرى من وظائف هذا المتتبع ، والتي تخرج من الصندوق ، هي المساعدة في قائمة البرامج المفتوحة. بمعنى ، أنا متمسكة بـ alt + Tab المألوف ، تظهر نافذة عرض ، أنظر إلى النافذة المطلوبة وأطلق alt + Tab. تعتاد على ذلك على الفور ثم لا تفهم لماذا لا تعمل هذه الوظيفة على جهاز Macbook الرئيسي.

أوه نعم ، هذا الشيء يشغل الكمبيوتر عندما تجلس على الطاولة وينطفئ عندما تغادر لتناول القهوة.

بالمناسبة ، يعمل متتبع تكنولوجيا المعلومات فقط مع Windows ، لذلك ينظر إلي الجميع الآن كشخص مريض ، لأنني أركض مع جهاز Macbook يعمل عليه Windows. على الرغم من أنه إذا لم يكن لنظام التشغيل Windows ، فسيظلون ينظرون إلي كمريض.



لذا ، فإن قائمة اختيار البرنامج رائعة ، بالطبع ، لكننا نريد التحكم في النظام بالكامل بدون لوحة مفاتيح. نحن أشخاص يعانون من إعاقات حركية. وهناك حلان. الأول واضح ، يمكنك التحكم بالماوس بعينيك. بمعنى ، يتحرك المؤشر إلى موضع النظرة ، وعندما تمسك النظرة ، تحدث نقرة.



الحل الثاني هو إنشاء واجهات خاصة بك مصممة خصيصًا للمتتبع. كما تعلمون ، إذا كان المسار الأول يعمل بشكل طبيعي ، فلن أتحدث عن المسار الثاني.



هناك عدة برامج للمسار الأول ، جربت ثلاثة:
- أداة مدمجة في أحدث إصدارات Windows ، والتي يتم تضمينها ببساطة في إعدادات إمكانية الوصول.
- برنامج Optikey للمطور الإنجليزي.
- البرنامج من مبرمج روسي ، ومن الواضح أن المؤلف لم يميز اسمه ، لذلك سأطلق عليه اسم حصان طروادة. حسنًا ، لأن مضاد الفيروسات يقول أنه حصان طروادة.



تتشابه البرامج بشكل عام من حيث المبدأ ، لذلك لن أقوم بتفكيك كل منها. يظهر شريط أدوات افتراضي. يمكنك تحديد إحدى هذه الأدوات ، على سبيل المثال ، النقر بزر الماوس الأيسر ، ثم إلقاء نظرة على المنطقة التي ترغب في النقر فوقها ، وزيادة هذه المنطقة ، والنظر في ثانية إلى مكان معين وتحدث نقرة. ارفع يدك لمن يفهم أن هذا ليس مستقبلنا.



أضف إلى ذلك حقيقة أن تشنجات نظري ، لأن العين عضلة ، وكل عضلات جسدي ارتعاش. بالمناسبة ، لقد قمت هنا بتدوين مسار النظرة - لي والشخص العادي - أثناء قراءة لوليتا. كما ترون ، فإن وجهة نظري تترك الخط. لذلك ، قرأت سبعة كتب في حياتي وأخشى الذهاب إلى الكلية. أرسلت هذه الصورة إلى أستاذ الأدب الخاص بي بعبارة: أنا لست معتوهًا.



ولكن في جميع هذه البرامج ، توجد وظيفة لوحة المفاتيح على الشاشة ، والتي تعمل على مبدأ المربعات ذات الأحرف. عندما تمسك نظرك في مربع ، يتم الضغط عليه. في هذه الحالة ، يغفر الصندوق حقيقة أنك تنظر بعيدًا عنه في الآخرين لبضعة أجزاء من الثانية.

هل فهمت بالفعل ما حدث لي فكر مشرق؟

هذا صحيح ، تحتاج إلى إنشاء واجهات خارج المربعات. وبناءً على ذلك ، قررت كتابة مكتبة مكونات لتعقب تكنولوجيا المعلومات. الآن أقوم بإعداده للإفراج عنه. ووفقًا للتطبيقات التجريبية الأولى ، يمكننا القول بثقة أن متعقب الهدف ، خاضعًا لإنشاء تطبيقات خاصة له ، سيحل محل الماوس الخاص بنا ، نظرًا لأنه أكثر ملاءمة للنظر إلى الزر فقط.

لا أستطيع أن أقول نفس الشيء عن لوحة المفاتيح: بعد كل شيء ، الكتابة باللمس أكثر راحة وتحدث على مستوى العضلات. في حالة الماوس ، ننظر دائمًا إلى الشاشة حيث نقر. وأعتقد أنه قريبا جدا سوف تتحرك الواجهات في هذا الاتجاه.

بشكل عام ، رؤيتي هي هذه. بعد خمس سنوات ، ستدخل تكنولوجيا تتبع تكنولوجيا المعلومات بإحكام حياتنا ، لكن هذه ستكون واجهات مختلفة تمامًا. ستكون عبارة عن مزيج من لوحة المفاتيح والمتتبع. أي ، كما في المثال مع alt + Tab ، سيفتح المستخدم طرق عرض معينة باستخدام اختصار لوحة المفاتيح ، ويختار منها بلمحة.

لكني أريد التحدث عن مشروعي الآخر.

نظرًا لأن مهارة التحكم في النظرة معقدة للغاية بالنسبة للأشخاص ، فقد بدأت في تطوير ألعاب بسيطة عارضة تساعدني في الحصول على المهارة المناسبة. في الواقع ، جزء من هذه الألعاب هو تتبع الورق من نظيره الغربي لكثير من المال. الآن سأعرض الألعاب وأشرح المهارة التي تشكلها في رأيي. يستهدف المشروع الأطفال ذوي الإعاقات النمائية.



أول لعبة قمت بها تسمى Flash. جوهرها بسيط جدا. يظهر لينين على شاشة سوداء في مكان عشوائي ، وعند النظر في هذه المنطقة ، يتغير لينين إلى ضوء. ثم تكرر القصة نفسها. ثم استبدلت صورة فلاديمير إيليتش ، سألوني.

مع هذه اللعبة ، يبدأ الطفل في التعرف على المتتبع. نظرًا لوجود رقم واحد فقط على الشاشة ، فمن المرجح أن ينظر إليه الطفل. لهذا يتلقى صوتا لطيفا.

لعبة المستوى التالي تتدرب لإلقاء نظرة على الكائن. المبدأ ، مرة أخرى ، بسيط: تحتاج إلى إبقاء عينيك على الكرة ، وتتحول إلى اللون الأحمر ، ثم تنفجر. يحمل الرجل الفيتنامي صاروخًا على رأسه ، والجميع سعداء. إن مهارة الإمساك بالنظرة ضرورية للتحكم في الأزرار. وهناك سلسلة كاملة من الألعاب بأزرار.

شاهد لعبة gif الثانية

ولكن الآن سأعرض اللعبة على مستوى المهارة التالي. هذه مهارة الرؤية المائلة. هو مطلوب في وقت الكتابة ، عندما تحتاج في نفس الوقت للنظر في الحرف المطلوب واتباع النص الذي تدخله. لذا صنعت لعبة Sisyphus ، حيث تحتاج إلى التحديق لتحريك مروحة تهب على الكرة. يجب أن تدحرج الكرة شاقة. عندما تنظر بعيدًا عن المروحة ، تتدحرج الكرة للخلف.

شاهد الصورة المتحركة للعبة الثالثة

لقد ظهرت بعض هذه الألعاب ، وهذا هو مشروعي للهواة. قد يرغب بعضكم في الانضمام إليه.

جهات الاتصال:
-إباكايدوف
- ivan@aacidov.ru
- أريد أن أدرس