😽 📒 🧚🏾 واجهات الكمبيوتر العصبية للألعاب: ما هو معروف اليوم 👨‍👩‍👦 🐚 🎢

في الآونة الأخيرة نسبيًا ، قال غابي نويل ، المؤسس المشارك في فالف ، إن البشرية أقرب كثيرًا إلى "ماتريكس" مما تبدو عليه. قررت أنا وزميلي المشارك معرفة ما إذا كان الأمر كذلك ، ولماذا يحاول Valve و Facebook و Elon Musk توصيل الدماغ بالكمبيوتر.

وهم السيطرة

واجهة الكمبيوتر العصبي (NCI) أو واجهة الدماغ والحاسوب (BCI) هي نظام مصمم لتبادل المعلومات مباشرة بين الدماغ والكمبيوتر. تم وصف هذا المفهوم من قبل جوزيف ليكلايدر منذ عام 1960 في مقال بعنوان " تكافل الإنسان بين الكمبيوتر". الآن من المرجح أن يكون المنشور ذا قيمة تاريخية ، لكن المحاولات النشطة للدخول في مثل هذا التكافل تم القيام بها منذ أواخر العقد الأول من القرن الحادي والعشرين.

ربما أظهر NeuroSky نفسه أكثر من الآخرين ، جنبًا إلى جنب مع Square Enix ، الذي قدم في معرض طوكيو للألعاب 2008 لعبة جوديكا. في عام 2009 ، أطلق NeuroSky ألعاب ألعاب NKI التجارية ، والتي لا يزال بإمكانك شرائها ، ولكن ما إذا كانوا يقرؤون نشاط الدماغ أو يستغلون ظاهرة وهم السيطرة هو سؤال مفتوح.

لم تتجاوز منتجات باقي الشركات بشكل أساسي حدود المؤتمرات ، أما قادة صناعة الألعاب إما صمتوا ، أو قالوا إنهم لم يشاركوا في تطوير NKI.

لا تزال ألعاب Neurosky Mindflex و StarWars Force Trainer أكثر أجهزة BCI نجاحًا ، على الرغم من التناقضات.

في عام 2012 ، قدم مختبر واجهات الحاسبات العصبية في جامعة غراتس في غراتس NCI لـ World of Warcraft. نجح النظام ، ولكن من الواضح أنه لا يمكن استبدال الماوس بلوحة مفاتيح.

"تدريب" الواجهة واللاعب: من أجل ربط إشارة من الدماغ بفريق معين ، يحتاج المستخدم إلى تحريك يده أولاً ، والتفكير فقط في هذه الحركة أثناء اللعبة.

تدريجيا ، أصبح من الواضح أن الثورة لن تحدث. نسوا حول NQI، ولكن بالضبط حتى مؤسس صمام الشهير غابي نيويل قال في مقابلة يوم 18 مارس 2020 أن الشركة تجري البحوث العصبية الحيوية وربما مع الرئيسي، مضيفا أننا أقرب بكثير إلى مصفوفة من يعتقد الكثيرون. في نفس الوقت تقريبا ، صدر تقريروبناءً عليه ، سيقدر سوق NKI بنحو 2.96 مليار دولار بحلول عام 2027.

ما لم يقله غابي

وقبل عام، وهو موظف صمام، علم النفس التجريبي الدكتور ميك أمبيندر، وتحدث في المؤتمر مطوري الألعاب 2019 حول تطوير وتطبيقات NQI. مقارنة بمقابلة غابي ، لم يلاحظ أحد تقريبًا خطابه ، على الرغم من أنه تحدث كثيرًا عن خطط الشركة.

يوجد مايك في سماعة OpenBCI EEG ، وهي مجموعة من المتحمسين الذين يطورون حلول NKI مفتوحة المصدر.

لم يتخذ Valve بعد مسار "Matrix" ، الذي يتصل مباشرة بالدماغ ، ولكن باستخدام "خوذة" خاصة لتصوير الدماغ الكهربائي (EEG). هذا النهج له عيوب - وهي الضوضاء وانخفاض عرض النطاق الترددي (على سبيل المثال ، قدر مؤلفو NCI لـ World of Warcraft معدل نقل البيانات بأقل من 100 بت / دقيقة).

الطرق الرئيسية للحصول على معلومات حول نشاط الدماغ ، بما في ذلك استخدام التقاط الإشارة على الأعصاب والعضلات الطرفية.

تعود العيوب جزئيًا إلى الإشارة التي تمر عبر الجلد والعظام. عادة ما يتم مقارنة تخطيط الدماغ EEG بمحاولة فهم ما يحدث في ملعب كرة القدم ، والوقوف خارج جدران الملعب والاستماع إلى صرخات المشجعين.

اتبع مباراة "من المدرجات" تسمح بطرق أخرى:

تخطيط كهربية القلب ، ECOG - أو تخطيط الدماغ داخل الجمجمة (تخطيط كهربية الدماغ داخل الجمجمة - iEEG) - الطريقة الجراحية "اللينة" ، عندما تكون الأقطاب الكهربائية مجاورة مباشرة لسطح الدماغ. لا يحدث تدخل عميق في هيكلها.
التسجيل داخل القشرة ( التسجيلات داخل القشرة) والغرسات - طريقة مع إدخال القطب في سمك محرك النباح. يجعل الأقطاب أقرب إلى مصدر الإشارة ، وتكون العملية أكثر تعقيدًا.

لكن عدم غزو تخطيط كهربية الدماغ حتى الآن يغطي جميع العيوب ، ويعتقد مايك أن قدراته لم تستنفد بعد. بالفعل ، يسمح لك بتقييم:

اللاعب حريص على الأحداث التي تظهر على الشاشة أو على وشك الموت من الملل ؛
متوترة خلال مهمة صعبة أو مرتاحة وواثقة ؛
قادر على تركيز واستيعاب المعلومات الجديدة. ومع ذلك ، تتضمن طريقة اللعب تدريب اللاعب - الإدارة ، وخصائص اللعب ، وما إلى ذلك. الأشياء ؛
إشارات المحرك - مع أي حركات ومدى رد فعل اللاعب المكثف لمنبهات معينة في اللعبة.

والعديد من المعلمات الأخرى الأكثر دقة. إن تطوير خوارزميات التعلم الآلي بشكل نشط يجعل تدريجياً من الممكن استخراج المزيد والمزيد من بيانات EEG.

لا تتسرع في التخلص من لوحة المفاتيح

على الأرجح ، فإن الطريقة التي تبدأ بها NKI في صناعة الألعاب لا تبدأ بالانغماس في الواقع الافتراضي.

وفقًا لمايك ، يتيح لك NKI الآن بشكل أساسي الحصول على تعليقات جديدة من اللاعب يمكنها تحسين جودة الألعاب. يعتقد مايك أن التكنولوجيا ستمر بثلاث مراحل من التطوير.

كل واجهة هي واجهة الدماغ والحاسوب. الاختلاف الوحيد هو ارتباط الأجهزة المتوسط الذي نترجم به نوايانا إلى شيء مناسب للاستخدام. الدكتور مايك أمبيندر ، عالم النفس التجريبي Valve.

على المدى القصير ، سيجد NKIs تطبيقًا في تطوير اللعبة ويجعل عملية الاختبار أكثر كفاءة. الآن الطريقة المعتادة لتحديد عواطف المختبر هي المسح. في الوقت نفسه ، لا يمكن تنفيذه إلا بعد تجاوز مستوى اللعبة ، عندما يتم نسيان بعض الانطباعات أو تخفيفها أو إعادة التفكير فيها. قراءة ردود الدماغ في الوقت الحقيقي على التحفيز داخل اللعبة هي أكثر موضوعية بكثير وستساعد على تحسين مستويات التصميم ، أو بالأحرى الوقوع في العواطف المخطط لها.

يُعد تحليل حركة العين وضربات القلب وتوتر العضلات وحتى الوضع طريقة لتقييم حالة اللاعب دون لمس الدماغ. قد لا يكون هذا أقل أهمية من EEG.

تدريجيا ، ستصبح NCI أكثر سهولة وستتجاوز الاستوديوهات. في المرحلة الثانية ، ستحصل اللعبة نفسها على الوصول إلى البيانات. هذا ، وفقًا لمايك ، سيغير مفهوم اللعب التكيفي تمامًا. ستصبح مستويات الصعوبة التقليدية قديمة - سيتكيف عالم اللعبة مع لاعب معين ، ويحدد الأعداء الذين يسببون له المزيد من المشاكل ، سواء كان يريد الاسترخاء بعد يوم شاق أو يشعر بالملل تحسبًا لمعركة صعبة.

هل المستخدمون مستعدون لمشاركة حالتهم وحتى الأفكار مع اللعبة أو يجدونها شخصية للغاية؟

في النهاية ، ستكون الشخصيات في اللعبة قادرة على الاستجابة لمزاج اللاعب وحالته العاطفية ، واتخاذ القرارات بناءً على هذه المعلمات.

يسمح التقليد في LA Noir (2011) للاعب بالتخمين ما إذا كانت شخصية تكذب أو تقول الحقيقة. مع ظهور NKI ، يمكن أن تتغير الأدوار.

, , , . RPG, . (Mike Ambinder), Valve.

"True NCI" - استبدال واجهات الإدارة "المادية" القياسية ستكون الخطوة الأخيرة. سيؤدي هذا إلى حل مشاكل الواجهات الحديثة: وقت رد فعل طويل ، والحاجة إلى تذكر المفاتيح ، وعدم القدرة على الضغط على العديد من المفاتيح في وقت واحد. لكنه سيضيف أخرى جديدة: على سبيل المثال ، عدم وجود ردود فعل ملموسة. بعد أن غاب عن مفتاح "القفزة" ، ليس من الصعب أن نفهم لماذا لم تقفز الشخصية. مع الأمر المعطى عقليا ، لم يعد الوضع نفسه واضحا.

المرحلة الأخيرة في تطوير NQI هي إنشاء "Matrix": أجهزة إخراج البيانات مباشرة إلى الدماغ ، وتجاوز الشاشات وخوذات الواقع الافتراضي وأنظمة الصوت. وفقًا لـ Gabe ، فإن الدراسات النظرية جارية بالفعل وتجلب الكثير من المفاجآت: المهام "المعقدة" خارجيًا - "التوصيل" بالقشرة الحركية - تبين أنها بسيطة نسبيًا ، في حين أن البعض الآخر - على سبيل المثال ، تقليد الشعور بالبرد - معقد بشكل لا يصدق.

اتضح أن الدماغ لديه واجهات مدمجة جيدة جدًا لبعض الأشياء ، وأخرى سيئة جدًا للآخرين. غابي نيويل ، المؤسس المشارك والرئيس التنفيذي لشركة Valve

جهاز TMS يستخدمه Valve.

في الوقت نفسه ، لا يزال التسلق داخل الجمجمة غير ضروري. بالنسبة للبحث الأساسي ، يكفي التحفيز المغناطيسي عبر الجمجمة - وهي طريقة تتأثر فيها بعض هياكل الدماغ بالنبضات المغناطيسية ، مما يتسبب في التحفيز العميق. الآن يتم استخدام هذا النهج بشكل رئيسي لعلاج بعض الأمراض العقلية والعصبية ، والتي يتم استخدام TMS بشكل خاص في Valve Mike لم يحددها.

يزرع الدماغ. كيف تحبها يا جابي؟

يمكن تنفيذ الكثير مما وصفه مايك باستخدام تخطيط أمواج الدماغ. لكنه يعترف بأن عمليات الزرع في يوم من الأيام ستصبح شائعة مثل عملية الليزك - وهي عملية لتصحيح الرؤية بالليزر. يطلق مايك على هذه النقطة اسم "عتبة الليزك". سوف يتغلب Elon Musk على ذلك ، الذي قدمت شركته Neuralink بالفعل غرسة N1 ، واعدًا ببدء التجارب السريرية في عام 2020. جراح روبوت

تم إنشاؤه في Neuralink ، قادرًا على زرع ما يصل إلى 192 قطبًا في الدقيقة بدقة عدة ميكرونات.

زرع خيوط على مراحل باستخدام أقطاب كهربائية بواسطة روبوت في الركيزة التي تحاكي أنسجة المخ. قام Neuralink بعمل رائع في إنشاء 20 نوعًا من الخيوط لمهام مختلفة.

وفقًا لـ Philip Sabes ، موظف Neuralink في جامعة كاليفورنيا في سان فرانسيسكو ، فإن الهدف الرئيسي للمشروع هو مساعدة الأشخاص المشلولين. بما في ذلك - إعادة الفرصة لممارسة الرياضة ، على الأقل تقريبًا ، من خلال الألعاب.

وقد تم بالفعل اختبار بعض NQIs الغازية في البشر. سمحت زراعة Braingate داخل القشرة في عام 2008 للمريض المشلول تمامًا بالتحكم في المؤشر ، وبالفعل في عام 2012 - لأخذ زجاجة بذراع آلي من الطاولة وأخذ رشفة. مع تقنية Neuralink ، يمكن توسيع قدرات هذه الواجهات.

يمكن أن تساعد الواجهات العصبية الأشخاص في استعادة السمع والرؤية وتحسين الأطراف الاصطناعية وحتى استعادة وظائف الأجزاء المشلولة من الجسم.

معالجة البيانات الأولية ASIC Neuralink module مباشرة داخل الجمجمة.

إن إخراج البيانات من الدماغ في حالة الغرسة الغازية لا يقل تعقيدًا عن EEG. من أجل عدم تشويه المعلومات ، من الأفضل إجراء المعالجة الأولية ، وتضخيم الإشارة ، وقمع الضوضاء أقرب ما يمكن إلى الخلايا العصبية. لهذا الغرض ، طورت Neuralink وحدات توصيل وتشغيل خاصة يمكن وضعها مباشرة داخل صندوق الجمجمة للمريض. فهي تتصل بواجهات قياسية مثل USB-c ، وبلوتوث في المستقبل ، ولكن ميزتها الرئيسية هي قابلية التوسع ، والتي تسمح لك بتوصيل عدد كبير من الوحدات في وقت واحد.

يلون نفسه ، كما هو الحال دائمًا ، يصيغ أهدافًا بشكل أكثر جرأة: فهو يريد إنشاء "NQI كامل الدماغ" ، مما يوفر التعايش الشخصي مع الذكاء الاصطناعي. في الوقت نفسه ، يعترف رجل الأعمال بأنه حتى مع كل إنجازات Neuralink ، لا يزال هذا رائعًا.

أقرب إلى الواقع

في نوفمبر 2019 ، استحوذ Facebook على معامل CTRL. ربما جذبت مختبرات CTRL الانتباه من خلال حقيقة أنها تخطط للوصول إلى الهدف الرئيسي لأي NQI - الدماغ - ليس على الإطلاق من خلال الثقوب في الجمجمة. وهذا النهج يبدو أكثر واقعية من الآخرين.

أحد أقدم إصدارات مجموعة CTRL.

مدير مختبرات CTRL توماس ريردونيشرح أن غرسة Neuralink جيدة للمرضى المصابين بالشلل ، لكن الشخص السليم لديه بالفعل واجهة عصبية جاهزة - النهايات العصبية والعضلات المتصلة بهم. تعتبر الطرق غير الغازية مناسبة بشكل مثالي هنا: النشاط الناتج عن العضلات أقوى عدة مرات من الإشارة من أي بنية دماغية. عمليًا ، لا يلزم خوارزميات فك تشفير EEG الأكثر تعقيدًا - فقد تم بالفعل العمل الرئيسي من قبل جسم الإنسان. لذلك ، فإن مجموعة CTRL-kit التي تم تقديمها في عام 2018 ليست "خوذة" ، ولكنها سوار للتصوير الكهربائي .

واحدة من المختبرات CTRL "الألعاب" المختبرات. تطورات الشركة حتى الآن أشبه بواجهة جاهزة للألعاب من أي شيء يعمل على أساس EEG.

واجهة، على غرار CTRL-عدة، ظهر في عام 2009. لكن التشابه خارجي فقط: لا تعمل وحدة التحكم هذه بدون تقلص العضلات.

في الوقت نفسه ، يمكن اعتبار CTRL-kit واجهة كاملة بين الدماغ والحاسوب تقرأ نشاط الخلايا العصبية. لإثبات ذلك ، تم ربط ديناصور من Google Chrome بالسوار.

شرح استخدام مجموعة CTRL للسيطرة على ديناصور من جوجل كروم.

وفقًا لـ Philip ، تستغرق الدراسة 90 ثانية في المتوسط. في المرحلة الأولى من التدريب ، يضغط اللاعب ببساطة على زر. بعد ذلك - يقلد الضغط بمساعدة العضلات - أولاً بصعوبة ، ثم - بشكل انعكاسي تقريبًا. وهنا يحدث الشيء الأكثر إثارة للاهتمام: يتم استبعاد العضلات من السلسلة.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

الجواب عند نقطة ما: ليست هناك حاجة لتقلص العضلات ، فقط فكر في الحركة - هذا الدافع يكفي لكي تتفاعل مجموعة CTRL - سوف يقفز الديناصور.

خذ كوبًا من المائدة وأحضره إلى فمك - ما الذي يمكن أن يكون أسهل؟ لكن المهمة بسيطة للوهلة الأولى فقط - في كل مرة تتغير فيها المسافة إلى الكأس ، ومادته ، ووزنه ، وشكله ، ومعلمات أخرى. يتكيف الشخص البالغ بسهولة مع هذه التغييرات - بالإضافة إلى الخيارات المختلفة لاستخدام مجموعة CTRL. دراسة كيفية حدوث التكيف الحركي مفيدة في الروبوتات - الآلات لا تعرف حتى الآن كيفية التكيف بشكل جيد مع الظروف المتغيرة.

تستخدم الواجهة جزئياً مبدأ " الثرثرة الحركية"- حركات فوضوية ، بمساعدة الطفل يصنع" خريطة "للجسم ، وربط نشاط مناطق معينة من الدماغ بالحركات. تدريجيا ، تتحسن عملية مثل هذا التدريب ، لكنها لا تتوقف أبدا. تقوم Ctrl-labs بشكل أساسي بإعادة توجيه هذه القدرة على التكيف مع تطوير الواجهات الحركية.

لا تعمل مجموعة CTRL فقط - فهي تساعد على إعادة إنشاء السلاسل التي يتم فيها دمج الخلايا العصبية. الاختراق الرئيسي ، وفقًا لتوماس ، هو أن تقنية CTRL-labs يمكنها اكتشاف نشاط الخلايا العصبية الفردية. لم يتم نشر دليل على ذلك بعد ، لكن الشركة تعد بنشر مقال في المستقبل القريب ، وإذا اتضح أنه مقنع ، فإن الهدف الرئيسي لبيولوجيا الأعصاب - فك رموز كيفية عمل الدماغ ، سيصبح أقرب كثيرًا ، بالإضافة إلى إنشاء NQI دون وساطة العضلات والخلايا العصبية الطرفية.

من الجدير بالذكر أنه في Valve ، يبدو أنهم مهتمون أيضًا بالجهاز العصبي المحيطي. يذكر مايك هذا النهج كطريقة محتملة لتقليل وقت الاستجابة. على سبيل المثال ، إذا وصلت الإشارة من الدماغ إلى الأصابع إلى 100 مللي ثانية (يتم أخذ الرقم كمثال) ، فإن "اعتراض" الإشارة على اقتراب العضلات سيساعد في توفير 10-30 مللي ثانية. للوهلة الأولى ، هذا غير مهم ، لكن مثل هذا "الغش" سيسعد الرياضيين الإلكترونيين بالتأكيد. صحيح ، في حين أن الواجهات لا يمكنها سوى زيادة وقت الاستجابة ، ولكن التكنولوجيا لا تقف ثابتة.

ماذا سيحدث بعد

طرح الخيال العلمي العديد من القضايا الأخلاقية المتعلقة بـ NQIs ، لكن عالم ما بعد NQI سيشكل بالتأكيد المزيد.

غابي واثق من أن التكنولوجيا سوف تجد التطبيق في جميع قطاعات صناعة الترفيه ، ولكنها تشكك في التوقعات. ووفقا له ، فإن تقديم عالم ما بعد NQI الآن هو مثل محاولة شرح ما هو الإنترنت لشخص لم يسمع به من قبل. "رائع ، يمكنك البحث عن وصفات هناك!" - سيقول مثل هذا الشخص ، لكنه لن يتمكن من التنبؤ بمظهر أوبر ، على سبيل المثال.

إن إجبار اللاعبين طواعية على شراء أجهزة جديدة ليس بهذه البساطة. إن التطور المكلف للمؤسسات غير الوطنية في هذا الصدد يمثل خطرًا كبيرًا. لقطة شاشة من Half-Life: Alyx (2020).

ومع ذلك ، يقول جميع المطورين أن NII ستصبح تطويرًا منطقيًا لتقنيات الواقع الافتراضي. إن جعل اللاعب يرتدي خوذة ليس مهمة سهلة ، ولكن إضافة أقطاب NKI إلى سماعة VR يمكن أن تغير بشكل كبير شعور اللعبة وتجعل الجهاز جذابًا.

كانت هناك بالفعل محاولات لإنشاء خوذات هجينة - أظهر Neurable مثل هذا الجهاز في العديد من المعارض وحتى الإعلان عن لعبة Awakening ، لكن الإصدار لم يحدث بعد.

الواقع الافتراضي مذكور في خطابات موظفي جميع الشركات. ولكن ما لم يقله أحد كم من الوقت ينتظر. لم يعلن مايك إمبندر ولا غابي نيويل عن تاريخ إصدار Half-Life 3 على NKI. فيليب Sabes و Elon Musk ، على الرغم من أنهما يذكران اللعبة ، ولكن من غير المحتمل أن تحل الغرسة الغازية محل لوحة الألعاب على الفور. فقط توماس ريردون يسمي تواريخ محددة - وبالنظر إلى النهج الواقعي لمختبرات CTRL ، لا يوجد سبب لعدم تصديقه. ووفقًا له ، لن تظهر NKIs الجماعية الأولى في السوق حتى عام 2024.

مواد إضافية:

بالنسبة لأولئك الذين يتوقون لتجربة NQI ، قمنا بتجميع قائمة من الروابط بالنظرية ، وكذلك مع الأجهزة والتطبيقات التي يتم بيعها بالفعل أو يتم إعدادها للإصدار.

تاريخ ومستقبل BCI:

openbci.com — -, open-source . , .
store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
emotiv.com – Neurosky, , -. « » . .
brainco.tech – BrainCo, . , .
next-mind.com - بدء تشغيل NextMind ، المثير للاهتمام في المقام الأول لأن devkit الإصدار القادم هو جهاز EEG الأكثر إحكاما ومحمولا. كما يعد المطورون بالتوافق مع الألعاب.

المؤلف:

إيفان سميرنوف (I) ، الفنان المفهوم ، الرسام ، مؤسس مدرسة سميرنوف.
أرتيمي تريتياكوف ، عالم الوراثة ، مؤلف في مدرسة سميرنوف.

واجهات الكمبيوتر العصبية للألعاب: ما هو معروف اليوم