👨🏼‍🎨 🙇🏼 🐳 Interfaces de neuro-ordinateurs pour les jeux: ce que l'on sait aujourd'hui 🕒 🤛 🚴🏼

Relativement récemment, le co-fondateur de Valve, Gabe Newell, a déclaré que l'humanité est déjà beaucoup plus proche de la «matrice» qu'elle ne le semble. Mon co-auteur et moi avons décidé de savoir si c'était le cas et pourquoi Valve, Facebook et Elon Musk essayaient de connecter le cerveau à l'ordinateur.

Illusion de contrôle

Une interface de neuro-ordinateur (NCI) ou une interface cerveau-ordinateur (BCI) est un système conçu pour échanger des informations directement entre le cerveau et l'ordinateur. Le concept a été décrit par Joseph Liklider dès 1960 dans un article avec le titre sonore « Symbiose homme-ordinateur». Maintenant, la publication a plus de chances d'avoir une valeur historique, mais des tentatives actives pour entrer dans une telle symbiose ont été entreprises depuis la fin des années 2000.

Peut-être alors NeuroSky s'est-il montré plus que d'autres, avec Square Enix, qui a présenté au Tokyo Game Show 2008 un jeu de preuve de concept Judecca. En 2009, NeuroSky a même lancé des jeux de société NKI commerciaux, que vous pouvez toujours acheter, mais s'ils lisent l'activité cérébrale ou exploitent le phénomène de l' illusion de contrôle est une question ouverte.

Les produits des autres sociétés ne sont pas allés au-delà des limites des conférences et les dirigeants de l'industrie du jeu ont soit gardé le silence, soit déclaré qu'ils n'étaient pas impliqués dans le développement de NKI.

Les jeux Mindflex et StarWars Force Trainer de NeuroSky sont toujours les appareils BCI les plus performants, malgré les contradictions.

En 2012, le Laboratoire des interfaces de neuro-ordinateurs de l'Université de Graz à Graz a présenté le NCI pour World of Warcraft. Le système fonctionnait, mais ne pouvait évidemment pas remplacer une souris par un clavier.

«Apprendre» l'interface et le joueur: pour associer un signal du cerveau à une certaine équipe, l'utilisateur doit d'abord bouger sa main, et penser à ce mouvement en cours de partie.

Progressivement, il est devenu clair qu'une révolution ne se produirait pas. Ils ont oublié NQI, mais exactement jusqu'à ce que le célèbre fondateur de Valve, Gabe Newell, annonce dans une interview le 18 mars 2020 que la société menait des recherches neurobiologiques, ajoutant que nous sommes beaucoup plus proches de la matrice que Beaucoup pensent. Presque simultanément, un rapport est sortiselon lequel le marché NKI serait estimé à 2,96 milliards de dollars d'ici 2027.

Ce que Gabe n'a pas dit

Il y a un an, un employé de Valve, psychologue expérimental, le Dr Mike Ambinder, a parlé à la Game Developers Conference 2019 du développement et des applications de NQI. Comparé à l'interview de Gabe, presque personne n'a remarqué son discours, bien qu'il ait parlé beaucoup plus des plans de l'entreprise.

Mike fait partie du casque OpenBCI EEG , une communauté de passionnés qui développent des solutions NKI open source.

Valve n'a pas encore emprunté la voie «Matrix», se connectant directement au cerveau, mais utilisant un «casque» spécial pour l' électroencéphalographie (EEG). Cette approche présente des inconvénients, à savoir le bruit et la faible bande passante (par exemple, les auteurs du NCI pour World of Warcraft ont estimé le taux de transfert de données à <100 bps).

Les principales méthodes pour obtenir des informations sur l'activité cérébrale, notamment en utilisant la capture du signal sur les nerfs et les muscles périphériques.

Les inconvénients sont dus en partie au signal traversant la peau et les os. L'EEG est généralement comparé à essayer de comprendre ce qui se passe sur le terrain de football, à se tenir à l'extérieur des murs du stade et à écouter les cris des fans.

Suivre le match «depuis les tribunes» permet d'autres méthodes:

L'électrocorticographie, ECOG - ou EEG intracrânien (électroencéphalographie intracrânienne - iEEG) - la méthode chirurgicale la plus «douce», lorsque les électrodes sont adjacentes directement à la surface du cerveau. Il n'y a pas d'interférence profonde dans sa structure.
Enregistrement intracortical ( enregistrements intracorticaux) et implants - méthode avec introduction de l'électrode dans l'épaisseur du moteur de l'écorce. Rend les électrodes encore plus proches de la source du signal, et l'opération est encore plus compliquée.

Mais le caractère non invasif de l'EEG couvre jusqu'à présent tous les inconvénients, et Mike pense que ses capacités n'ont pas encore été épuisées. Déjà, il vous permet d'évaluer:

Le joueur aime les événements à l'écran ou est sur le point de mourir d'ennui;
Tendu lors d'une mission difficile ou détendu et confiant;
Est capable de concentrer et d'absorber de nouvelles informations. Pourtant, le gameplay implique la formation du joueur - la gestion, les spécificités du gameplay, etc. des choses;
Signaux moteurs - avec quels mouvements et avec quelle intensité le joueur réagit à certains stimuli du jeu.

Et bien d'autres paramètres plus subtils. Le développement actif d'algorithmes d'apprentissage automatique permet d'extraire progressivement de plus en plus de données EEG.

Ne vous précipitez pas pour jeter le clavier

Très probablement, la façon dont NKI dans l'industrie du jeu ne commence pas par l'immersion dans la réalité virtuelle.

Selon Mike, maintenant NKI vous permet principalement d'obtenir un nouveau feedback du joueur qui peut améliorer la qualité des jeux. Mike pense que la technologie passera par trois étapes de développement.

Chaque interface est une interface cerveau-ordinateur. La seule différence est le lien matériel intermédiaire avec lequel nous traduisons nos intentions en quelque chose de convenable. Dr Mike Ambinder, psychologue expérimental Valve.

À court terme, les NKI trouveront des applications dans le développement de jeux et rendront le processus de test plus efficace. Maintenant, la méthode habituelle pour déterminer les émotions d'un testeur est une enquête. Dans le même temps, elle ne peut être effectuée qu'après avoir passé le niveau de jeu, lorsque certaines impressions sont déjà oubliées, lissées ou repensées. La lecture des réponses cérébrales en temps réel à un stimulus dans le jeu est beaucoup plus objective et aidera à améliorer les niveaux de conception, ou plutôt à tomber dans des émotions planifiées.

Une analyse des mouvements oculaires, du rythme cardiaque, de la tension musculaire et même de la posture est un moyen d'évaluer l'état d'un joueur sans toucher le cerveau. Cela peut être tout aussi intéressant que l'EEG.

Progressivement, NCI deviendra plus accessible et ira au-delà des studios. À la deuxième étape, le jeu lui-même aura accès aux données. Selon Mike, cela changera complètement le concept de gameplay adaptatif. Les niveaux de difficulté traditionnels deviendront obsolètes - le monde du jeu s'adaptera à un joueur spécifique, déterminant quels ennemis lui causent le plus de problèmes, qu'il veuille se détendre après une dure journée ou qu'il s'ennuie en prévision d'une bataille difficile.

Les utilisateurs sont-ils prêts à partager leur statut et même leurs pensées avec le jeu ou à le trouver trop personnel?

En fin de compte, les personnages du jeu seront en mesure de répondre à l'humeur et à l'état émotionnel du joueur, en prenant des décisions en fonction de ces paramètres.

Le mimétisme dans LA Noir (2011) permet à un joueur de deviner si un personnage ment ou dit la vérité. Avec l'avènement de NKI, les rôles peuvent changer.

, , , . RPG, . (Mike Ambinder), Valve.

«True NCI» - remplacer les interfaces de gestion standard «physiques» sera la dernière étape. Cela résoudra les problèmes des interfaces modernes: un temps de réaction long, la nécessité de se souvenir des touches, l'impossibilité d'appuyer sur plusieurs touches à la fois. Mais il en ajoutera de nouveaux: par exemple, le manque de rétroaction tactile. Ayant raté la touche "jump", il n'est pas difficile de comprendre pourquoi le personnage n'a pas sauté. Avec la commande donnée mentalement, la même situation n'est plus aussi claire.

La dernière étape du développement de NQI est la création de la très «matrice»: des dispositifs de sortie de données directement vers le cerveau, en contournant les moniteurs, les casques VR et les systèmes audio. Selon Gabe, les études théoriques sont déjà en cours et apportent beaucoup de surprises: tâches «complexes» externes - «connexion» au cortex moteur - s'avèrent être relativement simples, tandis que d'autres - par exemple, imitant une sensation de froid - sont incroyablement complexes.

Il s'avère que le cerveau a de très bonnes interfaces intégrées pour certaines choses et de très mauvaises pour d'autres. Gabe Newell, co-fondateur et PDG de Valve

Appareil TMS utilisé par Valve.

En même temps, grimper à l'intérieur du crâne n'est toujours pas nécessaire. Pour la recherche primaire, la stimulation magnétique transcrânienne est suffisante - une méthode dans laquelle certaines structures cérébrales sont affectées par des impulsions magnétiques, provoquant une stimulation profonde. Maintenant, cette approche est principalement utilisée pour le traitement de certaines maladies mentales et neurologiques, pour lesquelles le TMS est spécifiquement utilisé dans Valve Mike n'a pas précisé.

Implants cérébraux. Ça te plaît, Gabe?

Une grande partie de ce que Mike a décrit peut être implémentée à l'aide d'EEG. Mais il admet qu'un jour, les implants deviendront aussi courants que le LASIK - une opération de correction de la vue au laser. Mike appelle ce point «seuil LASIK». Elon Musk va le surmonter, dont la société Neuralink a déjà introduit l'implant N1, promettant de commencer les essais cliniques en 2020.

Un robot chirurgien créé chez Neuralink , capable d'implanter jusqu'à 192 électrodes par minute avec une précision de plusieurs microns.

L'implantation progressive de filaments avec des électrodes par un robot dans un substrat simulant le tissu cérébral. Neuralink a fait un excellent travail en créant 20 types de threads pour différentes tâches.

Selon Philip Sabes, un employé de Neuralink à l'Université de Californie à San Francisco, l'objectif principal du projet est d'aider les personnes paralysées. Y compris - rendre la possibilité de faire du sport, au moins virtuellement, par le biais de jeux.

Certains INQ invasifs ont déjà été testés chez l'homme. L'implant intracortical Braingate en 2008 a permis à un patient complètement paralysé de contrôler le curseur, et déjà en 2012 - de prendre une bouteille avec un bras robotique de la table et de prendre une gorgée. Avec la technologie Neuralink, les capacités de ces interfaces peuvent être étendues.

Les interfaces neuro peuvent aider les gens à retrouver l'audition, la vision, à améliorer les prothèses et même à restaurer les fonctions des parties paralysées du corps.

Module de traitement des données primaires ASIC Neuralink directement à l'intérieur du crâne.

La sortie des données du cerveau dans le cas d'un implant invasif n'est pas moins compliquée qu'avec l'EEG. Afin que les informations ne soient pas déformées, le traitement primaire, l'amplification du signal et la suppression du bruit doivent être effectués le plus près possible des neurones. Pour cela, Neuralink a développé des modules plug-and-play spéciaux qui peuvent être placés directement à l'intérieur de la boîte crânienne du patient. Ils se connectent à des interfaces standard comme USB-c et, à l'avenir, Bluetooth, mais leur principal avantage est l'évolutivité, qui vous permet de connecter un grand nombre de modules à la fois.

Ilon lui-même, comme toujours, formule des objectifs encore plus audacieux: il veut créer un «INQ plein cerveau», fournissant la symbiose même d'une personne dotée d'une intelligence artificielle. Dans le même temps, l'homme d'affaires admet que même avec toutes les réalisations de Neuralink, c'est toujours fantastique.

Plus proche de la réalité

En novembre 2019, Facebook a acquis les laboratoires CTRL. Peut-être que les laboratoires CTRL ont attiré l'attention du fait qu'ils prévoient d'atteindre l'objectif principal de tout INQ - le cerveau - pas du tout à travers les trous dans le crâne. Et cette approche semble plus réaliste que les autres.

L'une des premières versions du kit CTRL. Thomas Reardon,

directeur des laboratoires du CTRLexplique que l'implant Neuralink est bon pour les patients paralysés, mais qu'une personne en bonne santé a déjà une interface neuronale prête à l'emploi - les terminaisons nerveuses et les muscles qui leur sont connectés. Les méthodes non invasives sont ici parfaitement adaptées: l'activité générée par les muscles est plusieurs fois plus forte que le signal de n'importe quelle structure cérébrale. Les algorithmes de décryptage EEG les plus compliqués ne sont pratiquement pas nécessaires - le travail principal a déjà été effectué par le corps humain. Par conséquent, le kit CTRL introduit en 2018 n'est pas un «casque», mais un bracelet pour l' électromyographie .

L'un des "jeux" de démonstration CTRL-labs. Les développements de l'entreprise ressemblent beaucoup plus à une interface prête pour le jeu qu'à tout ce qui fonctionne sur la base de l'EEG.

L'interface, similaire au kit CTRL, est apparue en 2009. Mais la similitude n'est qu'externe: un tel contrôleur ne fonctionne pas sans contraction musculaire.

Dans le même temps, le kit CTRL peut être considéré comme une interface cerveau-ordinateur complète qui lit l'activité des neurones. Pour le prouver, un dinosaure de Google Chrome a été connecté au bracelet.

Démonstration de l'utilisation du kit CTRL pour contrôler un dinosaure à partir de Google Chrome.

Selon Philip, il faut en moyenne 90 secondes pour étudier. Au premier stade de l'entraînement, le joueur appuie simplement sur un bouton. Après - il imite le pressage à l'aide des muscles - d'abord avec difficulté, puis - presque par réflexe. Et ici, la chose la plus intéressante se produit: les muscles sont exclus de la chaîne.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

À un moment donné, la réponse est: il n'est pas nécessaire de contracter les muscles, il suffit de penser au mouvement - cette impulsion est suffisante pour que le kit CTRL réagisse - le dinosaure va sauter.

Prenez une tasse sur la table et apportez-la à votre bouche - quoi de plus simple? Mais la tâche n'est simple qu'à première vue - à chaque fois que la distance à la tasse, son matériau, son poids, sa forme et d'autres paramètres changent. Un adulte s'adapte facilement à ces changements - ainsi qu'aux différentes options d'utilisation du kit CTRL. Une étude de la façon dont l'adaptation motrice se produit est utile en robotique - les machines ne savent pas encore si bien s'adapter aux conditions changeantes.

L'interface utilise en partie le principe du " babillage moteur ""- mouvements chaotiques à l'aide desquels le bébé fait une" carte "du corps, reliant l'activité de certaines zones du cerveau aux mouvements. Progressivement, le processus d'une telle formation s'améliore, mais ne s'arrête jamais. Les Ctrl-lab redirigent essentiellement cette capacité à s'adapter au développement des interfaces moteurs.

Le kit CTRL ne fonctionne pas seulement - il aide à recréer les chaînes dans lesquelles les neurones sont combinés. Selon Thomas, la principale percée est que la technologie des laboratoires CTRL peut détecter l'activité de neurones individuels. La preuve de cela n'a pas encore été publiée, mais la société promet de publier un article dans un proche avenir, et si cela s'avère convaincant, alors le principal objectif de la neurobiologie - déchiffrer le fonctionnement du cerveau, deviendra beaucoup plus proche, ainsi que la création de l'INQ sans médiation des muscles et des neurones périphériques.

Il convient de noter que chez Valve, apparemment, ils s'intéressent également au système nerveux périphérique. Mike mentionne cette approche comme un moyen potentiel de réduire le temps de réponse. Par exemple, si le signal du cerveau aux doigts atteint 100 millisecondes (le nombre est pris comme exemple), alors «l'interception» du signal à l'approche du muscle permettra d'économiser 10-30 millisecondes. À première vue, c'est insignifiant, mais une telle «tricherie» plaira sûrement aux e-sportifs. Certes, les interfaces ne peuvent qu'augmenter le temps de réponse, mais la technologie ne s'arrête pas.

Que va-t-il se passer ensuite

La science-fiction a posé de nombreux problèmes éthiques liés aux INQ, mais le monde post-INQ posera certainement encore plus.

Gabe est convaincu que la technologie trouvera une application dans tous les secteurs de l'industrie du divertissement, mais est sceptique quant aux prévisions. Selon lui, présenter le monde post-NQI, c'est comme essayer d'expliquer ce qu'est Internet à une personne qui n'en a jamais entendu parler. "Cool, vous pouvez chercher des recettes là-bas!" - Une telle personne dira, mais elle ne pourra pas prédire l'apparition, par exemple, d'Uber.

Forcer volontairement les joueurs à acheter de nouveaux appareils n'est pas si simple. Le développement coûteux des INQ à cet égard représente un risque énorme. Capture d'écran de Half-Life: Alyx (2020).

Néanmoins, tous les développeurs affirment que NII deviendra un développement logique des technologies de réalité virtuelle. Faire porter un casque à un joueur n'est pas une tâche facile, mais l'ajout d'électrodes NKI au casque VR peut changer radicalement la sensation du jeu et rendre l'appareil attrayant.

Il y a déjà eu des tentatives de création de casques hybrides - Neurable a montré un tel appareil lors de plusieurs expositions et a même annoncé le jeu Awakening, mais la sortie n'a pas encore eu lieu.

La réalité virtuelle est mentionnée dans les discours des employés de toutes les entreprises. Mais ce que personne n'a dit, c'est combien attendre. Ni Mike Embinder ni Gabe Newell n'ont annoncé la date de sortie de Half-Life 3 sur NKI. Philip Sabes et Elon Musk, bien qu'ils mentionnent le jeu, mais l'implant invasif ne remplacera probablement pas immédiatement la manette de jeu. Seul Thomas Reardon nomme des dates précises - et étant donné l'approche réaliste des laboratoires CTRL, il n'y a aucune raison de ne pas le croire. Selon lui, les premiers NKI de masse n'apparaîtront sur le marché qu'en 2024.

Matériaux additionnels:

Pour ceux qui sont désireux d'essayer le NQI, nous avons compilé une liste de liens avec la théorie, ainsi qu'avec des appareils et des applications qui sont déjà vendus ou en préparation pour la sortie.

Histoire et avenir de BCI:

openbci.com — -, open-source . , .
store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
emotiv.com – Neurosky, , -. « » . .
brainco.tech – BrainCo, . , .
next-mind.com - Démarrage de NextMind , intéressant principalement parce que leur prochaine version devkit est l'appareil EEG le plus compact et le plus mobile. De plus, les développeurs promettent une compatibilité avec les jeux.

Auteurs:

Ivan Smirnov (I), artiste conceptuel, illustrateur, fondateur de l'école Smirnov.
Artemy Tretyakov, généticien, auteur à l'école Smirnov.

Interfaces de neuro-ordinateurs pour les jeux: ce que l'on sait aujourd'hui