Get best of the week

Interfaces de neurocomputadora para juegos: lo que se conoce hoy

Hace relativamente poco tiempo, el cofundador de Valve, Gabe Newell, dijo que la humanidad ya está mucho más cerca de la "Matriz" de lo que parece. Mi coautor y yo decidimos averiguar si esto es así y por qué Valve, Facebook y Elon Musk están tratando de conectar el cerebro a la computadora.





Ilusión de control


Una interfaz de neurocomputadora (NCI) o una interfaz cerebro-computadora (BCI) es un sistema diseñado para intercambiar información directamente entre el cerebro y la computadora. El concepto fue descrito por Joseph Liklider ya en 1960 en un artículo con el título sonoro " Simbiosis hombre-computadora". Ahora es más probable que la publicación tenga un valor histórico, pero desde finales de la década de 2000 se han realizado intentos activos para entrar en esa simbiosis.

Quizás entonces NeuroSky se mostró más que otros, junto con Square Enix, que presentó en el Tokyo Game Show 2008 un juego de prueba de concepto, Judecca. En 2009, NeuroSky incluso lanzó juegos de mesa NKI comerciales, que aún puede comprar, pero es una pregunta abierta si leen la actividad cerebral o explotan el fenómeno de la ilusión de control .

Los productos del resto de las compañías básicamente no fueron más allá de los límites de las conferencias, y los líderes de la industria del juego guardaron silencio o dijeron que no estaban involucrados en el desarrollo de NKI.

imagen
Los juegos Mindflex y StarWars Force Trainer de NeuroSky siguen siendo los dispositivos BCI más exitosos, a pesar de las contradicciones.


En 2012, el Laboratorio de Interfaces de Neurocomputadoras de la Universidad de Graz en Graz presentó el NCI para World of Warcraft. El sistema funcionaba, pero obviamente no podía reemplazar un mouse con un teclado.


"Aprendiendo" la interfaz y el jugador: para asociar una señal del cerebro con un determinado equipo, el usuario debe primero mover su mano y solo pensar en este movimiento durante el juego.

Poco a poco, se hizo evidente que una revolución no sucedería. Se olvidaron de NQI, pero exactamente hasta que el famoso fundador de Valve, Gabe Newell, anunció en una entrevista el 18 de marzo de 2020 que la compañía estaba realizando una investigación neurobiológica, y agregó que estamos mucho más cerca de Matrix que muchos piensan. Casi simultáneamente, salió un informesegún el cual el mercado NKI se estimará en $ 2.96 mil millones para 2027.

Lo que Gabe no dijo


Hace un año, un empleado de Valve, el psicólogo experimental Dr. Mike Ambinder, habló en la Game Developers Conference 2019 sobre el desarrollo y las aplicaciones de NQI. En comparación con la entrevista de Gabe, casi nadie notó su discurso, aunque habló mucho más sobre los planes de la compañía.

imagen
Mike está en el OpenBCI EEG Headset , una comunidad de entusiastas que desarrollan soluciones NKI de código abierto.

Valve aún no ha tomado el camino de "Matrix", conectándose directamente al cerebro, pero usando un "casco" especial para electroencefalografía (EEG). Este enfoque tiene inconvenientes, es decir, ruido y bajo ancho de banda (por ejemplo, los autores del NCI para World of Warcraft estimaron la velocidad de transferencia de datos en <100 bits / minuto).

imagen
Los principales métodos para obtener información sobre la actividad cerebral, incluido el uso de captura de señal en nervios y músculos periféricos.

Las desventajas se deben en parte a la señal que pasa a través de la piel y los huesos. El EEG generalmente se compara con tratar de entender lo que está sucediendo en el campo de fútbol, ​​pararse fuera de las paredes del estadio y escuchar los gritos de los fanáticos.

Seguir el partido "desde las gradas" permite otros métodos:

  • Electrocorticografía, ECOG - o EEG intracraneal (electroencefalografía intracraneal - iEEG) - el método quirúrgico más "blando", cuando los electrodos son adyacentes directamente a la superficie del cerebro. No se produce una interferencia profunda en su estructura.
  • Grabación intracortical ( grabaciones intracorticales) e implantes: método con introducción del electrodo en el grosor del motor de la corteza. Hace que los electrodos estén aún más cerca de la fuente de señal, y la operación es aún más complicada.

Pero la no invasividad del EEG hasta ahora cubre todas las desventajas, y Mike cree que sus capacidades aún no se han agotado. Ya te permite evaluar:

  • El jugador está interesado en los eventos en la pantalla o está a punto de morir de aburrimiento;
  • Tenso durante una misión difícil o relajado y confiado;
  • Es capaz de concentrarse y absorber nueva información. Aún así, la jugabilidad implica entrenar al jugador: administración, detalles específicos del juego, etc. cosas;
  • Señales motoras: con qué movimientos y con qué intensidad reacciona el jugador a ciertos estímulos en el juego.

Y muchos otros parámetros más sutiles. El desarrollo activo de algoritmos de aprendizaje automático gradualmente hace posible extraer más y más de los datos de EEG.

No te apresures a tirar el teclado



Lo más probable es que la forma en que NKI en la industria del juego no comienza con la inmersión en la realidad virtual.

Según Mike, ahora NKI te permite obtener una nueva respuesta del jugador que puede mejorar la calidad de los juegos. Mike cree que la tecnología pasará por tres etapas de desarrollo.

Cada interfaz es una interfaz cerebro-computadora. La única diferencia es el enlace de hardware intermedio con el que traducimos nuestras intenciones en algo adecuado para su uso. Dr. Mike Ambinder, psicólogo experimental Valve.

A corto plazo, los NKI encontrarán aplicación en el desarrollo de juegos y harán que el proceso de prueba sea más eficiente. Ahora, el método habitual para determinar las emociones de un probador es una encuesta. Al mismo tiempo, se puede llevar a cabo solo después de pasar el nivel del juego, cuando algunas impresiones ya se han olvidado, suavizado o repensado. Leer las respuestas cerebrales en tiempo real a un estímulo en el juego es mucho más objetivo y ayudará a mejorar los niveles de diseño, o más bien caer en las emociones planificadas.

imagen
Un análisis del movimiento ocular, los latidos del corazón, la tensión muscular e incluso la postura es una forma de evaluar la condición de un jugador sin tocar el cerebro. Esto puede ser de no menos interés que el EEG.

Gradualmente, el NCI se volverá más accesible e irá más allá de los estudios. En la segunda etapa, el juego en sí tendrá acceso a los datos. Esto, según Mike, cambiará por completo el concepto de juego adaptativo. Los niveles de dificultad tradicionales se volverán obsoletos: el mundo del juego se adaptará a un jugador específico, determinando qué enemigos le causan más problemas, si quiere relajarse después de un día difícil o si está aburrido en anticipación de una batalla difícil.

imagen
¿Están los usuarios listos para compartir su estado e incluso pensamientos con el juego o lo encuentran demasiado personal?

En última instancia, los personajes del juego podrán responder al estado de ánimo y al estado emocional del jugador, tomando decisiones basadas en estos parámetros.


La mímica en LA Noir (2011) permite a un jugador adivinar si un personaje miente o dice la verdad. Con la llegada de NKI, los roles pueden cambiar.

, , , . RPG, . (Mike Ambinder), Valve.

"True NCI": reemplazar las interfaces de administración estándar y "físicas" será el último paso. Esto resolverá los problemas de las interfaces modernas: un tiempo de reacción prolongado, la necesidad de recordar teclas, la incapacidad de presionar muchas teclas a la vez. Pero agregará otros nuevos: por ejemplo, la falta de retroalimentación táctil. Al haber perdido la tecla "saltar", no es difícil entender por qué el personaje no saltó. Con el comando dado mentalmente, la misma situación ya no es tan clara.

La etapa final en el desarrollo de NQI es la creación de la "Matriz": dispositivos de salida de datos directamente al cerebro, evitando monitores, cascos de realidad virtual y sistemas de audio. Según Gabe, los estudios teóricos ya están en marcha y traen muchas sorpresas: tareas "complejas" externas - "conexión" a la corteza motora - resultan ser relativamente simples, mientras que otros, por ejemplo, imitando una sensación de frío, son increíblemente complejos.


Resulta que el cerebro tiene muy buenas interfaces integradas para algunas cosas, y muy malas para otras. Gabe Newell, cofundador y CEO de Valve


Dispositivo TMS utilizado por Valve.

Al mismo tiempo, aún no es necesario escalar dentro del cráneo. Para la investigación primaria, la estimulación magnética transcraneal es suficiente, un método en el que ciertas estructuras cerebrales se ven afectadas por impulsos magnéticos, lo que provoca una estimulación profunda. Ahora, este enfoque se usa principalmente para el tratamiento de ciertas enfermedades mentales y neurológicas, para las cuales el TMS se usa específicamente en Valve Mike no especificó.

Implantes de cerebro. ¿Qué te parece, Gabe?


Mucho de lo que Mike describió puede implementarse usando EEG. Pero admite que algún día los implantes se volverán tan comunes como LASIK, una operación para la corrección de la visión con láser. Mike llama a este punto "umbral LASIK". Elon Musk lo superará, cuya compañía Neuralink ya ha introducido el implante N1, prometiendo comenzar los ensayos clínicos en 2020.


Un robot cirujano creado en Neuralink , capaz de implantar hasta 192 electrodos por minuto con una precisión de varias micras.


La implantación por fases de filamentos con electrodos por un robot en un sustrato que simula tejido cerebral. Neuralink hizo un gran trabajo al crear 20 tipos de hilos para diferentes tareas.

Según Philip Sabes, un empleado de Neuralink en la Universidad de California en San Francisco, el objetivo principal del proyecto es ayudar a las personas paralizadas. Incluyendo: devolver la oportunidad de practicar deportes, al menos virtualmente, a través de juegos.



Algunos NQI invasivos ya han sido probados en humanos. El implante intracortical Braingate en 2008 permitió a un paciente completamente paralizado controlar el cursor, y ya en 2012, tomar una botella con un brazo robótico de la mesa y tomar un sorbo. Con la tecnología Neuralink, las capacidades de estas interfaces se pueden ampliar.


Las interfaces neurológicas pueden ayudar a las personas a recuperar la audición, la visión, mejorar las prótesis e incluso restaurar las funciones de las partes paralizadas del cuerpo.


Módulo de procesamiento de datos primario ASIC Neuralink justo dentro del cráneo.

La salida de datos del cerebro en el caso de un implante invasivo no es menos complicada que con el EEG. Para que la información no se distorsione, el procesamiento primario, la amplificación de señal y la supresión de ruido se realizan lo más cerca posible de las neuronas. Para esto, Neuralink ha desarrollado módulos especiales plug-and-play que se pueden colocar directamente dentro de la caja craneal del paciente. Se conectan a interfaces estándar como USB-c y, en el futuro, Bluetooth, pero su principal ventaja es la escalabilidad, que le permite conectar una gran cantidad de módulos a la vez.

Ilon mismo, como siempre, formula objetivos aún más audazmente: quiere crear un "NQI de cerebro completo", proporcionando la simbiosis de una persona con inteligencia artificial. Al mismo tiempo, el empresario admite que incluso con todos los logros de Neuralink, esto sigue siendo fantástico.

Más cerca de la realidad


En noviembre de 2019, Facebook adquirió CTRL-labs. Quizás los laboratorios CTRL llamaron la atención por el hecho de que planean alcanzar el objetivo principal de cualquier NQI, el cerebro, en absoluto a través de los agujeros en el cráneo. Y este enfoque parece más realista que los demás.


Una de las primeras versiones del kit CTRL.

Director de CTRL-labs Thomas Reardonexplica que el implante Neuralink es bueno para pacientes paralizados, pero una persona sana ya tiene una interfaz neural preparada: terminaciones nerviosas y músculos conectados a ellos. Los métodos no invasivos son ideales aquí: la actividad generada por los músculos es varias veces más fuerte que la señal de cualquier estructura cerebral. Los algoritmos de descifrado de EEG más complicados prácticamente no se requieren: el trabajo principal ya lo ha realizado el cuerpo humano. Por lo tanto, el kit CTRL introducido en 2018 no es un "casco", sino un brazalete para electromiografía .


Uno de los "juegos" de demostración CTRL-labs. Los desarrollos de la compañía se parecen mucho más a una interfaz lista para el juego que a cualquier cosa que funcione sobre la base de EEG.


La interfaz, similar al kit CTRL, apareció en 2009. Pero la similitud es solo externa: dicho controlador no funciona sin contracción muscular.

Al mismo tiempo, el kit CTRL puede considerarse una interfaz cerebro-computadora completa que lee la actividad de las neuronas. Para probar esto, un dinosaurio de Google Chrome estaba conectado al brazalete.


Demostración del uso del kit CTRL para controlar un dinosaurio desde Google Chrome.

Según Philip, lleva un promedio de 90 segundos estudiar. En la primera etapa de entrenamiento, el jugador simplemente presiona un botón. Después, imita presionar con la ayuda de los músculos, primero con dificultad, luego, casi reflexivamente. Y aquí sucede lo más interesante: los músculos están excluidos de la cadena.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

En algún momento, la respuesta es: no hay necesidad de contraer músculos, solo piense en el movimiento; este impulso es suficiente para que el kit CTRL reaccione: el dinosaurio saltará.


Tome una taza de la mesa y llévesela a la boca. ¿Qué podría ser más fácil? Pero la tarea es simple a primera vista: cada vez que cambia la distancia a la copa, su material, peso, forma y otros parámetros. Un adulto se adapta fácilmente a estos cambios, así como a diferentes opciones para usar el kit CTRL. Un estudio de cómo ocurre la adaptación motora es útil en robótica: las máquinas aún no saben cómo adaptarse tan bien a las condiciones cambiantes.

La interfaz utiliza en parte el principio de " balbuceo motorizado "."- movimientos caóticos, con la ayuda de los cuales el bebé hace un" mapa "del cuerpo, vinculando la actividad de ciertas áreas del cerebro con los movimientos. Poco a poco, el proceso de dicho entrenamiento mejora, pero nunca se detiene. Ctrl-labs esencialmente redirige esta capacidad para adaptarse al desarrollo de interfaces motoras.

El kit CTRL no solo funciona: ayuda a recrear las cadenas en las que se combinan las neuronas. El avance principal, según Thomas, es que la tecnología CTRL-labs puede detectar la actividad de las neuronas individuales. La evidencia de esto aún no se ha publicado, pero la compañía promete lanzar un artículo en un futuro próximo, y si resulta convincente, entonces el objetivo principal de la neurobiología: descifrar cómo funciona el cerebro, se volverá mucho más cercano, así como crear NQI sin mediación de músculos y neuronas periféricas.

Vale la pena señalar que en Valve, aparentemente, también están interesados ​​en el sistema nervioso periférico. Mike menciona este enfoque como una forma potencial de reducir el tiempo de respuesta. Por ejemplo, si la señal del cerebro a los dedos alcanza los 100 milisegundos (el número se toma como ejemplo), entonces la "intercepción" de la señal en el acercamiento al músculo ayudará a ahorrar entre 10 y 30 milisegundos. A primera vista, esto es insignificante, pero tal "trampa" seguramente complacerá a los deportistas electrónicos. Es cierto que las interfaces solo pueden aumentar el tiempo de respuesta, pero la tecnología no se detiene.

Qué pasará después



La ciencia ficción ha planteado muchos problemas éticos relacionados con los NQI, pero el mundo posterior al NQI ciertamente planteará aún más.

Gabe confía en que la tecnología encontrará aplicación en todos los sectores de la industria del entretenimiento, pero se muestra escéptico ante las previsiones. Según él, presentar el mundo posterior al NQI ahora es como tratar de explicar qué es Internet a una persona que nunca ha oído hablar de él. "¡Genial, puedes buscar recetas allí!" Tal persona dirá, pero no podrá predecir la aparición, por ejemplo, de Uber.


Forzar voluntariamente a los jugadores a comprar nuevos dispositivos no es tan simple. El desarrollo costoso de los NQI a este respecto es un gran riesgo. Captura de pantalla de Half-Life: Alyx (2020).

Sin embargo, todos los desarrolladores dicen que NII se convertirá en un desarrollo lógico de tecnologías de realidad virtual. Hacer que un jugador use un casco no es una tarea fácil, pero agregar electrodos NKI a los auriculares VR puede cambiar drásticamente la sensación del juego y hacer que el dispositivo sea atractivo.


Ya ha habido intentos de crear cascos híbridos: Neurable ha mostrado dicho dispositivo en varias exposiciones e incluso anunció el juego Awakening, pero el lanzamiento aún no ha sucedido.

La realidad virtual se menciona en los discursos de los empleados de todas las empresas. Pero lo que nadie dijo fue cuánto esperar. Ni Mike Embinder ni Gabe Newell anunciaron la fecha de lanzamiento de Half-Life 3 en NKI. Philip Sabes y Elon Musk, aunque mencionan el juego, pero es poco probable que el implante invasivo reemplace de inmediato el gamepad. Solo Thomas Reardon nombra fechas específicas, y dado el enfoque realista de los laboratorios CTRL, no hay razón para no creerle. Según él, los primeros NKI masivos no aparecerán en el mercado hasta 2024.

Materiales adicionales:


Para aquellos que están ansiosos por probar el NQI, hemos compilado una lista de enlaces con la teoría, así como con dispositivos y aplicaciones que ya se están vendiendo o preparando para su lanzamiento.

Historia y futuro de BCI:

:
  • openbci.com — -, open-source . , .
  • store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
  • emotiv.com – Neurosky, , -. « » . .
  • brainco.tech – BrainCo, . , .
  • next-mind.com - Inicio de NextMind , interesante principalmente porque su próximo lanzamiento devkit es el dispositivo EEG más compacto y móvil. Además, los desarrolladores prometen compatibilidad con los juegos.

Autores:

Ivan Smirnov (I), artista conceptual, ilustrador, fundador de la Escuela Smirnov.
Artemy Tretyakov, genetista, autor de la escuela Smirnov.

More articles:


All Articles