🍯 🎅🏼 😫 Interfaces de neurocomputadores para jogos: o que se sabe hoje 🏴󠁧󠁢󠁷󠁬󠁳󠁿 👼🏿 ✒️

Recentemente, o co-fundador da Valve, Gabe Newell, disse que a humanidade já está muito mais próxima da “Matrix” do que parece. Meu co-autor e eu decidimos descobrir se é assim e por que a Valve, o Facebook e Elon Musk estão tentando conectar o cérebro ao computador.

Ilusão de controle

Uma interface de neurocomputador (NCI) ou uma interface cérebro-computador (BCI) é um sistema projetado para trocar informações diretamente entre o cérebro e o computador. O conceito foi descrito por Joseph Liklider já em 1960 em um artigo com o título sonoro " Simbiose homem-computador". Agora é mais provável que a publicação tenha valor histórico, mas tentativas ativas de entrar em tal simbiose foram realizadas desde o final dos anos 2000.

Talvez o NeuroSky tenha se mostrado mais do que outros, junto com a Square Enix, que apresentou no Tokyo Game Show 2008 um jogo de prova de conceito Judecca. Em 2009, a NeuroSky lançou jogos de tabuleiro NKI comerciais, que você ainda pode comprar, mas se eles lêem a atividade cerebral ou exploram o fenômeno da ilusão de controle é uma questão em aberto.

Os produtos do restante das empresas basicamente não foram além dos limites das conferências, e os líderes da indústria de jogos permaneceram calados ou disseram que não estavam envolvidos no desenvolvimento da NKI.

imagem

Os jogos Mindflex e StarWars Force Trainer da NeuroSky ainda são os dispositivos de BCI mais bem-sucedidos, apesar das contradições.

Em 2012, o Laboratório de Interfaces de Neurocomputadores da Universidade de Graz, em Graz, introduziu o NCI para World of Warcraft. O sistema funcionou, mas obviamente não foi possível substituir um mouse por um teclado.

“Treinando” a interface e o jogador: para associar um sinal do cérebro a uma equipe específica, o usuário precisa primeiro mover a mão e apenas pensar nesse movimento durante o jogo.

Gradualmente, ficou claro que uma revolução não aconteceria. Eles esqueceram o NQI, mas exatamente até o famoso fundador da Valve, Gabe Newell, anunciar em uma entrevista em 18 de março de 2020 que a empresa estava realizando pesquisas neurobiológicas, acrescentando que estamos muito mais próximos da Matrix do que muitos pensam. Quase simultaneamente, saiu um relatóriosegundo o qual o mercado NKI será estimado em US $ 2,96 bilhões até 2027.

O que Gabe não disse

Um ano atrás, um funcionário da Valve, psicólogo experimental Dr. Mike Ambinder, falou na Game Developers Conference 2019 sobre o desenvolvimento e as aplicações do NQI. Comparado à entrevista de Gabe, quase ninguém notou seu discurso, embora ele falasse muito mais sobre os planos da empresa.

imagem

Mike está no OpenBCI EEG Headset , uma comunidade de entusiastas que desenvolvem soluções NKI de código aberto.

A válvula ainda não seguiu o caminho “Matrix”, conectando-se diretamente ao cérebro, mas usando um “capacete” especial para eletroencefalografia (EEG). Essa abordagem tem desvantagens - a saber, ruído e baixa largura de banda (por exemplo, os autores do NCI do World of Warcraft estimaram a taxa de transferência de dados em <100 bits / minuto).

imagem

Os principais métodos para obter informações sobre a atividade cerebral, incluindo o uso de captura de sinal nos nervos e músculos periféricos.

As desvantagens são em parte devido ao sinal que passa através da pele e ossos. O EEG geralmente é comparado a tentar entender o que está acontecendo no campo de futebol, ficar do lado de fora das paredes do estádio e ouvir os gritos dos torcedores.

Siga a partida "das arquibancadas", permita outros métodos:

Eletrocorticografia, ECOG - ou EEG intracraniano (eletroencefalografia intracraniana - iEEG) - o método cirúrgico mais “suave”, quando os eletrodos são adjacentes diretamente à superfície do cérebro. Interferência profunda em sua estrutura não ocorre.
Registro intracortical ( registros intracorticais) e implantes - método com introdução do eletrodo na espessura do motor de casca. Torna os eletrodos ainda mais próximos da fonte de sinal e a operação é ainda mais complicada.

Mas a não invasão do EEG até agora cobre todas as desvantagens, e Mike acredita que suas capacidades ainda não foram esgotadas. Já permite avaliar:

O jogador está interessado em eventos na tela ou está prestes a morrer de tédio;
Tenso durante uma missão difícil ou relaxado e confiante;
É capaz de se concentrar e absorver novas informações. Ainda assim, a jogabilidade envolve o treinamento do jogador - gerenciamento, as especificidades da jogabilidade, etc. coisas;
Sinais motores - com que movimentos e com que intensidade o jogador reage a certos estímulos no jogo.

E muitos outros parâmetros mais sutis. O desenvolvimento ativo de algoritmos de aprendizado de máquina gradualmente permite extrair cada vez mais dados de EEG.

Não se apresse para jogar fora o teclado

Provavelmente, a maneira como o NKI na indústria de jogos não começa com a imersão na realidade virtual.

De acordo com Mike, agora o NKI permite principalmente obter um novo feedback do jogador, que pode melhorar a qualidade dos jogos. Mike acredita que a tecnologia passará por três estágios de desenvolvimento.

Cada interface é uma interface cérebro-computador. A única diferença é o link intermediário de hardware com o qual traduzimos nossas intenções em algo adequado para uso. Dr. Mike Ambinder, psicólogo experimental Valve.

No curto prazo, os NKIs encontrarão aplicação no desenvolvimento de jogos e tornarão o processo de teste mais eficiente. Agora, o método usual para determinar as emoções de um testador é uma pesquisa. Ao mesmo tempo, só pode ser realizado após a passagem do nível do jogo, quando algumas impressões já são esquecidas, suavizadas ou repensadas. Ler as respostas do cérebro em tempo real a um estímulo no jogo é muito mais objetivo e ajudará a melhorar os níveis de design, ou melhor, a cair nas emoções planejadas.

imagem

Uma análise do movimento dos olhos, batimentos cardíacos, tensão muscular e até postura é uma maneira de avaliar a condição de um jogador sem tocar no cérebro. Isso pode ser menos interessante que o EEG.

Gradualmente, o NCI se tornará mais acessível e vai além dos estúdios. Na segunda etapa, o jogo em si terá acesso aos dados. Isso, de acordo com Mike, mudará completamente o conceito de jogabilidade adaptável. Os níveis de dificuldade tradicionais se tornarão obsoletos - o mundo do jogo se adaptará a um jogador específico, determinando quais inimigos lhe causam mais problemas, se ele deseja relaxar após um dia difícil ou se sente entediado na expectativa de uma batalha difícil.

imagem

Os usuários estão prontos para compartilhar seu status e até pensamentos com o jogo ou considerá-lo muito pessoal?

Por fim, os personagens do jogo poderão responder ao humor e estado emocional do jogador, tomando decisões com base nesses parâmetros.

Mimetismo em LA Noir (2011) permite que um jogador adivinhe se um personagem está mentindo ou diz a verdade. Com o advento da NKI, os papéis podem mudar.

, , , . RPG, . (Mike Ambinder), Valve.

“NCI verdadeiro” - a substituição de interfaces de gerenciamento padrão, “físicas”, será o último passo. Isso resolverá os problemas das interfaces modernas: um longo tempo de reação, a necessidade de lembrar as teclas, a incapacidade de pressionar muitas teclas ao mesmo tempo. Mas ele adicionará novos: por exemplo, a falta de feedback tátil. Tendo perdido a tecla “pular”, não é difícil entender por que o personagem não pulou. Com o comando dado mentalmente, a mesma situação não é mais tão clara.

O estágio final no desenvolvimento do NQI é a criação do próprio "Matrix": dispositivos de saída de dados diretamente para o cérebro, ignorando monitores, capacetes VR e sistemas de áudio. Segundo Gabe, os estudos teóricos já estão em andamento e trazem muitas surpresas: tarefas “complexas” externamente - “conectar” ao córtex motor - são relativamente simples, enquanto outros - por exemplo, imitando uma sensação de frio - são incrivelmente complexos.

Acontece que o cérebro tem interfaces internas muito boas para algumas coisas e más para outras. Gabe Newell, co-fundador e CEO da Valve

Dispositivo TMS usado pela Valve.

Ao mesmo tempo, escalar dentro do crânio ainda não é necessário. Para pesquisas primárias, a estimulação magnética transcraniana é suficiente - um método no qual certas estruturas cerebrais são afetadas por impulsos magnéticos, causando estimulação profunda. Agora, essa abordagem é usada principalmente para o tratamento de certas doenças mentais e neurológicas, para as quais o TMS é usado especificamente na Valve que Mike não especificou.

Implantes cerebrais. Como você gosta, Gabe?

Muito do que Mike descreveu pode ser implementado usando EEG. Mas ele admite que algum dia os implantes se tornarão tão comuns quanto o LASIK - uma operação para correção da visão a laser. Mike chama esse ponto de "limiar LASIK". Elon Musk vai superá-lo, cuja empresa Neuralink já introduziu o implante N1, prometendo começar os ensaios clínicos em 2020.

Um cirurgião robô criado na Neuralink , capaz de implantar até 192 eletrodos por minuto com precisão de vários mícrons.

Implantação faseada de filamentos com eletrodos por um robô em um substrato simulando tecido cerebral. O Neuralink fez um ótimo trabalho ao criar 20 tipos de threads para tarefas diferentes.

De acordo com Philip Sabes, funcionário da Neuralink da Universidade da Califórnia em San Francisco, o principal objetivo do projeto é ajudar pessoas paralisadas. Incluindo - retornando a oportunidade de praticar esportes, pelo menos virtualmente, através de jogos.

Alguns NQIs invasivos já foram testados em seres humanos. O implante intracortical de Braingate, em 2008, permitiu que um paciente completamente paralisado controlasse o cursor, e já em 2012 - pegue uma garrafa com um braço robótico da mesa e tome um gole. Com a tecnologia Neuralink, os recursos dessas interfaces podem ser expandidos.

As interfaces Neuro podem ajudar as pessoas a recuperar a audição, a visão, melhorar as próteses e até restaurar as funções de partes paralisadas do corpo.

Módulo ASIC Neuralink de processamento de dados primário, bem dentro do crânio.

A saída de dados do cérebro no caso de um implante invasivo não é menos complicada do que com o EEG. Para que as informações não sejam distorcidas, o processamento primário, a amplificação de sinal e a supressão de ruído são feitos o mais próximo possível dos neurônios. Para isso, a Neuralink desenvolveu módulos plug-and-play especiais que podem ser colocados diretamente dentro da caixa craniana do paciente. Eles se conectam a interfaces padrão como USB-c e, no futuro, Bluetooth, mas sua principal vantagem é a escalabilidade, que permite conectar um grande número de módulos de uma só vez.

O próprio Ilon, como sempre, formula objetivos com mais ousadia: ele deseja criar um "NQI de cérebro inteiro", fornecendo a simbiose de uma pessoa com inteligência artificial. Ao mesmo tempo, o empresário admite que, mesmo com todas as conquistas do Neuralink, isso ainda é fantástico.

Mais perto da realidade

Em novembro de 2019, o Facebook adquiriu os laboratórios CTRL. Talvez os laboratórios da CTRL tenham atraído a atenção pelo fato de planejarem atingir o objetivo principal de qualquer NQI - o cérebro - de maneira alguma através dos orifícios do crânio. E essa abordagem parece mais realista que as outras.

Uma das versões mais antigas do kit CTRL.

Diretor dos laboratórios da CTRL, Thomas Reardonexplica que o implante Neuralink é bom para pacientes paralisados, mas uma pessoa saudável já possui uma neurointerface pronta - terminações nervosas e músculos conectados a eles. Métodos não invasivos são ideais aqui: a atividade gerada pelos músculos é várias vezes mais forte que o sinal de qualquer estrutura cerebral. Os algoritmos de descriptografia de EEG mais complicados praticamente não são necessários - o trabalho principal já foi realizado pelo corpo humano. Portanto, o kit CTRL lançado em 2018 não é um “capacete”, mas uma pulseira para eletromiografia .

Um dos laboratórios de demonstração dos "jogos" CTRL. Os desenvolvimentos da empresa são muito mais como uma interface pronta para o jogo do que qualquer coisa que funcione com base no EEG.

A interface, semelhante ao kit CTRL, apareceu em 2009. Mas a semelhança é apenas externa: esse controlador não funciona sem contração muscular.

Ao mesmo tempo, o kit CTRL pode ser considerado uma interface cérebro-computador completa que lê a atividade dos neurônios. Para provar isso, um dinossauro do Google Chrome foi conectado à pulseira.

Demonstração do uso do kit CTRL para controlar um dinossauro do Google Chrome.

Segundo Philip, leva em média 90 segundos para estudar. Na primeira fase do treinamento, o jogador simplesmente pressiona um botão. Depois - imita pressionar com a ajuda dos músculos - primeiro com dificuldade, depois - quase reflexivamente. E aqui acontece a coisa mais interessante: os músculos são excluídos da cadeia.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

Em algum momento, a resposta é: não há necessidade de contrair músculos, basta pensar em movimento - esse impulso é suficiente para o kit CTRL reagir - o dinossauro vai pular.

Pegue um copo da mesa e leve-o à boca - o que poderia ser mais fácil? Mas a tarefa é simples apenas à primeira vista - sempre que a distância do copo, seu material, peso, forma e outros parâmetros mudam. Um adulto se adapta facilmente a essas alterações - bem como a diferentes opções de uso do kit CTRL. Um estudo de como ocorre a adaptação motora é útil na robótica - as máquinas ainda não sabem se adaptar tão bem às mudanças de condições.

A interface usa parcialmente o princípio de " tagarelar motor ""- movimentos caóticos, com a ajuda dos quais o bebê faz um" mapa "do corpo, ligando a atividade de certas áreas do cérebro aos movimentos. Gradualmente, o processo de treinamento melhora, mas nunca para. Os laboratórios Ctrl redirecionam essencialmente essa capacidade de se adaptar ao desenvolvimento de interfaces de motor.

O kit CTRL não funciona apenas - ajuda a recriar as cadeias nas quais os neurônios são combinados. O principal avanço, de acordo com Thomas, é que a tecnologia dos laboratórios CTRL pode detectar a atividade de neurônios individuais. A evidência disso ainda não foi publicada, mas a empresa promete lançar um artigo em um futuro próximo, e se isso for convincente, o principal objetivo da neurobiologia - decifrar como o cérebro funciona, ficará muito mais próximo, além de criar um NQI sem mediação de músculos e neurônios periféricos.

Vale ressaltar que na Valve, aparentemente, eles também estão interessados no sistema nervoso periférico. Mike menciona essa abordagem como uma maneira potencial de reduzir o tempo de resposta. Por exemplo, se o sinal do cérebro para os dedos atingir 100 milissegundos (o número é tomado como exemplo), a "interceptação" do sinal na aproximação do músculo ajudará a economizar 10 a 30 milissegundos. À primeira vista, isso é insignificante, mas essas "trapaças" certamente agradarão os esportistas eletrônicos. É verdade que, embora as interfaces possam apenas aumentar o tempo de resposta, a tecnologia não fica parada.

O que vai acontecer à seguir

A ficção científica colocou muitas questões éticas relacionadas aos NQIs, mas o mundo pós-NQI certamente representará ainda mais.

Gabe está confiante de que a tecnologia encontrará aplicação em todos os setores da indústria do entretenimento, mas é cético em relação às previsões. Segundo ele, apresentar o mundo pós-NQI agora é como tentar explicar o que é a Internet para uma pessoa que nunca ouviu falar. "Legal, você pode procurar receitas lá!" - Essa pessoa dirá, mas não será capaz de prever a aparência, por exemplo, do Uber.

Forçar voluntariamente os jogadores a comprar novos dispositivos não é tão simples. O desenvolvimento caro de NQIs a esse respeito é um risco enorme. Captura de tela de Half-Life: Alyx (2020).

No entanto, todos os desenvolvedores dizem que o NII se tornará um desenvolvimento lógico de tecnologias de realidade virtual. Fazer um jogador usar um capacete não é uma tarefa fácil, mas adicionar eletrodos NKI ao fone de ouvido VR pode mudar drasticamente a sensação do jogo e tornar o dispositivo atraente.

Já houve tentativas de criar capacetes híbridos - a Neurable mostrou esse dispositivo em várias exposições e até anunciou o jogo Awakening, mas o lançamento ainda não aconteceu.

A realidade virtual é mencionada nos discursos dos funcionários de todas as empresas. Mas o que ninguém disse foi quanto esperar. Mike Embinder e Gabe Newell não anunciaram a data de lançamento do Half-Life 3 na NKI. Philip Sabes e Elon Musk, apesar de mencionarem o jogo, mas é improvável que o implante invasivo substitua imediatamente o gamepad. Apenas Thomas Reardon nomeia datas específicas - e dada a abordagem realista dos laboratórios da CTRL, não há razão para não acreditar nele. Segundo ele, os primeiros NKIs em massa não aparecerão no mercado até 2024.

Materiais adicionais:

Para aqueles que desejam experimentar o NQI, compilamos uma lista de links com a teoria, bem como com dispositivos e aplicativos que já estão sendo vendidos ou estão sendo preparados para lançamento.

História e futuro da BCI:

openbci.com — -, open-source . , .
store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
emotiv.com – Neurosky, , -. « » . .
brainco.tech – BrainCo, . , .
next-mind.com - Inicialização do NextMind , interessante principalmente porque o seu próximo kit de desenvolvimento é o dispositivo EEG mais compacto e móvel. Além disso, os desenvolvedores prometem compatibilidade com jogos.

Autores:

Ivan Smirnov (I), artista conceitual, ilustrador, fundador da Smirnov School.
Artemy Tretyakov, geneticista, autor da Escola Smirnov.

Interfaces de neurocomputadores para jogos: o que se sabe hoje