Get best of the week

Neurocomputer-Schnittstellen fĂĽr Spiele: Was heute bekannt ist

Vor relativ kurzer Zeit sagte Gabe Newell , Mitbegründer von Valve , dass die Menschheit der „Matrix“ bereits viel näher ist, als es scheint. Mein Co-Autor und ich haben uns entschlossen herauszufinden, ob dies der Fall ist und warum Valve, Facebook und Elon Musk versuchen, das Gehirn mit dem Computer zu verbinden.





Illusion der Kontrolle


Eine Neurocomputer-Schnittstelle (NCI) oder eine Gehirn-Computer-Schnittstelle (BCI) ist ein System, das zum direkten Informationsaustausch zwischen Gehirn und Computer ausgelegt ist. Das Konzept wurde von Joseph Liklider bereits 1960 in einem Artikel mit dem klangvollen Titel „ Man-Computer Symbiosis“ beschrieben. Jetzt ist die Veröffentlichung eher von historischem Wert, aber seit Ende der 2000er Jahre wurden aktive Versuche unternommen, eine solche Symbiose einzugehen.

Vielleicht zeigte sich NeuroSky dann mehr als andere, zusammen mit Square Enix, das auf der Tokyo Game Show 2008 ein Proof-of-Concept-Spiel Judecca präsentierte. Im Jahr 2009 hat NeuroSky sogar kommerzielle NKI-Brettspiele auf den Markt gebracht, die Sie noch kaufen können. Ob sie jedoch die Gehirnaktivität lesen oder das Phänomen der Kontrollillusion ausnutzen, ist eine offene Frage.

Die Produkte der ĂĽbrigen Unternehmen gingen im Grunde nicht ĂĽber die Grenzen der Konferenzen hinaus, und die FĂĽhrer der Spielebranche schwiegen entweder oder sagten, dass sie nicht an der Entwicklung von NKI beteiligt waren.

Bild
Die Mindflex- und StarWars Force Trainer-Spiele von NeuroSky sind trotz der Widersprüche immer noch die erfolgreichsten BCI-Geräte.


2012 führte das Labor für Neurocomputer-Schnittstellen an der Universität Graz in Graz das NCI für World of Warcraft ein. Das System funktionierte, konnte aber offensichtlich keine Maus durch eine Tastatur ersetzen.


Die Benutzeroberfläche und den Spieler „trainieren“: Um einem bestimmten Team ein Signal vom Gehirn zuzuordnen, muss der Benutzer zuerst seine Hand bewegen und während des Spiels nur an diese Bewegung denken.

Allmählich wurde klar, dass eine Revolution nicht stattfinden würde. Sie vergaßen über NQI, aber genau bis zum berühmten Ventil Gründer Gabe Newell kündigte in einem Interview am 18. März 2020 , dass das Unternehmen der neurobiologischen Forschung leitet, fügte hinzu , dass wir viel näher an die Matrix sind als viele denken. Fast gleichzeitig kam ein Bericht herausDemnach wird der NKI-Markt bis 2027 auf 2,96 Milliarden US-Dollar geschätzt.

Was Gabe nicht gesagt hat


Vor einem Jahr sprach ein Mitarbeiter von Valve, der experimentelle Psychologe Dr. Mike Ambinder, auf der Game Developers Conference 2019 über die Entwicklung und Anwendung von NQI. Im Vergleich zu Gabes Interview bemerkte fast niemand seine Rede, obwohl er viel mehr über die Pläne des Unternehmens sprach.

Bild
Mike ist Mitglied des OpenBCI EEG Headsets , einer Community von Enthusiasten, die Open-Source-NKI-Lösungen entwickeln.

Valve hat noch nicht den „Matrix“ -Pfad eingeschlagen, der direkt mit dem Gehirn verbunden ist, sondern einen speziellen „Helm“ für die Elektroenzephalographie (EEG) verwendet. Dieser Ansatz hat Nachteile - nämlich Rauschen und geringe Bandbreite (zum Beispiel schätzten die Autoren des NCI für World of Warcraft die Datenübertragungsrate auf <100 Bit / Minute).

Bild
Die wichtigsten Methoden, um Informationen über die Gehirnaktivität zu erhalten, einschließlich der Signalerfassung an peripheren Nerven und Muskeln.

Die Nachteile sind teilweise auf das Signal zurückzuführen, das durch Haut und Knochen geht. Das EEG wird normalerweise mit dem Versuch verglichen, zu verstehen, was auf dem Fußballplatz passiert, außerhalb der Mauern des Stadions zu stehen und den Schreien der Fans zuzuhören.

Folgen Sie dem Spiel "von der TribĂĽne" erlauben andere Methoden:

  • Elektrokortikographie, ECOG - oder intrakranielles EEG (intrakranielle Elektroenzephalographie - iEEG) - die „weichste“ chirurgische Methode, wenn die Elektroden direkt an die Oberfläche des Gehirns angrenzen. Eine tiefe Störung in seiner Struktur tritt nicht auf.
  • Intrakortikale Aufzeichnung (intrakortikale Aufzeichnung) und Implantate - Methode mit EinfĂĽhrung der Elektrode in die Dicke des Rinden-Tend-Motors. Macht die Elektroden noch näher an der Signalquelle und die Bedienung ist noch komplizierter.

Die bisherige Nichtinvasivität des EEG deckt jedoch alle Nachteile ab, und Mike ist der Ansicht, dass seine Fähigkeiten noch nicht ausgeschöpft sind. Bereits jetzt können Sie Folgendes bewerten:

  • Der Spieler ist scharf auf Ereignisse auf dem Bildschirm oder steht kurz vor Langeweile.
  • Angespannt während einer schwierigen Mission oder entspannt und selbstbewusst;
  • Kann neue Informationen konzentrieren und aufnehmen. Das Gameplay beinhaltet jedoch das Training des Spielermanagements, die Besonderheiten des Gameplays usw. Dinge;
  • Motorsignale - mit welchen Bewegungen und wie intensiv der Spieler auf bestimmte Reize im Spiel reagiert.

Und viele andere, subtilere Parameter. Die aktive Entwicklung von Algorithmen für maschinelles Lernen ermöglicht es nach und nach, immer mehr aus EEG-Daten zu extrahieren.

Beeilen Sie sich nicht, die Tastatur wegzuwerfen



Höchstwahrscheinlich beginnt die Art und Weise, wie NKI in der Spielebranche tätig ist, nicht mit dem Eintauchen in die virtuelle Realität.

Laut Mike können Sie mit NKI jetzt hauptsächlich ein neues Feedback vom Spieler erhalten, das die Qualität der Spiele verbessern kann. Mike glaubt, dass die Technologie drei Entwicklungsstufen durchlaufen wird.

Jede Schnittstelle ist eine Gehirn-Computer-Schnittstelle. Der einzige Unterschied ist die Hardware-Zwischenverbindung, mit der wir unsere Absichten in etwas fĂĽr die Verwendung geeignetes ĂĽbersetzen. Dr. Mike Ambinder, experimenteller Psychologe Valve.

Kurzfristig werden NKIs Anwendung in der Spieleentwicklung finden und den Testprozess effizienter gestalten. Die übliche Methode zur Bestimmung der Emotionen eines Testers ist nun eine Umfrage. Gleichzeitig kann es erst nach dem Bestehen des Spiellevels durchgeführt werden, wenn einige Eindrücke bereits vergessen, geglättet oder überdacht sind. Das Lesen von Echtzeit-Gehirnreaktionen auf einen Stimulus im Spiel ist viel objektiver und hilft dabei, das Design besser zu gestalten oder vielmehr in geplante Emotionen zu verfallen.

Bild
Eine Analyse der Augenbewegung, des Herzschlags, der Muskelspannung und sogar der Körperhaltung ist eine Möglichkeit, den Zustand eines Spielers zu beurteilen, ohne das Gehirn zu berühren. Dies ist möglicherweise nicht weniger interessant als das EEG.

Allmählich wird NCI zugänglicher und geht über die Studios hinaus. In der zweiten Phase erhält das Spiel selbst Zugriff auf die Daten. Dies wird laut Mike das Konzept des adaptiven Gameplays komplett verändern. Traditionelle Schwierigkeitsgrade werden hinfällig - die Spielwelt wird sich an einen bestimmten Spieler anpassen und bestimmen, welche Feinde ihm mehr Probleme bereiten, ob er sich nach einem anstrengenden Tag entspannen möchte oder sich in Erwartung eines schwierigen Kampfes langweilt.

Bild
Sind Benutzer bereit, ihren Status und sogar ihre Gedanken mit dem Spiel zu teilen oder finden sie es zu persönlich?

Letztendlich können die Charaktere im Spiel auf die Stimmung und den emotionalen Zustand des Spielers reagieren und Entscheidungen auf der Grundlage dieser Parameter treffen.


Mimikry in LA Noir (2011) ermöglicht es einem Spieler zu erraten, ob ein Charakter lügt oder die Wahrheit sagt. Mit dem Aufkommen von NKI können sich die Rollen ändern.

, , , . RPG, . (Mike Ambinder), Valve.

"True NCI" - das Ersetzen von "physischen" Standard-Verwaltungsschnittstellen ist der letzte Schritt. Dies wird die Probleme moderner Schnittstellen lösen: eine lange Reaktionszeit, die Notwendigkeit, sich Tasten zu merken, die Unfähigkeit, viele Tasten gleichzeitig zu drücken. Aber er wird neue hinzufügen: zum Beispiel das Fehlen von taktilem Feedback. Nachdem Sie die Sprungtaste verpasst haben, ist es nicht schwer zu verstehen, warum der Charakter nicht gesprungen ist. Mit dem geistig gegebenen Befehl ist die gleiche Situation nicht mehr so ​​klar.

Die letzte Phase in der Entwicklung von NQI ist die Erstellung der „Matrix“: Datenausgabegeräte direkt an das Gehirn unter Umgehung von Monitoren, VR-Helmen und Audiosystemen. Laut Gabe laufen bereits theoretische Studien, die viele Überraschungen bringen: extern „komplexe“ Aufgaben - „Verbindung“ zum motorischen Kortex - sich als relativ einfach herausstellen, während andere - zum Beispiel ein Gefühl der Kälte imitieren - unglaublich komplex sind.


Es stellt sich heraus, dass das Gehirn fĂĽr einige Dinge sehr gute und fĂĽr andere sehr schlechte Schnittstellen hat. Gabe Newell, MitbegrĂĽnderin und CEO von Valve


Von Valve verwendetes TMS-Gerät.

Gleichzeitig ist ein Klettern im Schädel immer noch nicht erforderlich. Für die Primärforschung ist eine transkranielle Magnetstimulation ausreichend - eine Methode, bei der bestimmte Gehirnstrukturen durch magnetische Impulse beeinflusst werden und eine tiefe Stimulation verursachen. Jetzt wird dieser Ansatz hauptsächlich zur Behandlung bestimmter psychischer und neurologischer Erkrankungen verwendet, für die TMS speziell in Valve verwendet wurde, das Mike nicht spezifiziert hat.

Gehirnimplantate. Wie gefällt es dir, Gabe?


Vieles von dem, was Mike beschrieben hat, kann mithilfe des EEG implementiert werden. Aber er gibt zu, dass Implantate eines Tages genauso alltäglich sein werden wie LASIK - eine Operation zur Lasersichtkorrektur. Mike nennt diesen Punkt "LASIK-Schwelle". Elon Musk wird es überwinden, dessen Firma Neuralink das N1-Implantat bereits eingeführt hat und verspricht, 2020 mit klinischen Studien zu beginnen.


Ein bei Neuralink entwickelter Roboterchirurg , der bis zu 192 Elektroden pro Minute mit einer Genauigkeit von mehreren Mikrometern implantieren kann.


Die schrittweise Implantation von Filamenten mit Elektroden durch einen Roboter in ein Substrat, das Gehirngewebe simuliert. Neuralink hat groĂźartige Arbeit geleistet und 20 Arten von Threads fĂĽr verschiedene Aufgaben erstellt.

Laut Philip Sabes, einem Mitarbeiter von Neuralink an der University of California in San Francisco, besteht das Hauptziel des Projekts darin, gelähmten Menschen zu helfen. Einschließlich - Rückgabe der Möglichkeit, zumindest virtuell durch Spiele Sport zu treiben.



Einige invasive NQIs wurden bereits am Menschen getestet. Das intrakortikale Implantat von Braingate im Jahr 2008 ermöglichte es einem vollständig gelähmten Patienten, den Cursor zu steuern, und bereits im Jahr 2012, eine Flasche mit einem Roboterarm vom Tisch zu nehmen und einen Schluck zu nehmen. Mit der Neuralink-Technologie können die Funktionen dieser Schnittstellen erweitert werden.


Neuro-Schnittstellen können Menschen helfen, wieder zu hören, zu sehen, Prothesen zu verbessern und sogar die Funktionen gelähmter Körperteile wiederherzustellen.


Primäres Datenverarbeitungs-ASIC-Neuralink-Modul direkt im Schädel.

Die Datenausgabe aus dem Gehirn bei einem invasiven Implantat ist nicht weniger kompliziert als beim EEG. Damit die Informationen nicht verzerrt werden, erfolgt die Primärverarbeitung, Signalverstärkung und Rauschunterdrückung am besten so nah wie möglich an den Neuronen. Zu diesem Zweck hat Neuralink spezielle Plug-and-Play-Module entwickelt, die direkt in der Schädelbox des Patienten platziert werden können. Sie stellen eine Verbindung zu Standardschnittstellen wie USB-c und in Zukunft zu Bluetooth her. Ihr Hauptvorteil ist jedoch die Skalierbarkeit, mit der Sie eine große Anzahl von Modulen gleichzeitig anschließen können.

Ilon selbst formuliert wie immer Ziele noch kühner: Er möchte einen „Vollhirn-NQI“ schaffen, der die Symbiose einer Person mit künstlicher Intelligenz bietet. Gleichzeitig gibt der Geschäftsmann zu, dass dies trotz aller Errungenschaften von Neuralink immer noch fantastisch ist.

Näher an der Realität


Im November 2019 erwarb Facebook CTRL-Labs. Vielleicht haben CTRL-Labors die Aufmerksamkeit auf sich gezogen, weil sie planen, das Hauptziel eines NQI - das Gehirn - überhaupt nicht durch die Löcher im Schädel zu erreichen. Und dieser Ansatz sieht realistischer aus als die anderen.


Eine der frĂĽhesten Versionen des CTRL-Kits.

CTRL-Labs-Direktor Thomas Reardonerklärt, dass das Neuralink-Implantat gut für gelähmte Patienten ist, aber ein gesunder Mensch hat bereits eine vorgefertigte neuronale Schnittstelle - Nervenenden und damit verbundene Muskeln. Hier eignen sich nicht-invasive Methoden ideal: Die von den Muskeln erzeugte Aktivität ist um ein Vielfaches stärker als das Signal einer Gehirnstruktur. Die kompliziertesten EEG-Entschlüsselungsalgorithmen sind praktisch nicht erforderlich - die Hauptarbeit wurde bereits vom menschlichen Körper geleistet. Daher ist das 2018 eingeführte CTRL-Kit kein „Helm“, sondern ein Armband für die Elektromyographie .


Eines der Demo "Spiele" CTRL-Labs. Die Entwicklungen des Unternehmens ähneln bisher eher einer spielbereiten Oberfläche als allem, was auf der Basis von EEG funktioniert.


Die Schnittstelle, ähnlich dem CTRL-Kit, erschien 2009. Die Ähnlichkeit ist jedoch nur äußerlich: Ein solcher Controller funktioniert nicht ohne Muskelkontraktion.

Gleichzeitig kann das CTRL-Kit als vollständige Gehirn-Computer-Schnittstelle betrachtet werden, die die Aktivität von Neuronen liest. Um dies zu beweisen, wurde ein Dinosaurier von Google Chrome mit dem Armband verbunden.


Demonstration der Verwendung des STRG-Kits zur Steuerung eines Dinosauriers von Google Chrome.

Laut Philip dauert das Lernen durchschnittlich 90 Sekunden. In der ersten Trainingsphase drĂĽckt der Spieler einfach einen Knopf. Danach - imitiert es das DrĂĽcken mit Hilfe von Muskeln - zuerst mit Schwierigkeiten, dann - fast reflexartig. Und hier passiert das Interessanteste: Die Muskeln sind von der Kette ausgeschlossen.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

Irgendwann lautet die Antwort: Es besteht keine Notwendigkeit, die Muskeln zusammenzuziehen. Denken Sie nur an die Bewegung. Dieser Impuls reicht aus, damit das CTRL-Kit reagiert. Der Dinosaurier springt.


Nehmen Sie eine Tasse vom Tisch und nehmen Sie sie in den Mund - was könnte einfacher sein? Die Aufgabe ist jedoch nur auf den ersten Blick einfach: Jedes Mal, wenn sich der Abstand zum Becher ändert, ändern sich Material, Gewicht, Form und andere Parameter. Ein Erwachsener kann sich leicht an diese Änderungen anpassen - sowie an verschiedene Optionen für die Verwendung des STRG-Kits. Eine Untersuchung der motorischen Anpassung ist in der Robotik nützlich - Maschinen wissen noch nicht, wie sie sich so gut an veränderte Bedingungen anpassen können.

Die Schnittstelle verwendet teilweise das Prinzip " Motor Babble""- chaotische Bewegungen, mit deren Hilfe das Baby eine" Karte "des Körpers erstellt, die die Aktivität bestimmter Bereiche des Gehirns mit Bewegungen verbindet. Allmählich verbessert sich der Prozess eines solchen Trainings, hört aber nie auf. Ctrl-Labs leiten diese Fähigkeit zur Anpassung an die Entwicklung von Motorschnittstellen im Wesentlichen um.

Das CTRL-Kit funktioniert nicht nur, es hilft auch, die Ketten wiederherzustellen, in denen Neuronen kombiniert sind. Der Hauptdurchbruch ist laut Thomas, dass die CTRL-Labs-Technologie die Aktivität einzelner Neuronen erfassen kann. Der Beweis dafür wurde noch nicht veröffentlicht, aber das Unternehmen verspricht, in naher Zukunft einen Artikel zu veröffentlichen. Wenn sich herausstellt, dass er überzeugend ist, wird das Hauptziel der Neurobiologie - die Entschlüsselung der Funktionsweise des Gehirns - viel näher rückt und NQI ohne Vermittlung von Muskeln und peripheren Neuronen geschaffen.

Es ist erwähnenswert, dass sie in Valve anscheinend auch am peripheren Nervensystem interessiert sind. Mike erwähnt diesen Ansatz als einen möglichen Weg, um die Reaktionszeit zu verkürzen. Wenn beispielsweise das Signal vom Gehirn zu den Fingern 100 Millisekunden erreicht (die Zahl wird als Beispiel genommen), hilft das „Abfangen“ des Signals bei der Annäherung an den Muskel, 10 bis 30 Millisekunden zu sparen. Auf den ersten Blick ist dies unbedeutend, aber ein solches „Betrügen“ wird E-Sportlern sicherlich gefallen. Zwar können Schnittstellen die Reaktionszeit nur verlängern, aber die Technologie steht nicht still.

Was wird als nächstes passieren



Science Fiction hat viele ethische Fragen im Zusammenhang mit NQIs aufgeworfen, aber die Post-NQI-Welt wird sicherlich noch mehr aufwerfen.

Gabe ist zuversichtlich, dass Technologie in allen Bereichen der Unterhaltungsindustrie Anwendung finden wird, steht Prognosen jedoch skeptisch gegenüber. Ihm zufolge ist die Präsentation der Post-NQI-Welt jetzt wie der Versuch, einer Person, die noch nie davon gehört hat, zu erklären, was das Internet ist. "Cool, du kannst dort nach Rezepten suchen!" - Eine solche Person wird sagen, aber sie wird nicht in der Lage sein, das Aussehen von beispielsweise Uber vorherzusagen.


Es ist nicht so einfach, Spieler freiwillig zum Kauf neuer Geräte zu zwingen. Die teure Entwicklung von NQIs in dieser Hinsicht ist ein großes Risiko. Screenshot von Half-Life: Alyx (2020).

Trotzdem sagen alle Entwickler, dass NII eine logische Entwicklung von Virtual-Reality-Technologien werden wird. Es ist keine leichte Aufgabe, einen Spieler zum Tragen eines Helms zu bewegen, aber das Hinzufügen von NKI-Elektroden zum VR-Headset kann das Spielgefühl dramatisch verändern und das Gerät attraktiv machen.


Es gab bereits Versuche, Hybridhelme herzustellen - Neurable hat ein solches Gerät auf mehreren Ausstellungen gezeigt und sogar das Spiel Awakening angekündigt, aber die Veröffentlichung ist noch nicht erfolgt.

Die virtuelle Realität wird in den Reden der Mitarbeiter aller Unternehmen erwähnt. Aber niemand sagte, wie viel zu warten sei. Weder Mike Embinder noch Gabe Newell haben den Veröffentlichungstermin für Half-Life 3 auf NKI bekannt gegeben. Philip Sabes und Elon Musk erwähnen zwar das Spiel, aber es ist unwahrscheinlich, dass das invasive Implantat das Gamepad sofort ersetzt. Nur Thomas Reardon nennt bestimmte Daten - und angesichts des realistischen Ansatzes von CTRL-Labors gibt es keinen Grund, ihm nicht zu glauben. Ihm zufolge werden die ersten Massen-NKIs erst 2024 auf den Markt kommen.

Zusätzliche Materialien:


Für diejenigen, die das NQI ausprobieren möchten, haben wir eine Liste mit Links zur Theorie sowie zu Geräten und Anwendungen zusammengestellt, die bereits verkauft oder für die Veröffentlichung vorbereitet werden.

Geschichte und Zukunft von BCI:

:
  • openbci.com — -, open-source . , .
  • store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
  • emotiv.com – Neurosky, , -. « » . .
  • brainco.tech – BrainCo, . , .
  • next-mind.com - NextMind- Start, vor allem deshalb interessant, weil das kommende Release-Devkit das kompakteste und mobilste EEG-Gerät ist. AuĂźerdem versprechen Entwickler Kompatibilität mit Spielen.

Autoren:

Ivan Smirnov (I), KonzeptkĂĽnstler, Illustrator, GrĂĽnder der Smirnov-Schule.
Artemy Tretyakov, Genetiker, Autor an der Smirnov-Schule.

More articles:


All Articles