Get best of the week

Antarmuka neurocomputer untuk game: apa yang dikenal saat ini

Relatif baru-baru ini, pendiri Valve, Gabe Newell mengatakan bahwa umat manusia sudah jauh lebih dekat dengan "Matrix" daripada yang terlihat. Rekan penulis saya dan saya memutuskan untuk mencari tahu apakah ini benar, dan mengapa Valve, Facebook dan Elon Musk mencoba menghubungkan otak ke komputer.





Ilusi kontrol


Neurocomputer interface (NCI) atau antarmuka otak-komputer (BCI) adalah sistem yang dirancang untuk bertukar informasi langsung antara otak dan komputer. Konsep ini dijelaskan oleh Joseph Liklider sejauh 1960 dalam sebuah artikel dengan judul nyaring " Man-Computer Symbiosis". Sekarang publikasi lebih cenderung bernilai historis, tetapi upaya aktif untuk masuk ke dalam simbiosis semacam itu telah dilakukan sejak akhir 2000-an.

Mungkin kemudian NeuroSky menunjukkan dirinya lebih dari yang lain, bersama-sama dengan Square Enix, yang disajikan di Tokyo Game Show 2008 sebuah game proof-of-concept Judecca. Pada 2009, NeuroSky bahkan meluncurkan game papan NKI komersial, yang masih bisa Anda beli, tetapi apakah mereka membaca aktivitas otak atau mengeksploitasi fenomena ilusi kontrol adalah pertanyaan terbuka.

Produk-produk dari sisa perusahaan pada dasarnya tidak melampaui batas konferensi, dan para pemimpin industri game diam saja, atau mengatakan bahwa mereka tidak terlibat dalam pengembangan NKI.

gambar
Game-game NeuroSky's Mindflex dan StarWars Force Trainer masih merupakan perangkat BCI paling sukses, meskipun ada kontradiksi.


Pada 2012, Laboratorium Antarmuka Neurocomputer di Universitas Graz di Graz memperkenalkan NCI untuk World of Warcraft. Sistem bekerja, tetapi jelas tidak bisa mengganti mouse dengan keyboard.


“Latih” antarmuka dan pemain: untuk menghubungkan sinyal dari otak dengan tim tertentu, pengguna harus terlebih dahulu menggerakkan tangannya, dan hanya memikirkan gerakan ini selama pertandingan.

Perlahan-lahan, menjadi jelas bahwa revolusi tidak akan terjadi. Mereka lupa tentang NQI, tetapi tepat sampai pendiri Valve yang terkenal Gabe Newell mengumumkan dalam sebuah wawancara pada 18 Maret 2020 bahwa perusahaan itu sedang melakukan penelitian neurobiologis, menambahkan bahwa kita jauh lebih dekat dengan Matrix daripada banyak yang berpikir. Hampir bersamaan, sebuah laporan keluaryang menurutnya pasar NKI akan diperkirakan $ 2,96 miliar pada tahun 2027.

Apa yang tidak dikatakan Gabe


Setahun yang lalu, seorang karyawan Valve, psikolog eksperimental Dr. Mike Ambinder, berbicara di Game Developers Conference 2019 tentang pengembangan dan aplikasi NQI. Dibandingkan dengan wawancara Gabe, hampir tidak ada yang memperhatikan pidatonya, meskipun ia berbicara lebih banyak tentang rencana perusahaan.

gambar
Mike berada di OpenBCI EEG Headset , komunitas penggemar yang mengembangkan solusi NKI open-source.

Valve belum mengambil jalur "Matrix", menghubungkan langsung ke otak, tetapi menggunakan "helm" khusus untuk electroencephalography (EEG). Pendekatan ini memiliki kelemahan - yaitu, noise dan bandwidth rendah (misalnya, penulis NCI untuk World of Warcraft memperkirakan laju transfer data pada <100 bit / menit).

gambar
Metode utama untuk mendapatkan informasi tentang aktivitas otak, termasuk menggunakan penangkapan sinyal pada saraf perifer dan otot.

Kerugiannya sebagian disebabkan oleh sinyal yang melewati kulit dan tulang. EEG biasanya dibandingkan dengan mencoba memahami apa yang terjadi di lapangan sepak bola, berdiri di luar tembok stadion dan mendengarkan teriakan para penggemar.

Ikuti pertandingan "dari tribun" memungkinkan metode lain:

  • Elektrokortikografi, ECOG - atau EEG intrakranial (elektroensefalografi intrakranial - iEEG) - metode bedah yang paling "lunak", ketika elektroda berdekatan langsung ke permukaan otak. Gangguan mendalam pada strukturnya tidak terjadi.
  • Rekaman intracortical ( rekaman intracortical) dan implan - metode dengan pengenalan elektroda ke dalam ketebalan kulit cenderung motor. Membuat elektroda lebih dekat ke sumber sinyal, dan operasinya bahkan lebih rumit.

Tetapi non-invasif EEG sejauh ini mencakup semua kelemahan, dan Mike percaya bahwa kemampuannya belum habis. Sudah, ini memungkinkan Anda untuk mengevaluasi:

  • Pemain tertarik pada acara di layar atau hampir mati karena bosan;
  • Tegang selama misi yang sulit atau santai dan percaya diri;
  • Mampu berkonsentrasi dan menyerap informasi baru. Namun, gameplay melibatkan pelatihan pemain - manajemen, spesifikasi gameplay, dll. sesuatu;
  • Sinyal motor - dengan gerakan apa dan seberapa intens pemain bereaksi terhadap rangsangan tertentu dalam permainan.

Dan banyak parameter lainnya yang lebih halus. Secara aktif mengembangkan algoritma pembelajaran mesin secara bertahap memungkinkan untuk mengekstraksi semakin banyak dari data EEG.

Jangan buru-buru membuang keyboard



Kemungkinan besar, cara NKI dalam industri game tidak dimulai dengan pencelupan dalam realitas virtual.

Menurut Mike, sekarang NKI terutama memungkinkan Anda untuk mendapatkan umpan balik baru dari pemain yang dapat meningkatkan kualitas permainan. Mike percaya bahwa teknologi akan melalui tiga tahap pengembangan.

Setiap antarmuka adalah antarmuka otak-komputer. Satu-satunya perbedaan adalah tautan perangkat keras menengah yang dengannya kami menerjemahkan niat kami menjadi sesuatu yang cocok untuk digunakan. Mike Ambinder, Psikolog eksperimental Valve.

Dalam jangka pendek, NKI akan menemukan aplikasi dalam pengembangan game dan membuat proses pengujian lebih efisien. Sekarang metode yang biasa untuk menentukan emosi seorang tester adalah survei. Pada saat yang sama, itu dapat dilakukan hanya setelah melewati level permainan, ketika beberapa tayangan sudah dilupakan, dihaluskan atau dipikirkan kembali. Membaca respons otak waktu-nyata terhadap stimulus dalam game jauh lebih objektif dan akan membantu tingkat desain yang lebih baik, atau lebih tepatnya jatuh ke emosi yang direncanakan.

gambar
Analisis gerakan mata, detak jantung, ketegangan otot dan bahkan postur adalah cara untuk menilai kondisi pemain tanpa menyentuh otak. Ini mungkin tidak kalah menarik dari EEG.

Secara bertahap, NCI akan menjadi lebih mudah diakses dan melampaui studio. Pada tahap kedua, game itu sendiri akan mendapatkan akses ke data. Ini, menurut Mike, akan sepenuhnya mengubah konsep gameplay adaptif. Level kesulitan tradisional akan menjadi usang - dunia permainan akan beradaptasi dengan pemain tertentu, menentukan musuh mana yang menyebabkan lebih banyak masalah, apakah ia ingin bersantai setelah seharian bekerja keras, atau melewatkan harapan dari pertempuran yang sulit.

gambar
Apakah pengguna siap untuk membagikan status dan bahkan pemikiran mereka dengan game atau menganggapnya terlalu pribadi?

Pada akhirnya, karakter dalam permainan akan dapat merespons suasana hati dan emosi pemain, membuat keputusan berdasarkan parameter ini.


Mimicry dalam LA Noir (2011) memungkinkan pemain untuk menebak jika karakter berbohong atau mengatakan yang sebenarnya. Dengan munculnya NKI, peran dapat berubah.

, , , . RPG, . (Mike Ambinder), Valve.

"True NCI" - mengganti antarmuka manajemen standar, "fisik" akan menjadi langkah terakhir. Ini akan memecahkan masalah antarmuka modern: waktu reaksi yang lama, kebutuhan untuk mengingat kunci, ketidakmampuan untuk menekan banyak tombol sekaligus. Tapi dia akan menambahkan yang baru: misalnya, kurangnya umpan balik taktil. Setelah kehilangan kunci "lompat", tidak sulit untuk memahami mengapa karakter tidak melompat. Dengan perintah yang diberikan secara mental, situasi yang sama tidak lagi begitu jelas.

Tahap terakhir dalam pengembangan NQI adalah penciptaan yang sangat "Matrix": perangkat output data langsung ke otak, melewati monitor, helm VR dan sistem audio. Menurut Gabe, studi teoritis sudah berlangsung dan membawa banyak kejutan: tugas "kompleks" eksternal - "menghubungkan" ke motor korteks - Ternyata relatif sederhana, sementara yang lain - misalnya, meniru perasaan dingin - sangat kompleks.


Ternyata otak memiliki antarmuka bawaan yang sangat baik untuk beberapa hal, dan yang sangat buruk untuk yang lain. Gabe Newell, pendiri dan CEO Valve


Perangkat TMS digunakan oleh Valve.

Pada saat yang sama, memanjat di dalam tengkorak masih tidak perlu. Untuk penelitian primer, stimulasi magnetik transkranial sudah cukup - suatu metode di mana struktur otak tertentu dipengaruhi oleh impuls magnetik, yang menyebabkan stimulasi yang dalam. Sekarang pendekatan ini digunakan terutama untuk pengobatan penyakit mental dan neurologis tertentu, yang TMS khusus digunakan dalam Valve Mike tidak menentukan.

Implan otak. Bagaimana kamu menyukainya, Gabe?


Banyak dari apa yang dijelaskan Mike dapat diimplementasikan menggunakan EEG. Namun dia mengakui bahwa suatu hari nanti implan akan menjadi hal biasa seperti LASIK - operasi untuk koreksi penglihatan laser. Mike menyebut titik ini "LASIK-threshold". Elon Musk akan mengatasinya, yang perusahaannya Neuralink telah memperkenalkan implan N1, menjanjikan untuk memulai uji klinis pada tahun 2020.


Seorang ahli bedah robot dibuat di Neuralink , mampu menanamkan hingga 192 elektroda per menit dengan akurasi beberapa mikron.


Implantasi bertahap filamen dengan elektroda oleh robot ke dalam substrat simulasi jaringan otak. Neuralink melakukan pekerjaan yang hebat dengan menciptakan 20 jenis utas untuk berbagai tugas.

Menurut Philip Sabes, seorang karyawan Neuralink di University of California di San Francisco, tujuan utama proyek ini adalah untuk membantu orang lumpuh. Termasuk - mengembalikan peluang untuk berolahraga, setidaknya secara virtual, melalui permainan.



Beberapa NQI invasif telah diuji pada manusia. Implan intrakortikal Braingate pada tahun 2008 memungkinkan pasien lumpuh total untuk mengontrol kursor, dan sudah pada tahun 2012 - untuk mengambil botol dengan lengan robot dari meja dan minum sedikit. Dengan teknologi Neuralink, kemampuan antarmuka ini dapat diperluas.


Antarmuka neuro dapat membantu orang mendapatkan kembali pendengaran, penglihatan, meningkatkan prostesis dan bahkan mengembalikan fungsi bagian tubuh yang lumpuh.


Pemrosesan data primer modul ASIC Neuralink tepat di dalam tempurung kepala.

Output data dari otak dalam kasus implan invasif tidak kalah rumit dibandingkan dengan EEG. Agar informasi tidak terdistorsi, pemrosesan primer, amplifikasi sinyal dan penekanan noise paling baik dilakukan sedekat mungkin dengan neuron. Untuk ini, Neuralink telah mengembangkan modul plug-and-play khusus yang dapat ditempatkan langsung di dalam kotak tengkorak pasien. Mereka terhubung ke antarmuka standar seperti USB-c dan, di masa depan, Bluetooth, tetapi keunggulan utama mereka adalah skalabilitas, yang memungkinkan Anda untuk menghubungkan sejumlah besar modul sekaligus.

Ilon sendiri, seperti biasanya, merumuskan tujuan dengan lebih berani: dia ingin menciptakan "otak penuh NQI", memberikan simbiosis seseorang dengan kecerdasan buatan. Pada saat yang sama, pengusaha itu mengakui bahwa bahkan dengan semua prestasi Neuralink, ini masih fantastis.

Lebih dekat dengan kenyataan


Pada November 2019, Facebook mengakuisisi CTRL-labs. Mungkin lab-CTRL menarik perhatian oleh fakta bahwa mereka berencana untuk mencapai tujuan utama NQI - otak - sama sekali tidak melalui lubang di tengkorak. Dan pendekatan ini terlihat lebih realistis daripada yang lain.


Salah satu versi paling awal dari CTRL-kit.

Direktur CTRL-labs Thomas Reardonmenjelaskan bahwa implan Neuralink baik untuk pasien yang lumpuh, tetapi orang yang sehat sudah memiliki wajah neurointer yang siap pakai - ujung saraf dan otot yang terhubung dengannya. Metode non-invasif idealnya cocok di sini: aktivitas yang dihasilkan oleh otot beberapa kali lebih kuat daripada sinyal dari struktur otak mana pun. Algoritma dekripsi EEG paling rumit praktis tidak diperlukan - pekerjaan utama telah dilakukan oleh tubuh manusia. Oleh karena itu, CTRL-kit yang diperkenalkan pada 2018 bukanlah "helm", tetapi gelang untuk elektromiografi .


Salah satu demo "game" CTRL-labs. Perkembangan perusahaan jauh lebih seperti antarmuka siap-permainan daripada apa pun yang bekerja berdasarkan EEG.


Antarmuka, mirip dengan CTRL-kit, muncul pada tahun 2009. Tetapi kesamaannya hanya eksternal: pengontrol seperti itu tidak bekerja tanpa kontraksi otot.

Pada saat yang sama, CTRL-kit dapat dianggap sebagai antarmuka otak-komputer lengkap yang membaca aktivitas neuron. Untuk membuktikan ini, dinosaurus dari Google Chrome terhubung ke gelang.


Demonstrasi menggunakan CTRL-kit untuk mengontrol dinosaurus dari Google Chrome.

Menurut Philip, dibutuhkan rata-rata 90 detik untuk belajar. Pada tahap pertama pelatihan, pemain cukup menekan tombol. Setelah - itu meniru menekan dengan bantuan otot - pertama dengan kesulitan, lalu - hampir secara refleksif. Dan di sini hal yang paling menarik terjadi: otot-otot dikeluarkan dari rantai.

: “ , ?”. . (Thomas Reardon), CTRL-labs CEO.

Pada titik tertentu, jawabannya adalah: tidak perlu berkontraksi otot, pikirkan saja gerakan - dorongan ini cukup untuk bereaksi CTRL-kit - dinosaurus akan melompat.


Ambil cangkir dari meja dan bawa ke mulut Anda - apa yang bisa lebih mudah? Tapi tugasnya sederhana hanya pada pandangan pertama - setiap kali jarak ke cangkir, bahan, berat, bentuk, dan parameter lainnya berubah. Orang dewasa mudah beradaptasi dengan perubahan ini - serta berbagai opsi untuk menggunakan CTRL-kit. Sebuah studi tentang bagaimana adaptasi motorik terjadi berguna dalam robotika - mesin belum tahu bagaimana beradaptasi dengan baik terhadap perubahan kondisi.

Antarmuka sebagian menggunakan prinsip " celoteh motor"- gerakan kacau, dengan bantuan bayi membuat" peta "tubuh, menghubungkan aktivitas area otak tertentu dengan gerakan. Secara bertahap, proses pelatihan semacam itu membaik, tetapi tidak pernah berhenti. Ctrl-labs pada dasarnya mengarahkan kembali kemampuan ini untuk beradaptasi dengan pengembangan antarmuka motor.

CTRL-kit tidak hanya berfungsi - itu membantu untuk menciptakan kembali rantai di mana neuron digabungkan. Terobosan utama, menurut Thomas, adalah bahwa teknologi CTRL-labs dapat mendeteksi aktivitas neuron individu. Bukti ini belum dipublikasikan, tetapi perusahaan berjanji akan merilis artikel dalam waktu dekat, dan jika ternyata meyakinkan, maka tujuan utama neurobiologi - menguraikan cara kerja otak, akan menjadi lebih dekat, serta menciptakan NQI tanpa mediasi otot dan neuron perifer.

Perlu dicatat bahwa di Valve, tampaknya, mereka juga tertarik pada sistem saraf tepi. Mike menyebutkan pendekatan ini sebagai cara potensial untuk mengurangi waktu respons. Sebagai contoh, jika sinyal dari otak ke jari-jari mencapai 100 milidetik (angka diambil sebagai contoh), maka "intersepsi" sinyal pada pendekatan ke otot akan membantu menghemat 10-30 milidetik. Pada pandangan pertama, ini tidak signifikan, tetapi "curang" seperti itu pasti akan menyenangkan olahragawan. Benar, sementara antarmuka hanya dapat meningkatkan waktu respons, tetapi teknologi tidak berhenti.

Apa yang akan terjadi selanjutnya



Fiksi ilmiah telah menimbulkan banyak masalah etika yang berkaitan dengan NQI, tetapi dunia pasca-NQI pasti akan menimbulkan lebih banyak lagi.

Gabe yakin bahwa teknologi akan menemukan aplikasi di semua sektor industri hiburan, tetapi skeptis terhadap perkiraan. Menurutnya, menghadirkan dunia pasca-NQI sekarang seperti mencoba menjelaskan apa Internet bagi seseorang yang belum pernah mendengarnya. "Keren, kamu bisa mencari resep di sana!" - Orang seperti itu akan berkata, tetapi dia tidak akan dapat memprediksi penampilan, misalnya, dari Uber.


Memaksa gamer untuk membeli perangkat baru secara sukarela tidaklah sesederhana itu. Perkembangan NQI yang mahal dalam hal ini adalah risiko yang sangat besar. Cuplikan layar dari Half-Life: Alyx (2020).

Namun demikian, semua pengembang mengatakan bahwa NII akan menjadi pengembangan logis dari teknologi realitas virtual. Membuat pemain memakai helm bukanlah tugas yang mudah, tetapi menambahkan elektroda NKI ke headset VR dapat secara dramatis mengubah nuansa permainan dan membuat perangkat menarik.


Sudah ada upaya untuk membuat helm hybrid - Neurable telah menunjukkan perangkat seperti itu di beberapa pameran dan bahkan mengumumkan game Awakening, tetapi perilisannya belum terjadi.

Realitas virtual disebutkan dalam pidato-pidato karyawan semua perusahaan. Tapi yang tak seorang pun katakan adalah berapa lama menunggu. Baik Mike Embinder maupun Gabe Newell mengumumkan tanggal rilis untuk Half-Life 3 di NKI. Philip Sabes dan Elon Musk, meskipun mereka menyebutkan permainan, tetapi implan invasif tidak mungkin untuk segera mengganti gamepad. Hanya Thomas Reardon yang menyebutkan tanggal spesifik - dan mengingat pendekatan realistis CTRL-labs, tidak ada alasan untuk tidak mempercayainya. Menurutnya, massa NKI pertama tidak akan muncul di pasar sampai 2024.

Bahan tambahan:


Bagi mereka yang ingin mencoba NQI, kami telah menyusun daftar tautan dengan teori, serta dengan perangkat dan aplikasi yang sudah dijual atau sedang dipersiapkan untuk dirilis.

Sejarah dan masa depan BCI:

:
  • openbci.com — -, open-source . , .
  • store.neurosky.com – Neurosky, MindFlex StarWars Force Trainer, , , , .
  • emotiv.com – Neurosky, , -. « » . .
  • brainco.tech – BrainCo, . , .
  • next-mind.com - Startup NextMind , menarik terutama karena devkit rilis mendatang mereka adalah perangkat EEG yang paling ringkas dan mobile. Juga, pengembang menjanjikan kompatibilitas dengan game.

Penulis:

Ivan Smirnov (I), seniman konsep, ilustrator, pendiri Smirnov School.
Artemy Tretyakov, ahli genetika, penulis di Smirnov School.

More articles:


All Articles