👳🏿 🕔 🌋 Bagaimana cara mereproduksi suara realistis dalam permainan komputer dan VR dan mengapa itu sulit 🌵 🤔 🤤

Perhitungan parameter akustik suatu objek dalam lingkungan virtual dapat memakan waktu berhari-hari. Di Stanford, mereka mengembangkan sistem yang mengurangi waktu ini menjadi beberapa menit dan bahkan detik.

Kami memberi tahu Anda bagaimana algoritme bekerja, memungkinkan Anda untuk menciptakan dunia game yang lebih realistis.

^{Foto Stella Jacob / Unsplash}

Terdengar di lingkungan virtual - sulit

Bagian penting dari teknologi yang terkait dengan generasi model suara didasarkan pada karya fisikawan Jerman, Jerman von Helmholtz (Hermann von Helmholtz). Pada awal abad ke-19, ia mengusulkan teori resonansi akustik dan menghasilkan persamaan yang menggambarkan perambatan suara di ruang angkasa. Saat ini, penelitian ilmiahnya menjadi dasar algoritma yang mensimulasikan pergerakan gelombang di lingkungan virtual, dengan mempertimbangkan volume dan arah.

Salah satu metode yang terkenal adalah metode elemen batas (BEM). Ini membantu untuk memecahkan masalah hamburan suara oleh padatan bentuk kompleks, tetapi membutuhkan perhitungan awal dari parameter objek. Prosedur ini bisa memakan waktu beberapa jam atau hari, tergantung pada kekuatan komputasi cluster. Tidak diragukan lagi ini mempengaruhi biaya produk, apakah itu film animasi atau permainan komputer.

Para insinyur dari Universitas Stanford menangani masalah ini. Mereka mempresentasikan algoritma yang dapat membangun model akustik suatu objek dalam lingkungan virtual dalam beberapa menit - tanpa menggunakan persamaan Helmholtz dan BEM. Teknologi ini disebut KleinPAT, untuk menghormati komposer Austria Fritz Heinrich Klein ( Fritz Heinrich Klein), yang pada tahun 1921 mengeluarkan " chord ibu " - akord dari dua belas suara yang berbeda dipisahkan oleh sebelas interval yang berbeda.

Bagaimana algoritma bekerja

Proyek ini didasarkan pada metode ( halaman 1 ) sintesis suara modal, yang mengurangi waktu yang dihabiskan untuk perhitungan awal parameter akustik model dinamis dan mendukung akselerasi perangkat keras pada GPU. Solusi para insinyur Stanford tidak menghitung karakteristik frekuensi dari objek 3D untuk semua jenis getaran. Sebaliknya, seperti Heinrich Klein, ia menggabungkan beberapa model menjadi apa yang disebut akor .

Dari akor ini, algoritma mengekstraksi fungsi transfer frekuensi untuk setiap jenis osilasi menggunakan sistem dekomposisi QR khusus . Atas dasar mereka, bidang akustik yang diperlukan dihasilkan - ribuan kali lebih cepat daripada dalam kasus metode berdasarkan persamaan Helmholtz. Kedengarannya dalam praktik, Anda bisadengarkan video yang direkam pengembang.

^{Foto oleh Stéphane Bernard / Unsplash Teknologi}

ini diharapkan dapat digunakan di proyek VR. Ada banyak variabel dalam game genre ini, lingkungan terus berubah. Dalam kondisi seperti itu, sulit untuk menghasilkan suara yang realistis. Namun menurut dengan pengembang, algoritma mereka akan memungkinkan Anda untuk menghitung parameter akustik dari lingkungan virtual di hampir "siaran langsung". Ada juga yang berpendapat bahwa solusi baru ini cocok tidak hanya untuk bekerja dengan objek, tetapi juga untuk bicara manusia.

Sejauh ini, KleinPAT beradapada tahap awal pengembangan, sehingga akan memakan waktu sebelum algoritma mencapai proyek VR komersial. Pada saat yang sama, salah satu penghuni situs TechSpot mencatat bahwa dukungan untuk komputasi GPU memainkan peran penting dalam meningkatkan produktivitas. Dia menyarankan bahwa metode BEM klasik, dioptimalkan untuk bekerja dengan kartu grafis, juga bisa menunjukkan hasil yang layak. Mungkin di masa depan, penelitian juga akan dilakukan ke arah ini.

Siapa lagi yang bekerja di area ini

Pengembangan algoritma terkait dengan simulasi suara di ruang virtual, dan terlibat dalam perusahaan IT besar. Misalnya, ada proyek Triton , yang mensimulasikan pergerakan gelombang di ruang 3D yang kompleks: dengan sejumlah besar sudut, ruang, objek. Sistem " bakes " (seperti dalam kasus dengan tekstur) parameter akustik lingkungan pada geometri statis, dan kemudian mereproduksi mereka dalam permainan. Desainer mempertahankan kemampuan untuk menyempurnakan suara - misalnya, mengurangi reverb sehingga ucapan karakter lebih mudah dibaca. Semua pemrosesan ini hanya membutuhkan 10% dari daya pemrosesan CPU. Teknologi Triton telah digunakan dalam permainan komputer Gears of War - ini menambah gema yang terlihat ketika berkomunikasi dengan karakter utama di aula besar.

^{FotoBartek Mazurek / Teknologi Unsplash}

Acoustic jugaberfungsidi Intel. Dengan dukungan perusahaan, komposer Justin Lassen berkeliling dunia dan membuat rekaman audio binaural. Pada mereka, dia berusaha menangkap suara lingkungan. Catatan yang dibuat dengan cara ini berubah menjadiasetuntuk Unreal Engine 4. Mereka kemudian digunakan dalam pengembangan proyek VR.

Di masa depan, solusi semacam itu akan menciptakan dunia virtual yang akan membenamkan pemain dengan apa yang terjadi di layar.

— « Hi-Fi»:

«-, »:

—

« »:

Bagaimana cara mereproduksi suara realistis dalam permainan komputer dan VR dan mengapa itu sulit

Terdengar di lingkungan virtual - sulit

Bagaimana algoritma bekerja

Siapa lagi yang bekerja di area ini

More articles: