🚁 💇 🆔 如何在电脑游戏和VR中再现逼真的声音以及为什么很难 🤵🏼 😳 ✍🏽

在虚拟环境中对象的声学参数的计算可能需要几天的时间。在斯坦福大学，他们开发了一种系统，将时间减少到几分钟甚至几秒钟。

我们告诉您该算法的工作原理，使您可以在游戏中创建更逼真的世界。

^{照斯特拉·雅各布 / Unsplash}

在虚拟环境中发出声音-很难

与声音模型生成相关的技术的重要部分是基于德国物理学家德国人冯·亥姆霍兹（Hermann von Helmholtz）的工作。早在19世纪，他提出了声共振理论，并推导了描述声音在空间中传播的方程。如今，他的科学研究已成为算法的基础，该算法可在考虑体积和方向的情况下模拟虚拟环境中的波运动。

边界元法（BEM）是一种众所周知的方法。它有助于解决形状复杂的固体造成的声音散射问题，但需要对对象的参数进行初步计算。该过程可能需要几个小时或几天，具体取决于群集的计算能力。这无疑会影响产品的成本，无论是动画电影还是计算机游戏。

斯坦福大学的工程师解决了这个问题。他们提出了一种算法，能够在几分钟内构建虚拟环境中对象的声学模型，而无需使用Helmholtz方程和BEM。该技术称为KleinPAT，以纪念奥地利作曲家弗里茨·海因里希·克莱因（Fritz Heinrich Klein），并在1921年推出了“ 母和弦 ”，即十二种不同声音的和弦，它们之间有11种不同的间隔。

该算法如何工作

该项目基于模态声音合成的方法（第1页），该方法减少了动态模型声学参数的初步计算所花费的时间，并支持GPU上的硬件加速。斯坦福大学工程师的解决方案并未针对所有类型的振动计算3D对象的频率特性。相反，他像海因里希·克莱因（Heinrich Klein）一样，将几种模型组合成所谓的和弦。

从这些和弦中，该算法使用特殊的QR分解系统提取每种振动类型的频率传递函数。在此基础上，生成必要的声场-比基于Helmholtz方程的方法要快数千倍。听起来很实际，您可以收听开发人员录制的视频。

^{摄影：斯特凡·伯纳德（StéphaneBernard） / Unsplash这项技术}

有望在VR项目中得到应用。这种类型的游戏中有很多变量，环境在不断变化。在这种情况下，很难产生逼真的声音。但据该开发商，他们的算法可以让你计算几乎是“现场直播”虚拟环境的声学参数。还有一种观点认为，新解决方案不仅适用于处理对象，而且适用于人类语音。

到目前为止，KleinPAT 位于在开发的早期阶段，因此该算法要进入商业VR项目尚需时日。同时，TechSpot网站的一位居民指出，对GPU计算的支持在提高生产力方面发挥了重要作用。他建议针对图形卡进行优化的经典BEM方法也可以显示出不错的效果。也许将来，也将朝这个方向进行研究。

还有谁在这方面工作

与虚拟空间中的声音模拟相关的算法的开发，并涉及大型IT公司。例如，有一个Triton项目，它可以模拟复杂的3D空间（具有大量的角度，房间，物体）中的波浪运动。系统在静态几何体上“ 烘焙 ”（如构造纹理的情况）环境的声学参数，然后在游戏中再现它们。设计人员保留了微调声音的能力-例如，减少混响，使角色的语音更清晰。所有这些处理仅占用CPU的10％的处理能力。 Triton技术已经在计算机游戏《战争机器》中使用 -在与大厅的主要角色进行交流时会增加明显的回声。

^{照片Bartek Mazurek / Unsplash}

Acoustic技术也可在英特尔使用。在公司的支持下，作曲家贾斯汀·拉森（Justin Lassen）环游世界，制作双耳录音。在它们上，他试图捕捉环境的声音。以这种方式制作的记录变成了虚幻引擎4的资产。它们后来被用于VR项目的开发中。

将来，此类解决方案将创建虚拟世界，使玩家沉浸在屏幕上。

— « Hi-Fi»:

«-, »:

—

« »:

如何在电脑游戏和VR中再现逼真的声音以及为什么很难

在虚拟环境中发出声音-很难

该算法如何工作

还有谁在这方面工作

More articles: