Get best of the week

Cómo reproducir sonido realista en juegos de computadora y realidad virtual y por qué es difícil

El cálculo de los parámetros acústicos de un objeto en un entorno virtual puede llevar días. En Stanford, desarrollaron un sistema que reduce este tiempo a varios minutos e incluso segundos.

Te contamos cómo funciona el algoritmo, lo que te permite crear mundos más realistas en los juegos.


Foto Stella Jacob / Unsplash

Suena en un entorno virtual: es difícil


Una parte importante de las tecnologías asociadas con la generación de modelos de sonido se basa en el trabajo del físico alemán German von Helmholtz (Hermann von Helmholtz). Ya en el siglo XIX, propuso la teoría de la resonancia acústica y derivó una ecuación que describe la propagación del sonido en el espacio. Hoy, su investigación científica forma la base de algoritmos que simulan el movimiento de ondas en entornos virtuales, teniendo en cuenta el volumen y la dirección.

Uno de los métodos más conocidos es el método del elemento límite (BEM). Ayuda a resolver el problema de la dispersión del sonido por sólidos de forma compleja, pero requiere cálculos preliminares de los parámetros de los objetos. El procedimiento puede llevar varias horas o días, dependiendo de la potencia informática del clúster. Sin duda, esto afecta el costo del producto, ya sea una película animada o un juego de computadora.

Ingenieros de la Universidad de Stanford abordaron el problema. Presentaron un algoritmo que puede construir un modelo acústico de un objeto en un entorno virtual en pocos minutos, sin usar la ecuación de Helmholtz y BEM. La tecnología se llama KleinPAT, en honor del compositor austriaco Fritz Heinrich Klein ( Fritz Heinrich Klein), que en 1921 sacó a la luz el " acorde madre ", un acorde de doce sonidos diferentes separados por once intervalos diferentes.

Como funciona el algoritmo


El proyecto se basa en el método ( página 1 ) de síntesis de sonido modal, que reduce el tiempo dedicado al cálculo preliminar de los parámetros acústicos de un modelo dinámico y admite la aceleración de hardware en la GPU. La solución de los ingenieros de Stanford no calcula las características de frecuencia de un objeto 3D para todo tipo de vibraciones. En cambio, como Heinrich Klein, combina varios modelos en los llamados acordes .

De estos acordes, el algoritmo extrae las funciones de transferencia de frecuencia para cada tipo de oscilación utilizando un sistema especial de descomposición QR . Sobre esta base, se generan los campos acústicos necesarios, miles de veces más rápido que en el caso de los métodos basados ​​en la ecuación de Helmholtz. Como suena en la práctica, puedesEscuche el video que grabaron los desarrolladores.


Foto de Stéphane Bernard / Unsplash Se

espera que la tecnología se use en proyectos de realidad virtual. Hay muchas variables en los juegos de este género, el entorno cambia constantemente. En tales condiciones, es difícil generar un sonido realista. Pero según los desarrolladores, su algoritmo le permitirá calcular los parámetros acústicos del entorno virtual en casi "transmisión en vivo". También existe la opinión de que la nueva solución es adecuada no solo para trabajar con objetos, sino también para el habla humana.

Hasta ahora, KleinPAT se encuentraen las primeras etapas de desarrollo, por lo que pasará algún tiempo antes de que el algoritmo llegue a proyectos comerciales de realidad virtual. Al mismo tiempo, uno de los residentes del sitio de TechSpot señaló que el soporte para la computación GPU jugó un papel importante en la mejora de la productividad. Sugirió que los métodos BEM clásicos, optimizados para trabajar con tarjetas gráficas, también podrían mostrar resultados decentes. Quizás en el futuro, la investigación también se llevará a cabo en esta dirección.

¿Quién más trabaja en esta área?


El desarrollo de algoritmos relacionados con la simulación de sonidos en el espacio virtual, y que participan en grandes empresas de TI. Por ejemplo, está el proyecto Triton , que simula el movimiento de ondas en espacios 3D complejos: con una gran cantidad de ángulos, habitaciones, objetos. El sistema " hornea " (como en el caso de la textura) parámetros acústicos del entorno en geometría estática, y luego los reproduce en el juego. Los diseñadores conservan la capacidad de ajustar el sonido, por ejemplo, reducir la reverberación para que el discurso de los personajes sea más legible. Todo este procesamiento toma solo el 10% de la potencia de procesamiento de la CPU. La tecnología Triton ya se ha utilizado en el juego de computadora Gears of War : agrega un eco notable al comunicarse con los personajes principales en el gran salón.


Foto

La tecnología Bartek Mazurek / Unsplash Acoustic tambiénfuncionaen Intel. Con el apoyo de la compañía, el compositor Justin Lassen viaja por el mundo y realiza grabaciones de audio binaurales. En ellos, busca capturar los sonidos del medio ambiente. Los registros realizados de esta manera se convierten enactivospara el motor Unreal Engine 4. Más tarde se utilizan en el desarrollo de proyectos de realidad virtual.

En el futuro, tales soluciones crearán mundos virtuales que sumergirán al jugador con lo que está sucediendo en la pantalla.


— « Hi-Fi»:

«-, »:

—
« »:


:


More articles:


All Articles