👛 😔 ⛹🏽 Como reproduzir som realista em jogos de computador e VR e por que é difícil ⚛️ 👧🏿 🛅

O cálculo dos parâmetros acústicos de um objeto em um ambiente virtual pode levar dias. Em Stanford, eles desenvolveram um sistema que reduz esse tempo para vários minutos e até segundos.

Nós dizemos como o algoritmo funciona, permitindo que você crie mundos mais realistas nos jogos.

^{Foto Stella Jacob / Unsplash}

Soa em um ambiente virtual - é difícil

Uma parte significativa das tecnologias associadas à geração de modelos de som é baseada no trabalho do físico alemão von Helmholtz (Hermann von Helmholtz). Já no século XIX, ele propôs a teoria da ressonância acústica e derivou uma equação descrevendo a propagação do som no espaço. Hoje, sua pesquisa científica forma a base de algoritmos que simulam o movimento das ondas em ambientes virtuais, levando em consideração o volume e a direção.

Um dos métodos conhecidos é o método dos elementos de contorno (BEM). Ajuda a resolver o problema da dispersão do som por sólidos de forma complexa, mas requer cálculos preliminares dos parâmetros dos objetos. O procedimento pode levar várias horas ou dias, dependendo da capacidade de computação do cluster. Sem dúvida, isso afeta o custo do produto, seja um filme de animação ou um jogo de computador.

Engenheiros da Universidade de Stanford assumiram o problema. Eles apresentaram um algoritmo que pode construir um modelo acústico de um objeto em um ambiente virtual em poucos minutos - sem usar a equação de Helmholtz e o BEM. A tecnologia é chamada KleinPAT, em homenagem ao compositor austríaco Fritz Heinrich Klein ( Fritz Heinrich Klein), que em 1921 trouxe o " acorde mãe " - um acorde de doze sons diferentes, separados por onze intervalos diferentes.

Como o algoritmo funciona

O projeto é baseado no método ( página 1 ) da síntese de som modal, que reduz o tempo gasto no cálculo preliminar dos parâmetros acústicos de um modelo dinâmico e suporta a aceleração de hardware na GPU. A solução dos engenheiros de Stanford não calcula as características de frequência de um objeto 3D para todos os tipos de vibrações. Em vez disso, como Heinrich Klein, ele combina vários modelos nos chamados acordes .

A partir desses acordes, o algoritmo extrai as funções de transferência de frequência para cada tipo de oscilação usando um sistema de decomposição QR especial . Basicamente, são gerados os campos acústicos necessários - milhares de vezes mais rápido que no caso de métodos baseados na equação de Helmholtz. Como parece na prática, você podeouça o vídeo que os desenvolvedores gravaram.

^{Foto por Stéphane Bernard / Unsplash}

Espera-se que a ^tecnologia seja usada em projetos de RV. Existem muitas variáveis em jogos desse gênero, o ambiente está mudando constantemente. Em tais condições, é difícil gerar som realista. Mas, de acordo com os desenvolvedores, o algoritmo deles permitirá calcular os parâmetros acústicos do ambiente virtual em quase "transmissão ao vivo". Também existe uma opinião de que a nova solução é adequada não apenas para trabalhar com objetos, mas também para a fala humana.

Até agora, o KleinPAT está localizadonos estágios iniciais de desenvolvimento, levará algum tempo até que o algoritmo atinja projetos comerciais de RV. Ao mesmo tempo, um dos residentes do site TechSpot observou que o suporte à computação de GPU desempenhou um papel significativo na melhoria da produtividade. Ele sugeriu que os métodos clássicos de BEM, otimizados para trabalhar com placas gráficas, também poderiam mostrar resultados decentes. Talvez no futuro, também sejam realizadas pesquisas nessa direção.

Quem mais trabalha nesta área

O desenvolvimento de algoritmos relacionados à simulação de sons no espaço virtual e envolvidos em grandes empresas de TI. Por exemplo, existe o projeto Triton , que simula o movimento das ondas em complexos espaços 3D: com um grande número de ângulos, salas, objetos. O sistema “ coze ” (como no caso da texturização) os parâmetros acústicos do ambiente na geometria estática e depois os reproduz no jogo. Os designers mantêm a capacidade de ajustar o som - por exemplo, reduza a reverberação para que o discurso dos personagens seja mais legível. Todo esse processamento ocupa apenas 10% da capacidade de processamento da CPU. A tecnologia Triton já foi usada no jogo de computador Gears of War - acrescenta um eco notável ao se comunicar com os personagens principais no grande salão.

^foto

A tecnologia^{Bartek Mazurek}^{/ Unsplash} Acoustic tambémfuncionana Intel. Com o apoio da empresa, o compositor Justin Lassen viaja pelo mundo e faz gravações de áudio binaurais. Neles, ele procura capturar os sons do ambiente. Os registros feitos dessa maneira se transformam emativospara o mecanismo Unreal Engine 4. Depois, eles são usados no desenvolvimento de projetos de RV.

No futuro, essas soluções criarão mundos virtuais que mergulharão o player no que está acontecendo na tela.

— « Hi-Fi»:

«-, »:

—

« »:

Como reproduzir som realista em jogos de computador e VR e por que é difícil

Soa em um ambiente virtual - é difícil

Como o algoritmo funciona

Quem mais trabalha nesta área

More articles: