😚 💆🏽 ✂️ Comment reproduire un son réaliste dans les jeux informatiques et la VR et pourquoi c'est difficile 👨🏿‍🏫 🛐 💓

Le calcul des paramètres acoustiques d'un objet dans un environnement virtuel peut prendre des jours. À Stanford, ils ont développé un système qui réduit ce temps à plusieurs minutes et même quelques secondes.

Nous vous expliquons le fonctionnement de l'algorithme, vous permettant de créer des mondes plus réalistes dans les jeux.

^{Photo Stella Jacob / Unsplash}

Sons dans un environnement virtuel - c'est difficile

Une partie importante des technologies associées à la génération de modèles sonores est basée sur les travaux du physicien allemand German von Helmholtz (Hermann von Helmholtz). Dès le 19e siècle, il propose la théorie de la résonance acoustique et dérive une équation décrivant la propagation du son dans l'espace. Aujourd'hui, ses recherches scientifiques forment la base d'algorithmes qui simulent le mouvement des ondes dans des environnements virtuels, en tenant compte du volume et de la direction.

L'une des méthodes bien connues est la méthode des éléments limites (BEM). Il permet de résoudre le problème de la diffusion du son par des solides de forme complexe, mais nécessite des calculs préliminaires des paramètres des objets. La procédure peut prendre plusieurs heures ou jours, selon la puissance de calcul du cluster. Cela affecte sans aucun doute le coût du produit, qu'il s'agisse d'un film d'animation ou d'un jeu informatique.

Des ingénieurs de l'Université de Stanford ont pris le problème. Ils ont présenté un algorithme qui peut construire un modèle acoustique d'un objet dans un environnement virtuel en quelques minutes - sans utiliser l'équation de Helmholtz et le BEM. La technologie est appelée KleinPAT, en l'honneur du compositeur autrichien Fritz Heinrich Klein ( Fritz Heinrich Klein), qui a fait ressortir en 1921 «l' accord mère » - un accord de douze sons différents séparés par onze intervalles différents.

Fonctionnement de l'algorithme

Le projet est basé sur la méthode ( page 1 ) de synthèse sonore modale, qui réduit le temps consacré au calcul préliminaire des paramètres acoustiques d'un modèle dynamique et supporte l'accélération matérielle sur le GPU. La solution des ingénieurs de Stanford ne calcule pas les caractéristiques de fréquence d'un objet 3D pour tous les types de vibrations. Au lieu de cela, comme Heinrich Klein, il combine plusieurs modèles en accords dits .

À partir de ces accords, l'algorithme extrait les fonctions de transfert de fréquence pour chaque type d'oscillation à l'aide d'un système de décomposition QR spécial . Sur leur base, les champs acoustiques nécessaires sont générés - des milliers de fois plus rapidement que dans le cas des méthodes basées sur l'équation de Helmholtz. Comme cela semble en pratique, vous pouvezécoutez la vidéo que les développeurs ont enregistrée.

^{Photo par Stéphane Bernard / Unsplash La technologie}

devrait être utilisée dans les projets VR. Il y a beaucoup de variables dans les jeux de ce genre, l'environnement est en constante évolution. Dans de telles conditions, il est difficile de générer un son réaliste. Mais selon les développeurs, leur algorithme vous permettra de calculer les paramètres acoustiques de l'environnement virtuel en quasi "diffusion en direct". Il existe également une opinion selon laquelle la nouvelle solution convient non seulement pour travailler avec des objets, mais aussi pour la parole humaine.

Jusqu'à présent, KleinPAT est situédans les premiers stades de développement, il faudra donc un certain temps avant que l'algorithme n'atteigne les projets VR commerciaux. Dans le même temps, l'un des résidents du site TechSpot a noté que la prise en charge de l'informatique GPU jouait un rôle important dans l'amélioration de la productivité. Il a suggéré que les méthodes BEM classiques, optimisées pour travailler avec des cartes graphiques, pourraient également donner des résultats décents. Peut-être qu'à l'avenir, des recherches seront également menées dans ce sens.

Qui d'autre travaille dans ce domaine

Le développement d'algorithmes liés à la simulation des sons dans l'espace virtuel, et impliqué dans de grandes entreprises informatiques. Par exemple, il y a le projet Triton , qui simule le mouvement des vagues dans des espaces 3D complexes: avec un grand nombre d'angles, de pièces, d'objets. Le système « cuit » (comme dans le cas de la texturation) les paramètres acoustiques de l'environnement sur la géométrie statique, puis les reproduit dans le jeu. Les concepteurs conservent la possibilité d'affiner le son - par exemple, de réduire la réverbération afin que la parole des personnages soit plus lisible. Tout ce traitement ne prend que 10% de la puissance de traitement du CPU. La technologie Triton a déjà été utilisée dans le jeu informatique Gears of War - elle ajoute un écho notable lors de la communication avec les personnages principaux dans la grande salle.

^PhotoLa

technologie^{Bartek Mazurek}^{/ Unsplash} Acousticfonctionneégalementchez Intel. Avec le soutien de la compagnie, le compositeur Justin Lassen parcourt le monde et réalise des enregistrements audio binauraux. Sur eux, il cherche à capter les sons de l'environnement. Les enregistrements ainsi réalisés deviennent desatoutspour le moteur Unreal Engine 4. Plus tard, ils sont utilisés dans le développement de projets VR.

À l'avenir, ces solutions créeront des mondes virtuels qui plongeront le joueur dans ce qui se passe à l'écran.

— « Hi-Fi»:

«-, »:

—

« »:

Comment reproduire un son réaliste dans les jeux informatiques et la VR et pourquoi c'est difficile

Sons dans un environnement virtuel - c'est difficile

Fonctionnement de l'algorithme

Qui d'autre travaille dans ce domaine

More articles: