🖲️ 👃🏽 ❕ Wie man realistischen Sound in Computerspielen und VR reproduziert und warum es schwierig ist 🦃 🐨 🛌

Die Berechnung der akustischen Parameter eines Objekts in einer virtuellen Umgebung kann Tage dauern. In Stanford entwickelten sie ein System, das diese Zeit auf einige Minuten und sogar Sekunden reduziert.

Wir erklären Ihnen, wie der Algorithmus funktioniert, damit Sie realistischere Welten in Spielen erstellen können.

^{Foto Stella Jacob / Unsplash}

Klingt in einer virtuellen Umgebung - es ist schwer

Ein wesentlicher Teil der mit der Erzeugung von Klangmodellen verbundenen Technologien basiert auf der Arbeit des deutschen Physikers German von Helmholtz (Hermann von Helmholtz). Bereits im 19. Jahrhundert schlug er die Theorie der akustischen Resonanz vor und leitete eine Gleichung ab, die die Ausbreitung von Schall im Raum beschreibt. Heute bildet seine wissenschaftliche Forschung die Grundlage für Algorithmen, die die Bewegung von Wellen in virtuellen Umgebungen unter Berücksichtigung von Volumen und Richtung simulieren.

Eine der bekannten Methoden ist die Boundary Element Method (BEM). Es hilft, das Problem der Schallstreuung durch Festkörper komplexer Form zu lösen, erfordert jedoch vorläufige Berechnungen der Parameter von Objekten. Der Vorgang kann je nach Rechenleistung des Clusters mehrere Stunden oder Tage dauern. Dies wirkt sich zweifellos auf die Kosten des Produkts aus, sei es ein Animationsfilm oder ein Computerspiel.

Ingenieure der Stanford University haben das Problem aufgegriffen. Sie präsentierten einen Algorithmus , mit dem in wenigen Minuten ein akustisches Modell eines Objekts in einer virtuellen Umgebung erstellt werden kann - ohne die Helmholtz-Gleichung und BEM. Die Technologie heißt KleinPAT, zu Ehren des österreichischen Komponisten Fritz Heinrich Klein ( Fritz Heinrich Klein), der 1921 den „ Mutterakkord “ hervorbrachte - einen Akkord aus zwölf verschiedenen Klängen, die durch elf verschiedene Intervalle voneinander getrennt sind.

Wie der Algorithmus funktioniert

Das Projekt basiert auf der Methode ( Seite 1 ) der modalen Klangsynthese, die den Zeitaufwand für die vorläufige Berechnung der akustischen Parameter eines dynamischen Modells reduziert und die Hardwarebeschleunigung auf der GPU unterstützt. Die Lösung der Stanford-Ingenieure berechnet nicht die Frequenzeigenschaften eines 3D-Objekts für alle Arten von Schwingungen. Stattdessen kombiniert er wie Heinrich Klein mehrere Modelle zu sogenannten Akkorden .

Aus diesen Akkorden extrahiert der Algorithmus die Frequenzübertragungsfunktionen für jede Art von Schwingung unter Verwendung eines speziellen QR-Zerlegungssystems . Auf ihrer Basis werden die notwendigen akustischen Felder erzeugt - tausende Male schneller als bei Methoden, die auf der Helmholtz-Gleichung basieren. Wie es sich in der Praxis anhört, können SieHören Sie sich das Video an , das die Entwickler aufgenommen haben.

^{Foto von Stéphane Bernard / Unsplash Die Technologie}

wird voraussichtlich in VR-Projekten Verwendung finden. Es gibt viele Variablen in Spielen dieses Genres, die Umgebung ändert sich ständig. Unter solchen Bedingungen ist es schwierig, realistischen Klang zu erzeugen. Laut den Entwicklern können Sie mit ihrem Algorithmus die akustischen Parameter der virtuellen Umgebung in fast "Live-Übertragung" berechnen. Es besteht auch die Meinung, dass die neue Lösung nicht nur für die Arbeit mit Objekten, sondern auch für die menschliche Sprache geeignet ist.

Bisher befindet sich KleinPATIn den frühen Entwicklungsstadien wird es also einige Zeit dauern, bis der Algorithmus kommerzielle VR-Projekte erreicht. Gleichzeitig stellte einer der Bewohner der TechSpot-Site fest, dass die Unterstützung für GPU-Computing eine wichtige Rolle bei der Verbesserung der Produktivität spielt. Er schlug vor, dass klassische BEM-Methoden, die für die Arbeit mit Grafikkarten optimiert sind, auch gute Ergebnisse zeigen könnten. Vielleicht wird in Zukunft auch in diese Richtung geforscht.

Wer arbeitet noch in diesem Bereich

Die Entwicklung von Algorithmen zur Simulation von Klängen im virtuellen Raum und in großen IT-Unternehmen. Zum Beispiel gibt es das Triton-Projekt , das die Bewegung von Wellen in komplexen 3D-Räumen simuliert: mit einer großen Anzahl von Winkeln, Räumen, Objekten. Das System „ backt “ (wie im Fall der Texturierung) akustische Parameter der Umgebung auf statischer Geometrie und reproduziert sie dann im Spiel. Designer behalten die Möglichkeit, den Klang fein abzustimmen. Reduzieren Sie beispielsweise den Nachhall, damit die Sprache der Zeichen besser lesbar ist. All diese Verarbeitung beansprucht nur 10% der Verarbeitungsleistung der CPU. Die Triton-Technologie wurde bereits im Computerspiel Gears of War verwendet - sie sorgt für ein spürbares Echo bei der Kommunikation mit den Hauptfiguren in der großen Halle.

^{FotoDie Bartek Mazurek / Unsplash}

Acoustic-Technologiefunktioniert auchbei Intel. Mit der Unterstützung des Unternehmens bereist der Komponist Justin Lassen die Welt und macht binaurale Audioaufnahmen. Auf ihnen versucht er, die Geräusche der Umgebung einzufangen. Auf diese Weise erstellte Aufzeichnungen werden zuAssetsfür die Unreal Engine 4-Engine. Später werden sie für die Entwicklung von VR-Projekten verwendet.

In Zukunft werden solche Lösungen virtuelle Welten schaffen, die den Spieler in das eintauchen lassen, was auf dem Bildschirm geschieht.

— « Hi-Fi»:

«-, »:

—

« »:

Wie man realistischen Sound in Computerspielen und VR reproduziert und warum es schwierig ist

Klingt in einer virtuellen Umgebung - es ist schwer

Wie der Algorithmus funktioniert

Wer arbeitet noch in diesem Bereich

More articles: