Audio-Technologie ermöglicht AR-Anwendungen

Für eine Person, die sich in dem Raum bewegt, klingt der Schall jederzeit realistisch und überzeugend: Während sie auf die Schallquelle zu geht, daran vorbeiläuft oder sich darum herumbewegt, nimmt sie den Schall so wahr, als ob die Quelle tatsächlich in dem Raum wäre. Die Technologie, die bereits mit dem Meta-Konzern, dem früheren Facebook, weiterentwickelt wird, hat ein riesiges Marktpotenzial, das weit über den Entertainment- und Gaming-Bereich hinausreicht.

Naturgetreues Hörempfinden virtueller Schallquellen

Beim dreidimensionalen Erleben virtueller Räume spielt der Hörsinn eine elementare Rolle. Nicht nur wenn eine Person darin bewegungslos lauscht, auch wenn sie auf eine virtuelle Schallquelle zu geht, daran vorbeiläuft oder um sie herumgeht, muss ihre Hörwahrnehmung jederzeit in allen drei Dimensionen realistisch sein. Um ein möglichst naturgetreues Hörempfinden der virtuellen Schallquellen zu erzielen, bedienten sich Akustikexperten bislang weltweit handelsüblicher Kopfhörer und passten die Wiedergabe der im Raum befindlichen Schallquellen entsprechend der Kopfbewegungen und -drehungen des Hörers an.

Wenn ein Hörer seine Position in einem Raum ändert, ändert er nicht nur seine Hörposition relativ zur Schallquelle selbst, sondern auch relativ zu jeder reflektierenden Fläche, egal welche Form, Größe und Oberflächenbeschaffenheit diese haben, aus welchem Material sie sind und in welcher Entfernung und Richtung sie sich befinden. Sollen all diese akustischen Details bei der Schallwiedergabe berücksichtigt werden, ist dafür nicht nur eine gigantische Rechenleistung der Computer, sondern auch ein riesiger Mess- und Modellierungsaufwand nötig.

Datenmenge durch Vereinfachung reduzieren

So ist es für eine 3D-Raumsimulationssoftware und für deren Bediener überaus zeitaufwändig, die akustischen Oberflächeneigenschaften einer komplexen Raumumgebung zu rendern, also aus den vorliegenden Rohdaten etwa einer verwinkelten Bibliothek mit Tausenden Büchern ein Umgebungsbild zu erzeugen, um daraus wiederum die für die Schallwiedergabe notwendigen Eigenschaften aller einzelnen Wand-, Regal- und Buch-Oberflächen zu berechnen.

Hier setzen die Forschungsarbeiten der Wissenschaftler vom Fachgebiet Elektronische Medientechnik der TU Ilmenau an. Um die Datenmenge zu reduzieren, setzten sie auf Vereinfachung: Da Menschen ohnehin nicht alle Schalldetails in ihrer Umgebung wahrnehmen, berücksichtigten die Forscher die Reflexionen der Raumumgebung nur noch in dem geringen Maße, wie sie eben tatsächlich wahrgenommen werden. Damit wurden die Rechenleistung der Computer und vor allem auch der Arbeitsaufwand gegenüber früheren Verfahren drastisch gesenkt.

Realistische Trainingsumgebungen und Virtual Prototypen

Die Anwendungsmöglichkeiten der neuen Technologie sind unerschöpflich – vor allem im Entertainment- und Gaming-Bereich, wo zum Beispiel Spielern, während sie in einem virtuellen Gebäude in Ruhe Raum für Raum erkunden, ein realistischer Höreindruck der abenteuerlichen Welt vermittelt wird. In der Industrie kommt die neue Technologie beispielsweise Automobilentwicklern beim Virtual Prototyping zugute: Ein neues Fahrzeug können sie bereits erkunden und erleben, noch bevor ein teurer realer Prototyp gebaut wurde.

In der Medizin könnte die Technologie zur Erstellung einer realistischen Trainingsumgebung für Ärzte oder zur Behandlung von Angststörungen und Depressionen Verwendung finden. Im sozialen Bereich könnten mit VR/AR-Technologien Videokonferenzen – die während der Corona-Pandemie im Arbeitsleben exponentiell zugenommen haben – dadurch erweitert werden, dass sich mehrere Teilnehmer in Form von Avataren in einem virtuellen Raum treffen und nicht nur miteinander kommunizieren, sondern gemeinsam verschiedene Aktivitäten durchführen: zusammen arbeiten, Entwürfe erstellen oder ein Spiel spielen.

Auch in Mixed-Reality-Anwendungen, bei denen virtuelle Inhalte in die reale Umgebung eingefügt werden, kann die Ilmenauer Technologie angewendet werden. So könnten reale Gegenstände virtuell Schall erzeugen, wenn etwa ein Gerät selbst erklärt, wie es zu bedienen ist. Und im Kulturbereich werden Anwendungen denkbar, um beispielsweise Exponate im Museum interessanter und zugänglicher zu präsentieren. Mit einer antiken Statue, die scheinbar spricht, könnten junge Menschen für einen Museumsbesuch begeistert werden.