Moderne Technologien simulieren die Wahrnehmung von Geräuschen im Raum an jeder beliebigen Stelle: ein Schritt hin zur besseren Orientierung im Raum.

Ohren auf: Ein maschinelles Lernsystem simuliert, wie Menschen hören – ingenieur.de

Wie sich ein Tool der künstlichen Intelligenz im Raum orientiert.

Foto: MIT

Der Klang, den Besucherinnen und Besucher einer Kathedrale hören, wird von vielen Parametern beeinflusst, beispielsweise vom Standort der Orgel, von der Position der Menschen, von Säulen, von Kirchenbänken oder von anderen Hindernissen, von der Beschaffenheit der Wände, von der Lage der Fenster oder Türen. Akustische Informationen helfen Menschen, sich zu orientieren, sprich die Lage von Schallquellen zu erfassen. Technische Systeme hatten damit ihre Schwierigkeiten.

Jetzt erforschen Ingenieurinnen und Ingenieure am Massachusetts Institute of Technology (MIT) in Cambridge die Nutzung räumlicher akustischer Informationen, um auch Maschinen dabei zu helfen, sich ihre Umgebung besser „vorstellen“ zu können. Sie haben jetzt ein maschinelles Lernmodell entwickelt, das erfasst, wie sich Geräusche in einem Raum ausbreiten. Ihr Tool simuliert, was Menschen an verschiedenen Orten des Raums hören würden.

Zahlreiche Anwendungsmöglichkeiten des Algorithmus

Ein Blick auf Details. Durch die genaue Modellierung der Akustik kann das System die zugrunde liegende 3D-Geometrie eines Raums aus Tonaufnahmen erkennen. Die Forschenden nutzen akustische Informationen, die ihr System erfasst, nutzen, um genaue visuelle Renderings eines Raums zu erstellen, ähnlich wie Menschen den Klang nutzen, um die Eigenschaften ihrer physischen Umgebung einzuschätzen.

Neben den möglichen Anwendungen in der virtuellen Realität könnte diese Technik Tools der künstlichen Intelligenz dabei helfen, ein besseres Verständnis für die Welt um sie herum zu entwickeln. „Durch die Modellierung der akustischen Eigenschaften des Schalls in seiner Umgebung nimmt ein Unterwasser-Erkundungsroboter beispielsweise Dinge wahr, die weiter entfernt sind, als er es mit dem bloßen Sehvermögen könnte“, sagt Yilun Du, Doktorand im Fachbereich Elektrotechnik und Informatik (EECS) des MIT.

Maschinelles Lernen nutzt Bild und Ton

Doch der Weg dahin war steinig. Die Arbeitsgruppe am MIT hat ein Modell des maschinellen Lernens, ein so genanntes implizites neuronales Repräsentationsmodell, verwendet, um kontinuierlich Rekonstruktionen von 3D-Szenen aus Bildern zu erzeugen. Zum Einsatz kamen neuronale Netze, die Schichten von miteinander verbundenen Knoten oder Neuronen enthalten, die Daten verarbeiten mit dem Ziel, eine bestimmte Aufgabe zu erfüllen. Mit diesem Modell wurde auch erfasst, wie sich Schall kontinuierlich durch die Szenerie bewegt.

In der Praxis zeigten sich wichtige Unterschiede bei der sogenannten photometrischen Konsistenz: Wenn man dasselbe Objekt von zwei verschiedenen Standorten aus betrachtet, sieht es ungefähr gleich aus – zumindest bei den hier untersuchten Raumgrößen. Wenn man jedoch den Standort wechselt, kann der Ton, den man hört, aufgrund von Hindernissen, Entfernungen usw. völlig anders klingen. Das macht die Vorhersage akustischer Wahrnehmungen recht schwierig.

So lässt sich maschinelles Lernen für die Fragestellung nutzen

Doch die Forschenden fanden Lösungen, indem sie zwei zentrale Eigenschaften für sich nutzen: die reziproke Natur des Schalls und den Einfluss lokaler geometrischer Merkmale. Schall ist reziprok, das bedeutet, wenn die Schallquelle und der Zuhörer die Positionen tauschen, bleibt das, was die Person hört, unverändert. Außerdem wird das, was man in einem bestimmten Gebiet hört, stark von lokalen Merkmalen beeinflusst, etwa von einem Hindernis zwischen dem Hörer und der Schallquelle.

Um diese beiden Faktoren in ihr Modell, das als neuronales akustisches Feld (NAF) bezeichnet wird, einzubeziehen, ergänzen sie das neuronale Netz mit einem Gitter, das Objekte und architektonische Merkmale wie Türöffnungen oder Wände, erfasst. Das Modell nimmt nach dem Zufallsprinzip Punkte auf diesem Raster auf, um die Merkmale an bestimmten Orten zu lernen.

Forscher können den NAF mit visuellen Informationen über eine Szene und einigen Spektrogrammen füttern, die zeigen, wie ein Ton klingen würde, wenn sich Sender und Empfänger, sprich Hörer, an bestimmten Stellen im Raum befinden. Dann sagt das Modell voraus, wie sich der Ton verändern würde, wenn sich der Hörer an einen beliebigen Punkt der Szene bewegt.

Der NAF gibt eine Impulsantwort aus, die festhält, wie sich ein Ton bei seiner Ausbreitung in der Szene verändern sollte. Die Forscher wenden diese Impulsantwort dann auf verschiedene Geräusche an, um zu hören, wie sich diese Geräusche verändern sollten, wenn eine Person durch einen Raum geht.

Wenn beispielsweise ein Lied aus einem Lautsprecher in der Mitte des Raums ertönt, zeigt ihr Modell, wie der Ton lauter wird, wenn sich eine Person dem Lautsprecher nähert, und dann gedämpft wird, wenn sie in einen angrenzenden Flur geht.

Wie sich maschinelles Lernen in der Praxis bewährt

Verglichen mit anderen Methoden, die akustische Informationen modellieren, erzeugte das Tool genauere Klangmodelle. Und da es lokale geometrische Informationen lernte, konnte es viel besser auf neue Orte in einer Szene verallgemeinert werden als andere Methoden.

Jetzt plant die MIT-Arbeitsgruppe, das Modell weiter zu verbessern, so dass es auf ganz neue Szenen verallgemeinert werden kann. Außerdem wollen sie diese Technik auf komplexere Impulsantworten und größere Szenen anwenden, z. B. auf ganze Gebäude oder sogar eine Stadt – und nicht nur auf einzelne Räume.