Audio-Datenbanken durchsuchen, Sounds intuitiv bearbeiten, Produktionstools optimieren: Die Forschungsergebnisse von Medieninformatiker Lars Engeln helfen dabei.

Den 3m5. Excellence Award für die beste Informatik-Dissertation der TU Dresden verleihen wir 2024 an Lars Engeln. Mit seiner Arbeit hat der Medieninformatiker erforscht, wie man Klänge besser nutzen und bearbeiten kann, indem man sie visuell darstellt. In vielen Audio-Programmen sind die Werkzeuge dafür schwer zu verstehen, vor allem für Anfänger. Denn sie konzentrieren sich auf technische Details und nicht auf den Klang selbst. Das will Engeln ändern, indem er Klänge visuell darstellt.

Wie sieht ein heller Sound aus? Und was nützt es, ihn visuell darzustellen?

Die Dissertation trägt den Titel: „Die Verbildlichung von Klangstrukturen im Kontext der Entwicklung von Werkzeugen für die Medienproduktion“. In der Praxis und Wirtschaft sind die Forschungsergebnisse aus Engelns Arbeit in verschiedenen Audio-Bereichen nutzbar:

Audio-Produktionstools: Die Entwicklung intuitiver und visuell ansprechender Werkzeuge zur Bearbeitung von Audio hilft Musikproduzenten, Tontechnikern und Sounddesignern

Medienproduktion: In der Film- und Videospielindustrie lassensichdamit immersivere Audioerlebnisse schaffen

Bildung und Schulung: Einsteiger, aber auch Fortgeschrittenen helfen visuelle Darstellungen, Audio-Bearbeitung schneller zu erlernen

Benutzerfreundlichkeit: Durch die Integration visueller Elemente in Audio-Software könnten Benutzeroberflächen zugänglicher und benutzerfreundlicher gestaltet werden
 

Engeln selbst sagt dazu: „Der klassische Anwendungsfall sind große Audio-Datenbanken, die zu durchsuchen bisher sehr zeitintensiv ist. Konzepte, um Klänge visuell darzustellen, existierten bereits. Sie richten sich allerdings eher an Menschen, die sich mit Soundengineering bereits auskennen. Denn sie stellen technische Parameter in den Fokus. Diese Parameter beschreiben in der Regel weder deren Bedeutung für den Sound noch welche Qualitäten im Sound zum Ausdruck kommen. Deshalb muss immer erst eine Art Übersetzungsprozess von der künstlerischen Idee hin zu den technischen Parametern erfolgen. Mit meiner Arbeit wollte ich solche Oberflächen nachvollziehbar gestalten.“

Person A assoziiert mit Motorgeräuschen ein Auto, Person B ansteigende Wellen

Dazu untersuchte Engeln zunächst mit rund 150 Studienteilnehmern, was sich Menschen für Bilder vorstellen, wenn sie einen bestimmten Klang hören. Bei der Studie spielte er Klänge ab und ließ die Teilnehmer eine schnelle Skizze dessen anfertigen, was ihnen als Form oder Bildassoziation dazu einfiel. In einem Evaluationsdurchlauf zeigte er ihnen die Skizzen anderer Teilnehmer zu den Klängen und ließ sie die passendesten wählen. Die so entstehenden rund 1.000 Skizzen analysierte er webbasiert mit einem eigens entwickelten Tool.

„Interessant war, dass Menschen entweder das klangerzeugende Objekt zeichnen, oder den Klang selbst: Wenn ich etwa den Klang eines bekannten Geräuschs spielte, wie einen Motor, der aufheult, dann zeichneten die einen ein kleines Auto, die anderen eher den anschwellenden Sound selbst, zum Beispiel als Wellenlinie, die immer mehr Platz auf der Bildfläche einnimmt.“ Der Hauptanteil von Engelns Dissertation, dier er mit summa cum laude abgeschlossen hat, bestand darin, dieses mentale Modell zu analysieren.

KI sortierte die Skizzen

Idealerweise könnten Nutzer künftig bei der Audioproduktion auswählen, wie ihnen ein Sound visuell dargestellt werden soll: Als Objekte, die zu dem Sound passen; als Skizzen des Sounds selbst; oder als Visualisierung seiner technischen Ausprägung. Auf dem Weg dahin kann KI helfen: „Ich habe im Rahmen der Dissertation Machine learning genutzt, um aus den Skizzen Ähnlichkeiten zu ermitteln und Sounds zu clustern. Besonders in dem Anwendungsfall, in dem eine Skizze gezeichnet wird und passende Sounds aus einer Datenbank vorgeschlagen werden, kommt die Fähigkeit der KI ins Spiel, mit großen Datenmengen umzugehen.“

Lars Engeln verknüpfte mit seiner Dissertation seine Passionen IT, Theater und Komposition: Der Medieninformatiker komponiert selbst und hat in der Vergangenheit etwa vier Preise beim Bundeswettbewerb Komposition gewonnen. Er engagiert sich ehrenamtlich beim Theater der TU Dresden und entwirft interaktive Kunst-Installationen. Beruflich bleibt Engeln zunächst der Universität verbunden: als wissenschaftlicher Mitarbeiter an der Juniorprofessur für Gestaltung immersiver Medien forscht er an der räumlichen Interaktion für transmediale künstlerische Expression in AR/VR.

Weil die Audio-Industrie sowohl im professionellen als auch im Hobbybereich ein riesiger Markt ist, will er am Potenzial seiner Soundvisualisierung dranbleiben: „Mein Datensatz war überschaubar und ließe sich noch skalieren und dabei internationaler anlegen. Denn unsere auditive Wahrnehmung wird auch stark von unserem kulturellen Umfeld geprägt.“