Audiomischung in Virtual Reality – Evaluierung eines immersiven Workflows zur auditiven Gestaltung von 360°-Medien mit VR-Brille und Hand-Controllern
Bachelorarbeit von Jan Stoltenberg in Kollaboration mit Dear Reality
7. Semester, 2018
Betreuende Dozenten: Prof. Thorsten Greiner und Prof. Dr. Frank Gabler
Sound, Music and Production
360°-Medien werden auf Social Media Plattformen wie YouTube und Facebook immer populärer. Diese ermöglichen dem Zuschauer, sich selbstständig in dem Video umzuschauen. Seit Frühjahr 2016 ist es auch möglich, sich in den Produktionen umzuhören. Ein solcher immersiver Raumklang wird auf Dauer unverzichtbar sein und aktuelle Produktionsfirmen wie ZDF Digital oder Delta Soundworks setzen dies bereits für große Kunden um.
Mediengestalter und Toningenieure sind aktuell dazu gezwungen, auf zweidimensionalen Eingabegeräten für solch ein immersives 360°-Medium zu mischen. Dabei liegt es eigentlich nahe, einen Workflow zu entwickeln, indem sie die Mischung direkt im dreidimensionalen Medium umsetzen können. Auf diese Weise kann z.B. ein Toningenieur das Erlebnis realistisch anhören und modifizieren ohne aus der Immersion des Zielmediums auszutreten.
Während seiner Recherche nach solchen Tools beeindruckten Herrn Stoltenberg Unity’s EditorVR, der das Erstellen von 3D Welten direkt in VR ermöglicht. Jedoch wird hier keine Audiomischung in VR unterstützt. Letztendlich stieß er auf die Firma Dear Reality aus Düsseldorf, deren bisher noch unveröffentlichtes Tool eine Audiomischung in VR erlaubt:
Mit der Oculus Rift oder der HTC Vive und den zugehörigen Hand-Controllern können Anwender Schallquellen direkt im 360°-Medium positioniern und sämtliche Parameter verändern.
Um die unterschiedlichen Arbeitsmöglichkeiten vergleichen zu können, erstellte Herr Stoltenberg im Rahmen seiner BA-Arbeit eine 360°-Animation als Prototyp. Inhalt des Prototypen ist ein Waldszenario, indem Tiere dem Zuhörer teils sehr nahe kommen und sich um ihn herum bewegen.
Dies erfordert Präzision und Orientierung während der Audiomischung und eignet sich daher besonders gut, um das Tool von Dear Reality aus Düsseldorf zu testen.
Die Vertonung der Animation mit marktüblichen 2D-Interfaces birgt einige Schwierigkeiten: Der eigentlich dreidimensionale Raum wird verzerrt wiedergegeben, was das Einschätzen von Distanz und Bewegung der Tiere erschwert. Daher muss der Mischprozess regelmäßig unterbrochen werden, um den aktuellen Raumklang zur 360°-Animation in der VR-Brille zu überprüfen. Auch die räumliche Positionierung der Schallquellen mit der Maus ist auf 2D-Anzeigen erfordert eine ständige gedankliche Transferleistung in den dreidimensionalen Bereich.
Demgegenüber hat die Audiomischung in Virtual Reality deutliche Vorteile: Jede Änderung wird für den Toningenieur sofort hörbar und wie bei der späteren Wiedergabe zum Bild erlebbar. Einzelne Schallquellen können mit den Handcontrollern einfach angefasst und verschoben werden, sogar Hallverhältnis und Lautstärke sind durch simple Gesten variierbar. Anders als mit einer Computermaus können hierbei mehrere Parameter gleichzeitig verändert werden, was mit etwas Übung einen großen Zeitvorteil schafft.
Das natürliche VR-Userinterface ermöglicht eine präzise Positionierung und Automation der Schallquellen, gleichzeitig lassen sich diese Änderungen in Echtzeit zum 360°-Film abhören. Zusammenfassend zeigt sich, dass sich Virtual Reality hervorragend als Arbeitsmedium für den Audiobereich eignet.
Es hat das Potential herkömmliche Workflows mit Computer und Mischpult gänzlich zu ersetzen.
Das Zielmedium 360° wird zur Produktionsplattform erweitert.
Wünschenswert für die Weiterentwicklung ist die Integration zusätzlicher Funktionen wie Schnitt, Effektierung und Organisation der Audiospuren, um eine komplette Produktions-Pipeline zu schaffen.