Ein virtueller Galerie Explorer mit dynamischer 3D Soundwiedergabe.
Ein Studienprojekt von Alexander Leo, Michael Wöß und Paul Fleck
4. Semester, 2020
Betreuender Dozent: Prof. Thorsten Greiner
Sound, Music and Production
WipeOut ist eine interaktive, virtuelle Kunstgalerie und bietet dem/der Nutzer*in die Möglichkeit am Computer oder Android Tablet durch Freiwischen verschiedene Kunstwerke selbst zu entdecken. Anstatt sich nur auf die visuellen Eindrücke der Bilder zu beschränken, eröffnet WipeOut einem die Möglichkeit, diese Werke auch als dreidimensionale Klanglandschaften zu erleben.
Es stehen dem/der Nutzer*in in einem Menü sieben Kunstwerke in Miniaturdarstellung zur Auswahl, aus denen man eines
auswählen und im Anschluss in voller Größe mit einem Pinselwerkzeug freilegen und alle Details des Bildes enthüllen kann. Neben dem Kunstwerk selbst, kommen auch die einzelnen Bestandteile des Sounddesigns zum Vorschein und ergeben, wenn alles freigewischt ist, eine dreidimensionale Klangwelt. Hierbei sind die Sounds an bestimmten Stellen im Bild versteckt und müssen, um diese hören zu können, erst freigewischt werden.
Die einzelnen Ambisonics-Sounddesigns wurden speziell für die jeweiligen Kunstwerke erstellt und spiegeln die Eindrücke und Gefühle wider, die unsere Gruppenmitglieder beim Betrachten dieser Werke beschäftigt haben.
Die Software für WipeOut besteht aus verschiedenen Instanzen von Max MSP und Processing, die jeweils verschiedene Aufgaben übernehmen.
Max MSP dient in diesem Fall hauptsächlich als Knotenpunkt für die Klangverarbeitung der Audiofiles. Processing dient als Interaktionsschnittstelle und überträgt Max MSP mittels OSC dynamische, an die Aufdeckung angepasste Steuerdaten zur Audioverarbeitung. Die Processing-Anwendung gibt es zudem als praktische App für Android-Tablets.
Über sogenannte Overlays lassen sich den verschiedenen Bildarealen, mit festen RGB- Werten, einzelne Kanäle zuordnen, die beim Freiwischen dieser Bereiche dann, je nachdem, wie viel Fläche des jeweiligen Bereichs aufgedeckt ist, lauter oder leiser zu hören sind. Mit diesem Steuerungswert lässt sich unter anderem auch die Position bzw. Bewegung der jeweiligen Soundquelle im Raum steuern. Die Overlays sind beim Gebrauch nicht sichtbar.
„WipeOut“ eignet sich mit den eingebundenen Kunstwerken und deren Sounddesigns auch zum Performen. Die direkte Verbindung von akustischen und visuellen Elementen in „WipeOut“ lädt zum eigenständigen Entdecken und Experimentieren ein.