Digital Life
VR Basics: 3D-Sound und warum er Dein VR-Erlebnis noch besser macht
Virtuelle Realität hat den Weg in den Alltag gefunden: YouTube bietet 360°-Live-Videos an. Bald erlebst Du auch Konzerte, Shows, Serien und Filme hautnah durch Deine VR-Brille – manche Games sogar schon heute. Um die Immersion perfekt zu machen, bedarf es aber auch neuer Soundtechnologie. Und die nennt sich 3D- oder VR-Sound.
Digitale Umgebungen sind mittlerweile so facettenreich wie die echte Welt. Und in dieser kann schon ein Schritt nach vorne oder hinten die Akustik – DEINE Akustik – komplett verändern. Um diesen Aspekt auch auf die virtuelle Welt zu übertragen, sitzen diverse Entwickler an 3D-Sound-Lösungen, darunter Nvidia, Valve und das Fraunhofer-Institut.
Motion Sickness: Was hat Virtuelle Realität mit Deinen Ohren zu tun?
Dein Gehirn ist ein komplexer, aber empfindlicher Hochleistungsrechner. Das zeigt sich ganz deutlich, wenn Du Dich einer VR-Erfahrung hingibst. Die sogenannte VR-Krankheit – ja, das klingt erstmal stark – resultiert vor allem aus der Diskrepanz zwischen Sehen und Erleben: Du siehst, dass Du gerade durch das Spukhaus von Resident Evil 7 hetzt und geschleudert wirst. Dein Gleichgewichtsorgan merkt aber nur, dass Du still auf der Couch hockst. Mögliche Folgen können Übelkeit, Unwohlsein und Schwindel sein.
Aber Abhilfe ist in Sicht. Mit dem experimentellen Entrim-4D-Kopfhörer kann Samsung bereits gegensteuern. Winzige Schwämmchen am Kopfhörer liegen hinter Deinen Ohren an. Gezielte Stromimpulse – unbedenklich, weil schwach – geben Deinem Innenohr die richtigen Gleichgewichtsinformationen zu der VR-Umgebung. Im freien Fall bekommt Dein Gehirn also auch genau das vermittelt. Das kann auf lange Sicht helfen. Es kann aber auch schon reichen, Deinen Körper auf diese neue Erfahrung schrittweise vorzubereiten, zum Beispiel indem Du jeden Tag ein paar Minuten länger in der VR bleibst. Mehr über Entrim 4D und andere immersive VR-Hardware erfährst Du in unserem Artikel Immersion 2.0: Diese Technik lässt Dich virtuelle Realität spüren.
3D-Sound: 360°-Immersion in Bild & Ton
Unabhängig von den Problemen der Motion Sickness ist die auditive Ebene oft das Zünglein an der Waage – für oder gegen Immersion, sprich eine ganzheitliche Erfahrung. Hast Du eine tolle Grafik, eine tolle Story, aber einen Sound, der so gar nicht authentisch ist, kannst Du Dich nicht „fallen“ lassen. Bewusst oder unterbewusst bemerkst Du diesen Bruch zur realen Welt.
Das Gebiet der 3D-Sound-Technologie(n) unterscheidet sich von anderen Soundsystemen, vor allem in den Anforderungen. Selbst bei einem Hollywood-Blockbuster mit aufwändiger Audio-Bearbeitung geben die Filmemacher Dir vor, was Du wann zu hören hast. So kann in einem Horrofilm von rechts ein bedrohliches Geräusch ertönen, dann aber links die Schauergestalt auftauchen. Theoretisch ginge das natürlich auch in virtuellen Welten. Aber das Ziel liegt ja zumeist darin, dem Nutzer die Erfahrung des „Entdeckens“ zu überlassen. Du entscheidest, wohin Du gehst und schaust. Und mit dieser Freiheit bedarf es Technologie, die diese Erfahrungen auch auditiv unterstützt.
3D-Sound bedeutet also, dass Du beispielsweise bei der Live-Übertragung eines Konzertes eine authentische Erfahrung machen kannst, weil Du das gleiche hörst, wie ein Mensch, der physisch auf diesem Konzert anwesend ist. Für Videospiele und andere VR-Erfahrungen – animiert oder gefilmt – bedeutet 3D-Sound, dass sich die auditive Ebene an die Umgebung anpasst. Es macht also künftig auch akustisch einen Unterschied, ob Du virtuell eine Höhle erkundest, in einer Gummizelle liegst oder wie es in den Wald hinein schallt.
3D-Sound für Games: Nvidia & Valve stellen Softwarepaket für Entwickler vor
Bleiben wir bei VR-Games und anderen animierten, virtuellen Welten. Hard- und Software-Riese Nvidia stellte diesbezüglich auf der GPU Technology Konferenz das VRWorks- Audio-SDK (Software Development Kit) vor. Entwickler sollen dieses Kit nutzen können, um virtuelle Soundkulissen auf ein neues Level zu heben. VRWorks Audio verortet dazu den Nutzer im virtuellen Raum. Daraus ergeben sich Abstände zu der individuellen Umgebung. Selbst das Material der Wände und Dich umgebende Gegenstände werden in die Berechnung einbezogen. Wie genau das aussehen beziehungsweise sich anhören kann, siehst Du in diesem Video.
Quelle: YouTube / NVIDIADeveloper
Auch HTC-Vive-Hersteller Valve möchte Entwicklern diesbezüglich neues Rüstzeug an die Hand geben. Mit gleichem Ziel vor Augen bietet Valve Entwicklern mit Steam Audio, Zitat, „fortschrittlichen Raumklang für Spiele und VR-Anwendungen.“ Der Vorteil bei diesem SDK ist sicherlich die Kompatibilität: Das SDK funktioniert plattformunabhängig. Sprich, ob Du nun für Windows oder Mac, Android oder gar Linux programmierst, ist egal. Das Ergebnis bleibt das gleiche. Das folgende Video zeigt ein Beispiel.
Quelle: YouTube / Impulsonic
Orpheus: 3D-Sound aus dem Fraunhofer-Institut
Das bekannte Fraunhofer-Institut forscht permanent an neuen Lösungen und Dateiformaten, die dem Nutzer vollkommen neue Möglichkeiten eröffnen. Das Projekt Orpheus ist solch ein Projekt, an dessen Ende allerlei Neuerungen für den Markt stehen könnten.
Eine davon ist das Dateiformat MPEG-H. Dieses 3D-Audioformat funktioniert mit der Prämisse, dass objektbasierte 3D-Audioproduktionen den diversen Objekten (also Personen, Tieren, Gegenständen) bestimmte akustische Eigenschaften wie zum Beispiel die Lautstärke zuordnen. Für die Studios heißt das, dass sie nun bei VR-Games nicht einfach den Ton für 5.1 oder Stereo abmischen, sondern dass die Eigenschaften fix sind und das Programm den Ton selbstständig auf die vorhandenen Ausgabegeräte aufteilt.
Für Dich bedeutet das, dass Du einen Kopfhörer anschließen kannst, oder auch eine 7.1-Anlage: Die Objekteigenschaften der Personen, etc. bleiben unverändert. Die Verteilung erfolgt quasi maßgeschneidert auf Dein Endgerät.
Im Vergleich zu anderen Raumklangformaten, wie zum Beispiel Dolby Atmos, soll MPEG-H allerdings auch bei Live-Übertragung im TV Vorteile bieten. Zum Beispiel ließen sich Kommentarspuren bei Sportevents gezielt aussuchen, deren Lautstärke frei regelbar wäre.
Während diese TV-Nutzung eine Nachrüstung der Geräte erfordert, lässt sich die Nutzung für das Web einfacher realisieren. Das IRT (Institut für Rundfunktechnologie) hat bereits eine Browsererweiterung veröffentlicht, die nicht nur MPEG-H verarbeiten kann, sondern auch in Verbindung mit dem Smartphone funktioniert.
We’re working on „Dummy Head Stereo Reenactment” (legacy #binaural) and #objectbased #audio tests in a radio drama studio at BR pic.twitter.com/MvWqTPDU6D
— OrpheusAudio (@ORPHEUS_AUDIO) 28. November 2016
3D-Sound: Die Zukunft der auditiven Unterhaltung?
In manchen Punkten ist die 3D-Sound-Technologie der anderen VR-Technik voraus. Sie muss nicht via breiten Werbekampagnen schmackhaft gemacht werden. Raumklangformate wie Dolby Atmos hörst Du jetzt schon im Kino – beschweren tut sich natürlich niemand über den besseren Sound. Vor allem aber bietet 3D-Sound das letzte Mosaikstückchen, um 360°-Livestreaming und vollwertige VR-Games endlich salonfähig zu machen. Wir sind der Immersion im virtuellen Raum so nah wie nie.
Welche Erfahrungen hast Du schon mit 3D-Sound gemacht? Findest Du die Technik spannend oder ist Dir das noch zu futuristisch? Wir hören Deine Kommentare gerne an. Mit den Augen. Unter dem Artikel.