Virtual Reality zum Anfassen und Eintauchen: Wann es Audio und Video zum Anfassen gibt

Virtuelle Welten sehen – hören – fühlen

Von Kai Tubbesing

Noch gehören für viele Freizeit-Gamer Head-Mounted Displays (HMDs) nicht zur Standardausrüstung, doch etablierte Systeme unterstützen bereits etliche, teils auch exklusive Spieletitel. Damit taucht der Spieler abseits der zweidimensionalen Tristesse seines Monitors in eine ihn vollständig umgebende dreidimensionale Scheinwelt ein. Am PC dominieren HTCs Vive und die Oculus Rift. Für Konsolen-Cracks hat Sony mit der Playstation VR ein eigenes Eisen im Feuer, Microsoft hat mit der Xbox One X nachgezogen.

Für Windows-PCs haben Acer, Asus, Dell und HP neue Modelle angekündigt. Rift und Vive liefern schon jetzt beeindruckende Ergebnisse, lösen mit 2160 × 1200 Pixeln (1080 × 1200 pro Auge) höher auf als Sonys VR-Brille und spreizen den Blickwinkel auf 110 Grad. Als aktive Eingabegeräte gibt es bei allen drei Modellen jeweils einen Controller pro Hand, bei Oculus sind das wahre Handschmeichler. Nimmt man noch ein ordentliches Headset dazu, wird die reale Umgebung komplett ausgeblendet.

Virtual-Reality-Einsteiger mit geringen Ansprüchen können sich zunächst an günstigen Smartphone-Halterungen im Stil von Googles Cardboard ausprobieren. Per Split-Screen-Funktion kann das integrierte Display VR-Inhalte wiedergeben. Allerdings sind die Möglichkeiten durch die Smartphone-Hardware stark limitiert, die Geräte eignen sich doch eher zum Videoschauen.

Kopf- und Handarbeit

Richtig beeindruckend wird das VR-Gaming-Erlebnis aber erst dann, wenn zusätzliche Gadgets aus dem Zubehörkatalog ins Spiel kommen. Dabei gilt jedoch: Nicht jedes Spiel unterstützt jede gebotene Möglichkeit. Es wird wohl noch etwas Zeit verstreichen, bis sich hier Standards etabliert haben.

Derzeit haben sowohl Oculus als auch HTC beispielsweise Room Scale im Angebot: Der Spieler wird selbst zum Eingabegerät, seine Bewegungen in der realen Welt werden in den virtuellen Raum übernommen. Das Tracking funktioniert via Laser, Infrarot-LEDs und Kameras. HMD und Controller (also Kopf und Hände des Spielers) werden von mehreren im Raum verteilten Tracking-Stationen erfasst. Gyroskope und Beschleunigungssensoren sind ebenfalls in die VR-Brillen integriert. Bei HTC kann der Spieler sich in einem maximal 5 × 5 m großen Raum bewegen, Oculus bietet nur halb so viel Platz.

In Kombination mit der Vive funktioniert der mit zahlreichen kleinen Motoren bestückte SenseGlove-Handschuh, der über 16 interne Sensoren die Fingerposition überwacht und durch den Widerstand der Motoren haptisches Feedback gibt. In einer einfacheren Form gibt es schon jetzt eine Möglichkeit zur Steuerung mittels Handgesten: Leap-Motion-Controller sind in der Lage, Hand- und Fingerbewegungen zu erfassen, nur eben ohne haptisches Feedback und nicht ganz so präzise wie ein Handschuh.

VR-Freiheit ohne Kabel: Von Schenker Technologies aus Leipzig kommt der XMG Walker, ein grafikstarker Rucksackrechner (Nvidia Pascal, achtkerniger Intel-Core-i7-Prozessor). Das Ganze wird mit dem Li-Io-Akkudoppel, das ca. 90 bis 100 Minuten durchhält, rund 3,8 kg schwer. (Bild: Schenker Technologies)

Ein Wermutstropfen bleibt: Aktuelle VR-Headsets sind per Kabel mit dem PC verbunden, was die Bewegungsfreiheit des Nutzers deutlich einschränkt. Für dieses Problem gibt es unterschiedliche Lösungen: Mit dem XMG Walker und dem Zotac-VR-GO-Backpack stehen zwei PCs im Rucksackformat zur Verfügung. Beide setzen auf je zwei Akkus, die sich schnell und einfach austauschen lassen. Der XMG-Rucksack schafft immerhin rund 90 Minuten, bis ein Wechsel nötig wird. Intel und HTC haben mit WiGig eine gemeinsam entwickelte kabellose Übertragungsmöglichkeit für Inhalte vom PC auf VR-Brillen angekündigt. Die Latenzwerte sollen bei unter 7 ms liegen.

3D im Hörkanal

Für ein umfassendes Mittendrin-Gefühl sind virtuelle Welten nicht nur auf eine entsprechende visuelle Umsetzung angewiesen. Auch an den Sound werden besondere Ansprüche gestellt. Den besten 3D-Sound bieten derzeit Kinos mit Dolby-Atmos-Soundsystemen. Das setzt freilich eine enorme Anzahl an Lautsprechern voraus, was im Home-Cinema kaum machbar ist. VR-Fans bevorzugen ohnehin Kopfhörer, damit auch sämtliche Umgebungsgeräusche ausgeblendet werden.

Doch die haben mit einem bauartbedingten Problem zu kämpfen: Alle Klänge werden direkt am Kopf ausgegeben und können sich nicht im realen Raum ausbreiten. Zwei verschiedene Ansätze sollen dennoch für den Eindruck von Räumlichkeit sorgen: Entweder kommen mehrere Lautsprechertreiber pro Hörmuschel zum Einsatz oder die wiedergegebenen Klänge werden so verarbeitet und manipuliert, dass sie dem Gehirn im Idealfall Raumeffekte vorgaukeln. Wie gut das funktioniert, hängt sowohl vom Kopfhörermodell als auch vom Nutzer ab. Auch ein hochwertiger Stereokopfhörer ohne spezielle Manipulationen kann große Bühne bieten – und verschluckt dabei keine Frequenzen. Da es hier aber letztlich auf das subjektive Empfinden ankommt, hilft nur eins: vor dem Kauf probehören.

Intuitives Design von dynamischem Raumklang: Die Schall- bzw. Tonquellen im virtuellen Raum platziert man bei dearVR Spatial Connect einfach per VR-Controller. (Bild: Dear Reality GmbH)

Eine entscheidende Zutat fehlt den bestehenden Lösungen aber noch: Sie gehen alle davon aus, dass der User sich nicht im Raum bewegt. Was bei Filmen kein Problem ist, sieht beim Gamen mit Room-Scale-Tracking schon wieder etwas anders aus. Das haben die Hersteller aufgegriffen und tüfteln fleißig an passenden Produkten: 3D Sound Labs aus Frankreich, das seit April 2019 zu Mimi Hearing Technologies gehört, arbeitet an Kopfhörern, die mit Beschleunigungsmesser und Gyroskop Kopfbewegungen nachverfolgen und bis zu 25 einzelne Klangquellen im Raum abbilden können. Googles Omnitone bezieht Bewegungsinformationen über das verwendete HMD und nimmt in Echtzeit Änderungen an Klängen vor, die über das Internet gestreamt werden – hardwareunabhängig und somit auch für reguläre Stereokopfhörer geeignet. Und das Düsseldorfer Unternehmen Dear Reality offeriert mit dearVR eine eigene Audio-Engine für Spiele, die auf der Unity-Engine basieren. Über dearVR Spatial Connect soll es künftig möglich sein, den Sound im virtuellen Raum selbst abzumischen, um zum bestmöglichen Ergebnis zu gelangen. Spannende Ansätze sind also vorhanden, einen Technologiestandard gibt es aber auch hier noch nicht.

Extremsport für Couch Potatos

Lust auf einen Gleitschirmflug über den Grand Canyon oder einen rasanten Snowboard-Ritt durch die Alpen? Vom Extremsportler bis zum normalen Urlauber kann mittlerweile jeder seine aufregendsten Erlebnisse in Form von 360-Grad-Rundumsicht-Videos aufnehmen und immer wieder nacherleben. Wer weniger ambitioniert ist, das heimische Sofa zu verlassen, kauft professionell bearbeitete Videos oder durchstöbert YouTube. Mit einer VR-Brille oder einer entsprechenden Smartphone-Halterung geht es dann mitten ins Geschehen.

Für die Aufnahme wird eine omnidirektionale Videokamera am Helm, an der Schulter oder anderswo am Körper montiert. Samsungs Gear 360 nimmt Videos in 4k-Auflösung auf, LGs 360 CAM in 1440p. Sie arbeiten mit zwei gegenüberliegenden Linsen, wobei eine einzelne Linse 180 Grad des Gesamtraums erfasst. Aktueller Hoffnungsträger war Ende 2017 die GoPro Fusion mit 5,2k-Auflösung und im Gegensatz zur Samsung mit 30 statt nur 24 Bildern pro Sekunde.

Schwarz auf Weiß
Dieser Beitrag erschien zuerst in unserer Magazin­reihe in der Beilage Heise After Work zur c’t und Technology Review. Einen Über­blick mit freien Down­load-Links zu sämt­lichen Einzel­heften bekommen Sie online im Presse­zentrum des MittelstandsWiki.

Nach dem gleichen Prinzip funktioniert die Produktion professioneller 3D-Filme, nur eben unter Zuhilfenahme von zusätzlichen Kameras, um Verzerrungen in Form des Fischaugen-Effekts zu vermeiden. Eine professionelle VR-Kamera wie die OZO+ Professional von Nokia setzt auf acht Kameras und Mikrofone, kostet aber auch respektable 37.500 Euro. Für den Filmgenuss braucht man dann nicht unbedingt eine teure VR-Brille. Bereits mit einem günstigen Modell oder einem Smartphone samt HMD-Halterung lassen sich in Kombination mit einem guten Kopfhörer ordentliche Ergebnisse erzielen.

Begehbare Meisterwerke

VR-Brillen samt spezieller Software ersetzen heute den Ausstellungskatalog durch ein interaktives Abbild der Galerie. Teile das Pariser Louvre lassen sich schon lange im virtuellen Raum abschreiten. Allerdings wirkt das mittlerweile etwas statisch und altbacken. Es geht aber auch zeitgemäßer: Im NRW-Forum in Düsseldorf lief 2017 auf 250 m² die Unreal-Ausstellung und führte die Besucher mittels HTCs Vive in den virtuellen Kunstraum. Die Exponate waren begehbare virtuelle Räume, also letztlich 3D-Installationen. Längere Strecken mussten aber wegen der Kabelbindung des VR-Headsets per Controller zurückgelegt werden. 2019 folgt mit Whiteout schon die nächste VR-Ausstellung, diesmal mit Schwerpunkt Performance.

Man darf gespannt sein: Von 19. Juli bis 10. November 2019 kann man im NRW-Forum Düsseldorf in einen endlosen weißen VR-Raum eintauchen und die Performances von Maria Hassabi, Christian Falsnaes und Va-Bene Elikem Fiatsi erleben. (Bild: Performance Va-Bene Elikem Fiatsi, NRW-Forum Düsseldorf, New Scenario)

Für Samsungs Gear VR sowie die Oculus Rift gibt es im Oculus Store mit Woofbert VR (mittlerweile Boulevard) einen weiteren interessanten Ansatz, der den Nutzer in verschiedene vollständig gerenderte Museen und Kunstgalerien der Welt entführt. Der Clou: Einzelne Exponate sind Abbilder bekannter Meisterwerke, zum Teil begehbar und animiert, und natürlich erhält man zusätzliche Informationen zu allen Ausstellungsstücken.

Den ersten begehbaren Film mit einer vollständig virtuellen Umgebung gibt es übrigens auch schon: Der Kurzfilm „Carne y Arena“ (Fleisch und Sand) des mexikanischen Regisseurs Alejandro González Iñárritu eröffnet völlig neue Möglichkeiten und macht in einer Wüstenumgebung den Betrachter zum Flüchtling, der sich der plötzlichen Willkür der Grenzpolizei ausgesetzt sieht. In der Presse wurde der Film als Revolution gefeiert.

Auge in Auge mit Nemo

Moderne multimediale Technologien machen es aber auch möglich, die konkrete Realität in einer völlig anderen Form als bisher zu erleben. Vor allem mithilfe von Drohnen lassen sich problemlos Bereiche erforschen, die für Menschen sonst kaum erreichbar wären.

Mit der PowerRay hat PowerVision wohl eines der ungewöhnlichsten Drohnenmodelle im Portfolio: ein Unterwasserfahrzeug, das sich durch den Einsatz von entsprechendem Zubehör zum idealen Partner für den Fischfang aufrüsten lässt. Es liefert 4k-Videoaufnahmen bei 30 fps, Unterwasserausleuchtung über starke LEDs und kann bis zu 30 m tief abtauchen. Ein optionales Echolot ermöglicht es, weitere 40 m tief zu sondieren. Das Bild lässt sich direkt auf ein Smartphone in einer entsprechenden VR-Halterung streamen und nimmt den Anwender je nach gewählter Geschwindigkeit zwischen 60 und 240 Minuten lang mit in die Tiefen des Ozeans. Wird eine Angelschnur direkt an der Drohne arretiert, kann der Tiefseeangler nicht nur zielsicher den Fischschwarm ansteuern, sondern den Unterwasserbewohnern gleichzeitig per VR-Brille beim Anbeißen zuschauen.

Seit ARKit 2 können mehrere iPhone-/iPad-Nutzer sich gemeinsam an AR-Anwendungen beteiligen. Mit solchen Shared Experiences arbeitet auch Lego, das seine AR-Playgrounds für Apple-Geräte auf der WWDC 2018 erstmals vorgestellt hat. (Bild: Apple Inc.)

Aufforderung zum Tanz

Bei aller aktuellen Begeisterung für vollständig virtuelle Räume darf der Bereich der Augmented Reality nicht vergessen werden. Eine Kamera nimmt dabei die reale Umgebung auf, diese wird dann mithilfe einer App um einen virtuellen Gegenstand oder Informationen ergänzt, und alles zusammen erscheint auf dem VR-Display. Im Industriebereich wird AR beispielsweise dazu eingesetzt, Querschnitte und Aufrisse komplexer Bauteile im Sichtfeld des Bearbeiters einzublenden. Die Nutzung im privaten Bereich steckt hingegen noch in den Kinderschuhen.

Im Rahmen der Veröffentlichung von iOS 11 brachte Apple das ARKit für seine iPhones und iPads auf den Markt, um auch den Alltag mit AR-Anwendungen zu bereichern. Ein mögliches Anwendungsszenario sind Tanzkurse, bei denen die Schrittfolgen als virtuelle Elemente auf dem heimischen Parkett erscheinen. Schon länger möglich ist die Betrachtung von Produkten im echten Umfeld: Macht sich der neue Tesla S wohl gut im eigenen Carport?

Kai Tubbesing arbeitet als freier Fach­journalist, Texter für Unter­nehmen und Agenturen sowie Über­setzer im Herzen des Ruhr­gebiets. Sein Kom­petenz­portfolio um­fasst neben klassischen IT-Themen wie Netz­werk­technologien, Security und PC-Hard­ware auch den Mobil­geräte- und Audio­bereich. Bis 2017 war er als leitender Re­dakteur und stell­vertretender Chef­redakteur in der deutschen Redak­tion von Tom’s Hard­ware tätig.

Warten auf die Killer-Applikation

VR-Technologien und die dazugehörigen Anwendungen stehen an der Schwelle zur Massentauglichkeit. Davon zeugt die breite Adaption visueller und akustischer Innovationen quer durch die multimediale Bank. Und auch die zunehmende Bereitschaft etablierter Unternehmen, selbst auf den VR-Zug aufzuspringen, um den Bereich nicht gänzlich den Pionieren zu überlassen, ist ein untrügliches Indiz. Für den entscheidenden Schritt auf dem Weg von der technologischen Entwicklung zum Massenphänomen muss nun nur noch der Markt sorgen. Die Einstiegspreise müssen günstiger werden und in einigen Bereichen sollten sich alsbald universelle Standards etablieren. Perfekt sind die Illusionen sicherlich noch nicht, faszinierend aber allemal und auch schon ziemlich gut.

Nützliche Links

• AR im Kundensupport
• Berufsbild Virtual-Reality-Entwickler
• Extended Reality
• Multisensorik und Optik
• Selfie-Drohnen