Mixed Reality, auch als MR bezeichnet, verwendet die physische Umgebung der Nutzer*innen, um deine App direkt in der Welt um sie herum zu platzieren. Dadurch entstehen kombinierte und einzigartige Erlebnisse, bei denen virtuelle Gegenstände und Interaktionen mit diesen Gegenständen mit der realen Welt der Nutzer*innen verschmelzen.

Mixed Reality ist ein Grundpfeiler der aktuellen und zukünftigen Meta Quest-Headsets und ist eine zentrale Komponente für Erlebnisse der nächsten Generation für Nutzer*innen im Meta Quest-Ökosystem. Dieses Dokument geht auf Folgendes ein:

Einige der Anwendungsfälle für MR

Relevante SDKs und APIs, mit denen du MR-Attribute für deine Apps aktivieren kannst

Bedeutung von MR für die Vision eines vernetzten Metaversums für Meta Quest

Die Meta Quest Presence Platform enthält speziell entwickelte SDKs und APIs für die Entwicklung von MR-Erlebnissen auf Meta-Geräten. Die Kombination aus Abwägungen zu Design und Anwendungsfällen und diesen Features erleichtert dir den Einstieg in deine ersten MR-Projekte.

Zunächst ist es jedoch wichtig, zwischen VR, AR und MR zu unterscheiden:

In Virtual Reality (VR) werden komplett immersive Welten erschaffen, die von Grund auf für virtuelle Erlebnisse entwickelt wurden. In VR werden die Nutzer*innen von ihren Meta Quest-Headsets komplett an einen virtuellen Ort versetzt, an dem sie virtuelle Erlebnisse genießen können. In der Abbildung unten siehst du ein virtuelles Geschöpf in einem komplett virtuellen Bereich, mit dem die Nutzer*innen interagieren können.

Augmented Reality (AR) bedeutet, dass die reale Welt um die Nutzer*innen herum durch die Überlagerung von virtuellen Elementen erweitert oder ergänzt wird. AR nutzt die vorhandene Realität der Nutzer*innen, um Erlebnisse zu generieren, die in der realen Welt erscheinen.

Mixed Reality (MR) ist eine Kombination und Weiterentwicklung von VR und AR. MR verwendet beide Technologien und bietet gleichzeitig ein neues Interaktionsmedium, bei dem virtuelle Elemente mit den Nutzer*innen und dem physischen Raum um sie herum interagieren können. Da MR sowohl VR als auch AR umfasst, können MR-Erlebnisse beide Technologien in unterschiedlichen Verhältnissen miteinander kombinieren.

Arten von MR-Erlebnissen

Statische MR-Erlebnisse

Bei der statischen MR können die Nutzer*innen das Erlebnis an ihrem Wohnzimmertisch, in ihrem Schlafzimmer oder sogar an ihrem Schreibtisch genießen.

Szenarien: Durch eine Kombination von Augmented Reality (AR) und VR bietet die Tischoberfläche Platz für ein Strategiespiel im Miniaturformat oder für ein Karten- oder Brettspiel wie Schach mit Co-Location. Die Nutzer*innen können sich zurücklehnen und ein großflächiges digitales Event wie etwa ein Konzert in der Größe ihrer Wand genießen, während sich die Avatare ihrer Freund*innen per Co-Location im gleichen Raum aufhalten.

Mit statischer MR können Entwickler*innen Erlebnisse erschaffen, bei denen sich die Nutzer*innen an einem relativ unveränderlichen Ort befinden. Dieser Ort kann mit AR und durch das Anzeigen von und das Interagieren mit virtuellen Gegenständen transformiert und verändert werden.

Dynamische MR-Erlebnisse

Dynamische MR umfasst Erlebnisse, die die Begrenzung des physischen Raums verschieben, in denen MR-Erlebnisse stattfinden können.

Szenarien: MR kann ein Haus in ein Geisterhaus verwandeln, eine Invasion kann durch die Schlafzimmerwand hereinbrechen, oder die Nutzer*innen können Ganzkörper-Trainings mit Personal Trainer in ihrem Wohnzimmer erleben.

Diese dynamischen MR-Erlebnisse beruhen darauf, dass die Nutzer*innen körperlich interagieren oder sich zwischen verschiedenen Räumen oder Orten bewegen.

2D- und klassische Erlebnisse

MR mit 2D- und klassischen Erlebnissen umfasst normalerweise statische Erlebnisse und Interaktionen mit 2D-Oberflächen.

Szenarien: Die Nutzer*innen können ein Strategiespiel spielen, bei dem sie Figuren auf ihrem Esszimmertisch verschieben, ein Kartenspiel mit ihrem Wohnzimmer in Vollansicht, oder ein Puzzlespiel, bei dem die Puzzleteile in ihrem Spielbereich schweben.

Die Nutzer*innen sind sich ihrer Umgebung bewusst, während sie diese vertrauten Erlebnisse genießen, und können sogar in ihrem Spielbereich navigieren, indem sie die Spiele und Erlebnisse mit MR transformieren.

Einige beliebte Beispiele für die Umsetzung von typischen 2D-, sitzenden oder statischen virtuellen Erlebnissen in MR:

Puzzles, bei denen die Teile an verschiedenen, nahen Orten im Spielbereich schweben

Ein Kartenspiel, entweder allein oder mit anderen Nutzer*innen, das den Tisch und die Einsätze in den Bereich integriert

Die Übertragung einer beliebten TV-Serie auf einem riesigen virtuellen Bildschirm, während die Nutzer*innen im Urlaub sind

Ein virtuelles Spiel, das auf dem Tisch der Nutzer*innen platziert wird und bei dem sie würfeln, Figuren verschieben und Quests absolvieren können.

Einer der ersten Schritte beim Umsetzen von 2D-Erlebnissen in der physischen Umgebung der Nutzer*innen mit MR besteht darin, die Umgebung mit den Kameras am Meta Quest-Headset zu betrachten. Dazu kannst du die Passthrough API verwenden.

Passthrough API

Vereinfacht gesagt beginnen MR-Erlebnisse mit einer Kombination aus Virtual und Augmented Reality. Mit Quest-APIs wie der Passthrough API kannst du diese beiden Technologien kombinieren und den Nutzer*innen vertraute Erlebnisse in einem neuen Umfeld präsentieren.

Die Passthrough API ermöglicht eine Visualisierung der Welt in Echtzeit, während die Nutzer*innen ein Meta Quest-Headset tragen. Die nach außen gerichteten Kameras generieren einen Passthrough-Layer der physischen Umgebung des*der Nutzer*in, der anschließend von einem XR-Compositor durch eine Darstellung der Umgebung ersetzt wird.

Die Integration der Passthrough API ist der erste Schritt beim Kombinieren spannender Virtual und Augmented Reality-Erlebnisse für die Nutzer*innen. Bei der Passthrough-Einrichtung können die Nutzer*innen eine Oberfläche zuverlässig markieren, auf der du anschließend Erlebnisse aufbauen kannst.

Die Nutzer*innen können beispielsweise ihren Schreibtisch definieren, auf dessen Oberfläche du anschließend MR-Erlebnisse aufbauen kannst. Die Nutzer*innen können auf ihrem Schreibtisch ein Strategiespiel spielen oder ein von oben herab betrachtetes Erlebnis wie ein klassisches Arcade-Spiel genießen. Bei dieser Art von Passthrough können die Nutzer*innen auch mit virtuellen Gegenständen interagieren, die auf ihrer definierten Oberfläche platziert werden.

Weitere Informationen zur Passthrough API findest du in der Unity-, Unreal- oder in der nativen Dokumentation.

Audio SDK

Beim Platzieren virtueller Gegenstände in der physischen Umgebung der Nutzer*innen sind überzeugende Klänge hilfreich, um die Glaubwürdigkeit des MR-Erlebnisses zu verbessern. Hörbare Klänge von Elementen in der physischen Umgebung können die Nutzer*innen zu Neugier, Interaktionen und der Erkundung virtueller Elemente in ihrer Umgebung anspornen.

Das Audio SDK unterstützt Raumverortungs-Features, die Mono-Klänge transformieren und ihren Ursprung im Bereich um den*die Nutzer*in herum platzieren können. Gut gestaltete Klänge verstärken die Präsenz der virtuellen Elemente in physischen Umgebung der Nutzer*innen und sind entscheidend dafür, die Nutzer*innen dazu zu bringen, mit den virtuellen Elementen in ihrer Umgebung zu interagieren.

Virtuelle Begleiter*innen und Objekte

Mit MR kannst du vertraute 2D-Erlebnisse wie etwa Interaktionen mit virtuellen Gegenständen transformieren, und Begleiter*innen bieten zusätzliche Vertrautheit.

Szenarien: Bei einem solchen Erlebnis können die Spieler*innen beispielsweise mit virtuellen Begleiter*innen interagieren, die sich in ihrem Zimmer aufhalten. Diese Begleiter*innen kennen den realen Raum um sie herum und können auf Sprache und Handbewegungen reagieren. Die virtuellen Begleiter*innen in solchen Erlebnissen können auch auf virtuelle Gegenstände oder auf virtuelle Darstellungen realer Gegenstände im virtuellen Bereich reagieren.

Ein häufiges Element in MR-Erlebnissen ist die Fähigkeit, frei mit virtuellen Bereichen, Gegenständen oder Begleiter*innen interagieren zu können. Nachdem die Oberflächen und Gegenstände im Spielbereich mit Passthrough identifiziert wurden, können diese Objekte dynamisch mit dem Bereich interagieren. Auf diese Weise können die Spieler*innen die verschiedenen Eingabeformen der Meta Quest-Headsets nutzen, um mit ihnen zu interagieren.

Es ist wichtig, eindeutig zu definieren, wie die Nutzer*innen in einem MR-Erlebnis mit virtuellen Begleiter*innen und Gegenständen interagieren. Die für eine*n Nutzer*in verfügbaren Interaktionen definieren letztendlich seine*ihre Beziehung zu den virtuellen Elementen in der physischen Umgebung.

Die erste und wichtigste Art der Interaktion in VR und MR sind die Controller. Die Controller-Integration ermöglicht Erlebnisse, bei denen die Nutzer*innen beispielsweise einen Hund streicheln, ein Schwert schwingen, ein Raumschiff steuern oder auf einer wundervollen 3D-Leinwand im Raum um sie herum malen können. Die Meta Quest- und Meta Quest Pro-Controller verfügen über acht kombinierte Tasten und Trigger sowie 6 Freiheitsgrade, um verschiedene Interaktionen zu simulieren. Die Integration von Controllern in dein MR-Erlebnis ermöglicht präzise Eingaben mit Tasten, Triggern, Bewegungen und haptischem Feedback bei der Interaktion mit virtuellen Gegenständen oder Begleiter*innen.

Mit Features wie dem Hand-Tracking können die Nutzer*innen ihre eigenen Hände verwenden, um mit den virtuellen Gegenständen zu interagieren und beispielsweise einen Ball zu dribbeln, Würfel zu werfen oder ein Puzzle zu lösen. Durch die Kombination dieser Elemente mit Passthrough können die Nutzer*innen virtuelle Gegenstände in ihrem persönlichen Bereich aufheben und platzieren.

Mit dem Voice SDK können sich deine Nutzer*innen mit virtuellen Begleiter*innen unterhalten oder interaktive Befehle erteilen, die zu erkennbaren Ergebnissen in der Welt um sie herum führen.

Multiplayer mit Mixed Reality

So spannend MR-Soloerlebnisse auch sein mögen, sind es doch gemeinschaftliche oder kompetitive Erlebnisse mit Freund*innen und Rival*innen, bei denen unvergessliche Erinnerungen entstehen und die dazu führen, dass die Nutzer*innen wiederkommen.

Szenarien: Mit Freund*innen und Rival*innen geteilte MR-Erlebnisse motivieren die Nutzer*innen dazu, wiederzukommen und immer wieder zu spielen und gegeneinander anzutreten. Bei Wettkämpfen in einem Tischtennisspiel oder beim Spielen mit gemeinsamen virtuellen Gegenständen in lokalen Multiplayer-Erlebnissen mit Passthrough entstehen extrem interessante und unvergessliche Momente.

Platform SDK

Das Platform SDK dient als Basis für Multiplayer-Erlebnisse mit Meta Quest. Mit APIs wie Group Presence, App to App Travel, Bestenlisten usw. kannst du die Nutzer*innen in deinen Erlebnissen mühelos zusammenführen.

Szenarien: Durch die Integration des Platform SDK in deine MR-App können die Nutzer*innen Freund*innen finden und einladen, gemeinsam als Gruppe zu einem Erlebnis reisen oder Freund*innen zu bestimmten, zielbasierten Erlebnissen innerhalb deiner App einladen.

Movement SDK

Mit dem Movement SDK kannst du Körper, Gesicht und Augen deiner Nutzer*innen nachverfolgen, um die Immersion deiner MR-Erlebnisse zu verbessern und Interaktionen wie Gesten und Gesichtsausdrücke für die Kommunikation mit deiner App unterstützen. Damit kannst du beispielsweise die Körperhaltung der Nutzer*innen bei Fitness-Erlebnissen nachverfolgen und sie bei ihren Übungen und sonstigen Trainings anleiten.

Szenarien: Durch die Integration des Movement SDK in dein Erlebnis können die Nutzer*innen zuverlässiger mit der MR-Umgebung interagieren. Mit dem Face-Tracking können die Nutzer*innen einen Charakter oder ihren Avatar in einem gesellschaftlichen Umfeld durch Gesichtsausdrücke viel besser verkörpern, und das Körper-Tracking ermöglicht immersive aktive Erlebnisse wie Fitness- oder Partyspiele.

Gemeinsame Raumanker

Durch die Kombination von Platform SDK-Features mit MR-spezifischen Tools wie gemeinsamen Raumankern kannst du das lokale Multiplayer-Erlebnis deiner Nutzer*innen transformieren und erweitern. Gemeinsame Raumanker können von einem*r Nutzer*in erstellt und dann mit anderen Personen im gleichen physischen Raum geteilt werden. Dadurch entsteht eine gemeinsame virtuelle Referenz für mehrere Nutzer*innen, die dieselbe Perspektive in Bezug darauf erhalten, wo und wie digitale Gegenstände und ihre gemeinsamen Anker platziert werden.

Szenarien: Als Erweiterung der vorherigen Beispiele können mehrere Nutzer*innen Raumanker erstellen und anschließend mit Freund*innen in Co-Location teilen, um einen virtuellen Ball von ihrer Wohnzimmerwand abprallen zu lassen. Alle Nutzer*innen, die den Raum mit diesen gemeinsamen Ankern betreten, können am Erlebnis teilnehmen und mit den virtuellen Gegenständen interagieren.

MR-Szene erstellen

Nachdem du virtuelle Gegenstände mit MR in den Spielbereich deiner Nutzer*innen gebracht hast, kannst du im nächsten Schritt die Wände, Böden und Gegenstände in ihrer Umgebung physisch integrieren und in das MR-Erlebnis einbinden. Damit erweiterst du das Konzept eines Spielbereichs zu einem echten MR-Erlebnis in Raumgröße.

Szenarien: Stelle dir Interaktionen mit Raumschiffen vor, die aus den Wänden, dem Boden oder der Decke hereingeflogen kommen. Oder einen Vergnügungspark, der vom Schlafzimmer um die Möbel im Wohnzimmer herum bis in die Küche reicht.

Eine der gängigsten Ideen in der Welt der Mixed Reality besteht darin, dass die Nutzer*innen mit Dingen interagieren, die aus den Wänden, dem Boden oder der Decke kommen. Mit der Scene API kannst du Erlebnisse erstellen, die all diese Oberflächen sowie Gegenstände wie einen Schreibtisch, ein Sofa, einen Stuhl, Fenster und vieles mehr einbeziehen. Anschließend kannst du virtuelle Inhalte mit dem physischen Raum der Nutzer*innen vermischen.

Scene API

Die Scene API umfasst Scene Capture (Szenenerfassung) und Scene Model (Szenenmodellierung), mit denen du eine aktuelle Repräsentation des physischen Raums deiner Nutzer*innen erstellen kannst, inklusive Wände, Möbel usw. Dieses Modell kann indiziert und abgefragt werden. Das Szenenmodell des*r Nutzer*in besteht aus Szenenankern, die wiederum aus geometrischen Komponenten und semantischen Labels bestehen.

Die World Beyond-Beispiel-App⁠ ist ein Beispiel für ein MR-Spiel in Raumgröße, das Szenenfunktionen, Passthrough, Stimme und Hand-Tracking verwendet.

Anwendungsfälle für Mixed Reality

Mit den richtigen Bausteinen kannst du diese SDKs und APIs nutzen, um deinen Nutzer*innen ein Erlebnis zu bieten, das virtuelle und physische Welt auf einzigartige Weise kombiniert.

Pädagogische MR-Erlebnisse

Durch die Integration von MR in einem Klassenzimmer mit gemeinsamen Raumankern, die ein historisches Umfeld und historische Artefakte abbilden, können die Lernenden diese Artefakte aufheben und mit ihnen interagieren, um mehr über eine bestimmte Epoche zu erfahren. Mit Co-Location können die Lernenden auch Notizen in ein physisches Notizbuch eintragen, während sie einen Frosch im Biologieunterricht virtuell sezieren.

Deine Nutzer*innen können mit pädagogischen MR-Erlebnissen interagieren, die verschiedene SDKs und APIs wie Platform SDK und Raumanker nutzen, um virtuelle Gegenstände im Klassenzimmer zu erstellen, mit ihnen zu interagieren und von ihnen zu lernen.

MR-Erlebnisse als Entertainment

Mit MR kannst du ein Wohn- oder Schlafzimmer in einen Konzertsaal mit dynamischem Bildschirm auf einer der Wände verwandeln, um nur eine der Arten zu nennen, wie MR transformative und innovative Entertainment-Erlebnisse bieten kann.

Mixed Reality kann auf viele verschiedene Arten als Entertainment eingesetzt werden. Einige weitere Beispiele:

Die Nutzer*innen können ein Match ihres Lieblingsteams auf der gesamten Fläche ihres Schreibtischs oder ihrer Schlafzimmerwand ansehen

Teilnahme an einem E-Sports-Event, wobei die Publikumsgeräusche im Raum erklingen und die Spieler*innen direkt im Wohnzimmer der Nutzer*innen bei einer Meisterschaft antreten

Erweiterte lokale Entertainment-Erlebnisse mit Co-Präsenz, um gemeinsam mit anderen Nutzer*innen ein Konzert oder eine Live-Sportübertragung als VR-Erlebnis anzusehen

MR-Erlebnisse für Fitness und Wellness

Du kannst MR-Fitnesserlebnisse erstellen, indem du den Avatar eines Personal Trainers per Passthrough in die Wohnbereiche deiner Nutzer*innen versetzt, um sie beim Training zu unterstützen. Außerdem kannst du virtuelle Gegenstücke für Gegenstände wie Hanteln oder andere Trainingshilfen erstellen, mit denen die Nutzer*innen trainieren.

Weitere Möglichkeiten sind Handgewichte für zusätzliche Trainingsmöglichkeiten, an denen die Nutzer*innen komfortabel von zu Hause aus teilnehmen können.

Dazu kannst du Fitness- und Wellness-Erlebnisse mit dem Movement SDK für Body-Tracking oder Hand-Tracking zur exakten Nachverfolgung der Handpositionen erweitern.

MR-Erlebnisse für mehr Produktivität

MR kann auf verschiedene Arten zur Steigerung der Produktivität beitragen. Mit einem virtuellen Bürobereich, wie etwa Horizon Workrooms, können die Nutzer*innen ihren gewählten Arbeitsbereich frei anpassen.

Mit dem Tracked Keyboard SDK (Tastatur-Tracking) können sich die Nutzer*innen eine Tastatur in ihrer virtuellen Umgebung anzeigen lassen. Durch die Kombination dieser Elemente mit Hand-Tracking und Meta-Avataren können sich die Nutzer*innen auch in produktiven und professionellen Umgebungen frei ausdrücken.