Magische Erlebnisse mit Mixed Reality entwickeln

Mixed Reality mit Meta Quest bietet raumbezogene Erlebnisse, die nahtlose Interaktionen zwischen Nutzer*innen, virtuellen Inhalten und physischen Räumen ermöglichen. Entdecke nahezu unbegrenzte Möglichkeiten, Innovationen mit bahnbrechenden Funktionen und personalisierten Erlebnissen voranzutreiben, die mit der realen Welt interagieren.

Was ist Mixed Reality?

Bei Mixed Reality (MR) verschmilzt der reale, physische Raum der Nutzer*innen mit deinen digitalen Inhalten, um neue Erlebnisse zu schaffen, in denen physische und virtuelle Objekte nebeneinander existieren und in Echtzeit miteinander interagieren. Dank MR können Nutzer*innen virtuelle Elemente ganz natürlich sehen und mit ihnen interagieren, als wären sie so real wie die physischen Objekte und Umgebungen.

Warum ist das wichtig?

Mixed Reality bietet Entwickler*innen völlige Freiheit, um Innovationen voranzutreiben und dynamische Interaktionen zwischen Nutzer*innen, virtuellen Inhalten und der Welt um sie herum zu schaffen. Mit MR lassen sich Erlebnisse realisieren, die in der VR bisher nicht möglich waren, wie z. B. die Einbettung virtueller Objekte, die in Echtzeit die physische Welt erweitern und sich an sie anpassen. Ganz gleich, ob du Apps für Gaming, Weiterbildung, Gesundheit, Unterhaltung oder diverse andere Bereiche entwickeln möchtest – MR hat ein unvergleichliches Potenzial, Produktivität zu steigern, Kreativität zu entfesseln, Kollaborationen anzuregen und Menschen zusammenzubringen.

Was ist soziale Präsenz?

Soziale Präsenz beschreibt das Gefühl, mit anderen Personen in derselben Umgebung zu interagieren und präsent zu sein, selbst wenn man räumlich weit voneinander entfernt ist. Meta Horizon OS ermöglicht eine stärkere soziale Präsenz, indem es im Vergleich zu 2D- oder Flachbildschirm-Erlebnissen authentischere Formen der Interaktion und Kommunikation, immersivere Erfahrungen und besseres Feedback bietet.

Wie kann meine 2D-App von MR profitieren?

Meta Horizon OS bietet innovative Lösungen, neue und bestehende 2D-Apps um räumliche Funktionen zu erweitern, die über die Möglichkeiten von 2D-Bildschirmen hinausgehen. Die Fähigkeit, durch physische Umgebungen zu navigieren und intuitiv mit virtuellen Elementen in grenzenlosen Umgebungen zu interagieren, macht dein App-Erlebnis für Nutzer*innen noch immersiver, mitreißender und interaktiver.

Mixed-Reality-Funktionen durchstöbern

Passthrough

Füge virtuelle Inhalte in die physische Welt ein und ermögliche es Nutzer*innen, ihre Umgebung in satten Farben zu erleben.

DOKUMENTATION UND RESSOURCEN

Demonstrations-App: First Hand

Scene

Scene versetzt dich in die Lage, schnell komplexe und szenenbezogene Erlebnisse mit umfassenden Interaktionen in der physischen Umgebung der Nutzer*innen zu entwickeln.

DOKUMENTATION UND RESSOURCEN

Demonstrations-App: First Hand

Spatial Anchors

Platziere virtuelle Inhalte im physischen Raum, sorge dafür, dass sie an Ort und Stelle bleiben, und simuliere realistische Tiefe und Verdeckung.

Depth API/Verdeckung

Rendere virtuelle Objekte so, dass sie von physischen Objekten und Oberflächen in der realen Welt verdeckt werden und realistisch in ihre Umgebung eingebettet erscheinen.

Unity

Unreal

OpenXR

Interaction SDK/Hand-Tracking

Ermögliche die Verwendung der Hände als Controller und den Wechsel zwischen der Eingabe per Controller oder per Hand.

Voice SDK

Entwickle sprachgesteuerte Erlebnisse und Interaktionen, wie z. B. das Gespräch mit einem virtuellen Charakter oder das Diktieren einer Notiz.

Unity

Unreal Engine

Audio SDK

Verwende räumliches Audio, um eine neue Dimension der Präsenz zu schaffen und die Sinne der Nutzer*innen zu stimulieren.

Unity – Nativ, FMOD, Wwise

Unreal – Nativ, FMOD, Wwise

Body-Tracking

Das Body-Tracking ermöglicht dir die dynamische Darstellungen eines Oberkörpers in 3D. Anhand der Bewegungen von Händen bzw. Controllern und des Headsets werden präzise Körperhaltungen abgeleitet, die zu einem Body-Tracking-Skelett zusammengesetzt werden.

Unity

Unreal Engine

OpenXR

So arbeiten Mixed-Reality-Funktionen zusammen

Mixed-Reality-Funktionen integrieren virtuelle Inhalte in ein Nutzungserlebnis, indem sie die physische Umgebung verstehen, um das, was der*die Nutzer*in sieht, zu erweitern.

Meta Quest 3 und Meta Quest Pro verwenden das Feature Raum einrichten. Bei dieser Methode wird mithilfe der Kameras und Tiefensensoren des Headsets ein 3D-Scan der Umgebung erstellt. Dieser Scan ermöglicht es Entwickler*innen, virtuelle Inhalte zu kreieren, die auf realistische Weise mit physischen Objekten interagieren und deren Reaktionen auf präziser Physik beruhen.

Passthrough, Scene und Anchor APIs sind für die Nutzung des Features „Raum einrichten“ sowie für dynamische Mixed-Reality-Erlebnisse unerlässlich. Mit Passthrough können Apps die externen Kameras des Geräts nutzen, um physische Umgebungen in Echtzeit zu erfassen, sodass die Nutzer*innen diese direkt in ihrem Headset sehen können. Nach Erhalt eines Feeds für eine physische Umgebung können Apps mithilfe der Scene API physische Objekte wie Türen, Böden und Decken identifizieren und verstehen. Dank dieses Verständnisses physischer Objekte können nun virtuelle Inhalte mit physischen Objekten interagieren und kollidieren, als ob sie sich im selben Raum befänden, was das Gefühl der Präsenz für die Nutzer*innen erhöht. Mithilfe von Spatial Anchors kann deine App sicherstellen, dass virtuelle Objekte während einer Session und zwischen Sessions ihre Position beibehalten, wodurch ein konsistentes und angenehmes Nutzungserlebnis entsteht.

Erste Schritte bei der Entwicklung für Mixed Reality

Schritt 1: Vorüberlegungen

Bevor du mit der App-Entwicklung beginnst, solltest du dich über die wichtigsten Designrichtlinien und Best Practices informieren, die dir helfen, barrierefreie und angenehme Erlebnisse für alle zu gestalten. Diese empfohlenen Richtlinien zu befolgen hilft dir auch, den Review-Prozess deiner App für den Meta Horizon Store zu beschleunigen.

Human Interface Design Guidelines lesen

Best Practices für die Gestaltung in Mixed Reality

Schritt 2: Tools für Entwickler*innen kennenlernen

Entdecke die Tools, die deine Entwicklungs-Workflows von der Einrichtung bis zum Testen effizienter machen und lästige wiederkehrende Aufgaben eliminieren. Mit dem Mixed Reality Utility Kit kannst du beispielsweise vor dem Hintergrund deiner physischen Umgebung programmieren, und mit dem Meta-XR-Simulator kannst du dein Projekt iterieren und testen, ohne dafür ein Headset aufzusetzen.

Tools für Entwickler*innen durchstöbern

Schritt 3: Beispiele und Demonstrationen entdecken

Finde heraus, wie du die Mixed-Reality-Mechanismen mithilfe von Meta Motifs integrieren kannst, und entdecke Methoden zur Implementierung verschiedener Funktionen, um fesselnde und unterhaltsame Erlebnisse zu gestalten.

Demonstrationen ansehen

Schritt 4: Mit der Entwicklung beginnen

Unsere kuratierten Dokumentationen, Best Practices, Tutorials und Codebeispiele helfen dir, einen Prototyp oder ein fertiges Projekt mit Unity oder der Unreal Engine, nativ oder für das Web zu entwickeln.

Mit der Entwicklung für Meta Quest loslegen

Mixed Reality-Blueprints mit Demonstrations-Apps finden

Cryptic Cabinet

Cryptic Cabinet verwandelt deine Umgebung in eine mystische Welt voll rätselhafter Herausforderungen und Überraschungen. Dein Wohnzimmer wird zur Bühne für unvergessliche Abenteuer. Dieses Projekt veranschaulicht, wie man mithilfe verschiedener Funktionen in jedem beliebigen Raum ein einzigartiges MR-Spielerlebnis erzeugen kann.

Wichtige Funktionen: Gemeinsame Spatial Anchors, Scene API, Passthrough, Interaction SDK

Im Meta Horizon Store ansehen

Quellcode ansehen

Discover

Entdecke die wichtigsten Funktionen der Mixed-Reality-APIs von Meta Quest und erfahre, wie du Co-Location verwirklichen kannst. Also die zeitgleiche Präsenz mehrerer Nutzer*innen im selben physischen und virtuellen Raum während eines MR-Erlebnisses.

Wichtige Funktionen: Gemeinsame Spatial Anchors, Scene API, Passthrough

Im Meta Horizon Store ansehen

Quellcode ansehen

Phanto

Phanto ist ein in der Unreal Engine entwickeltes Mixed-Reality-Spiel, das gut veranschaulicht, wie Scene Mesh, Passthrough und Depth API kombiniert werden können, um actiongeladenes Gameplay zu kreieren. Das Game stützt sich maßgeblich auf Unreal-Blueprints und bietet damit den perfekten Ausgangspunkt für die Integration von Mixed Reality in dein Projekt.

Wichtige Funktionen: Scene Mesh, Passthrough, Depth API

Quellcode (Unity) ansehen

Quellcode (Unreal) ansehen

Slimeball

Slimeball! ist ein kompetitives Mixed-Reality-Tabletop-Game, bei dem ausdrucksstarke Charaktere im Vordergrund stehen. Das Spiel kombiniert Mixed Reality, Hand-Tracking und Funktionen für soziale Präsenz, um ein unterhaltsames Tabletop-Erlebnis zu erzeugen.

Wichtige Funktionen: Passthrough, Hand-Tracking, Interaction SDK, Spatial Anchors

Im Meta Horizon Store ansehen

Weitere Anwendungsfälle ansehen

Tipps und Empfehlungen für deine Entwicklungs-Journey

Hier findest du Links zu wichtigen Ressourcen und Informationen, die dir helfen, deine Vision zu verwirklichen. Benötigst du Hilfe? In unseren FAQs und Community-Foren findest du Unterstützung.

Support erhalten

Funktionen durchstöbern

Weitere Demonstrationen ansehen

Human Interface Design Guidelines ansehen

Tools für Entwickler*innen entdecken

Erste Schritte bei der Entwicklung für Meta Quest