Movement SDK für Unreal verwendet Body-, Face- und Eye-Tracking, um die physischen Bewegungen von Nutzer*innen in das Metaversum zu übertragen und soziale Erlebnisse zu verbessern. Mithilfe der abstrahierten Signale, die das Tracking liefert, kannst du Charaktere mit sozialer Präsenz animieren und Funktionen bereitstellen, die über die Darstellung des Körpers hinausgehen.

Du findest die Beispiele für Body-, Face- und Eye-Tracking im Oculus Samples-GitHub-Repo. OculusVR Unreal Engine Fork⁠.

Feature-Übersicht

Body-Tracking

In diesem Abschnitt werden folgende Fähigkeiten vermittelt:

Verständnis der Anwendungsfälle für das Body-Tracking

Verständnis der Einschränkungen, die für die Nutzer*innen dieser Funktion gelten

Verständnis der bekannten Probleme zur Ermittlung von Hindernissen, die dem jeweiligen Anwendungsfall im Weg stehen

Body-Tracking für Meta Quest-Geräte ist eine API, die Hand- und/oder Controller- sowie Headset-Bewegungen verwendet, um die Körperpositionen der Nutzer*innen zu erfassen. Diese Körperpositionen werden in einen 3D-Raum übertragen und zu einem Body-Tracking-Skelett zusammengestellt. Vergleichbar ist dies mit einem Video, das aus mehreren Standbildern pro Sekunde besteht. Durch das wiederholte Aufrufen der BodyTracking-API kannst du die Bewegungen der Person, die das Headset trägt, erfassen.

Anwendungsfälle

Du kannst die Daten der Body-Tracking-Gelenke verwenden, um die Bewegung der Person zu analysieren und die Körperposition oder die ordnungsgemäße Ausführung von Übungsformen zu ermitteln.

Durch das Übertragen der Gelenke des Skeletts auf ein Charaktermodell kannst du den Charakter animieren, um menschliche Bewegungen für Spiele oder Produktionsanimationen widerzuspiegeln.

Entsprechend kannst du auch Gelenkdaten in deinem Spiel verwenden, um Ziele zu treffen oder um zu ermitteln, ob das Ausweichen vor einem Projektil erfolgreich war.

Obwohl Körperpositionen normalerweise auf ein menschliches Modell übertragen werden, kannst du sie auch auf nicht spielbare Charaktere übertragen.

Du kannst für Forschungs- und Nutzbarkeitsstudien Daten zur Körperbewegung der Nutzer*innen bei der Interaktion mit deinen Apps oder Spielen sammeln, solltest jedoch einen entsprechenden Hinweis darauf geben.

Bekannte Probleme und Einschränkungen

Bei Verwendung von Inside-Out Body-Tracking (IOBT) mit Controllern siehst du eventuell Jitter, wenn sich die Controller in Positionen befinden, wo das Tracking erschwert ist (z. B. Hände über dem Kopf).

Für Generative Legs (stellt ein Ganzkörperskelett bereit) wird die ungefähre Höhe des Headsets über dem Boden gemessen, wenn das Body-Tracking beginnt. Der*die Nutzer*in sollte jede Session stehend beginnen. Wenn der Körpermaßstab falsch aussieht, drücke zweimal die Oculus-Taste, um die Kalibrierung zurückzusetzen. Der Guardian muss für diese Kalibrierung initialisiert sein.

Umgebungseinschränkungen

Inside-Out Body-Tracking (IOBT) basiert auf der Sichtbarkeit von den Kameras im Headset, daher gibt es einige Einschränkungen. Diese Einschränkungen können zwar im Laufe der Zeit verringert oder sogar beseitigt werden, sind jedoch aktuell Bestandteil des erwarteten Verhaltens.

Verdeckung: Das Tracking kann abbrechen, wenn ein Körperteil verdeckt wird, etwa von einem Objekt (zum Beispiel einem Tisch) oder einem anderen Körperteil (etwa beim Bewegen der Arme hinter dem Rücken), oder wenn sich der Körper in der Nähe einer Wand befindet. Aus diesem Grund und auch aus Sicherheitsgründen empfehlen wir dir, dich zu vergewissern, dass deine Umgebung frei von Gegenständen und Hindernissen ist. Zudem solltest du es vermeiden, auf Bewegungen angewiesen zu sein, bei denen die Arme oder der Oberkörper verdeckt werden.

Beleuchtung: Eine starke Hintergrundbeleuchtung kann Schatten oder andere visuelle Artefakte verursachen, die unsere Fähigkeit zum Erkennen von Armen und Händen beeinträchtigen können. Sehr schwache Beleuchtungsstärke kann ebenfalls Probleme verursachen. Für die bestmögliche Leistung solltest du dich in einem gut beleuchteten Raum aufhalten, aber nicht in der Nähe von großen Fenstern mit direktem Sonnenlicht.

Rig-Anforderungen: Zur Unterstützung von Body-Tracking muss dein Skelett folgende Anforderungen erfüllen:

Eine Wirbelsäule haben, die an der Hüfte beginnt und am Hals/Kopf endet.

Zwei Arme haben, die an der Brust mit der Wirbelsäule verbunden sind, und in der Regel 5 Finger an jeder Hand.

Für vollständiges Body-Tracking: zwei Beine haben, die mit der Hüfte verbunden sind.

Für bestmögliche Ergebnisse sollte dein Charakter alle Knochen in der Body Joint Visual Reference (Visuelle Körpergelenke-Referenz) enthalten.

Unterstützte Geräte

Alle Meta Quest 2-Geräte und neuere Geräte werden unterstützt, wobei Inside-Out Body-Tracking nur auf Meta Quest 3 unterstützt wird.

Face-Tracking

In diesem Abschnitt werden folgende Fähigkeiten vermittelt:

Verständnis der Anwendungsfälle für das Face-Tracking

Verständnis der Einschränkungen, die für die Nutzer*innen dieser Funktion gelten

Verständnis der bekannten Probleme zur Ermittlung von Hindernissen, die dem jeweiligen Anwendungsfall im Weg stehen

Face-Tracking für Meta Quest Pro ist eine API, die nach innen gerichtete Kameras nutzt, um Gesichtsausdrücke und -bewegungen zu erfassen. Auf Geräten ohne nach innen gerichtete Kameras, wie zum Beispiel Meta Quest 3, nutzt das Face-Tracking lediglich die Audiosignale des Mikrofons, um Gesichtsbewegungen abzuschätzen. Diese Bewegungen werden gemäß dem Facial Action Coding System (FACS) in Gesichtsausdrücke kategorisiert. Dieses System wandelt Gesichtsbewegungen in Gesichtsausdrücke um, die häufigen Bewegungen der Gesichtsmuskeln zugeordnet werden, zum Beispiel das Heben einer Augenbraue, das Rümpfen der Nase usw. Auch eine Kombination aus mehreren dieser Bewegungen ist möglich. Ein Lächeln könnte zum Beispiel eine Kombination aus dem Heben des rechten und linken Mundwinkels sowie dem Bewegen der Wangen und dem leichten Schließen der Augen sein. Aus diesem Grund werden häufig mehrere gleichzeitige Bewegungen miteinander vermischt. Um dies in immersiven oder gemischten Apps (VR oder AR/MR) zu erreichen, besteht die gängige Praxis darin, diese als Morph-Ziele (auch Blendshapes genannt) mit einer Stärke darzustellen, die angibt, wie stark das Gesicht diese Aktion zum Ausdruck bringt. Die Face-Tracking-API überträgt jeden Gesichtsausdruck als definiertes Morph-Ziel mit einer Stärke, die die Aktivierung dieses Morph-Ziels angibt.

Anwendungsfälle

Du kannst Morph-Ziele direkt interpretieren, um zu ermitteln, ob die Person die Augen geöffnet hat, blinzelt oder lächelt.

Du kannst Morph-Ziele auch miteinander kombinieren und einem Charakter neu zuordnen, um natürliche Gesichtsausdrücke bereitzustellen.

Bekannte Probleme und Einschränkungen

Gesichtsbehaarung oder Accessoires wie Masken, die das Gesicht verdecken können, hindern das Gerät möglicherweise an der richtigen Erkennung der Gesichtsbewegungen.

Rig-Anforderung: Face-Tracking basiert auf Morph-Zielen und erfordert ein korrektes Mapping auf den Charakter, wenn es für die Charakterdarstellung verwendet wird.

Unterstützte Geräte

Meta Quest Pro unterstützt visuelles Face-Tracking.

Audio-basiertes Face-Tracking ist auf Meta Quest 2 und neueren Geräten verfügbar.

Eye-Tracking

In diesem Abschnitt werden folgende Fähigkeiten vermittelt:

Verständnis der Anwendungsfälle für das Eye-Tracking

Verständnis der Einschränkungen, die für die Nutzer*innen dieser Funktion gelten

Verständnis der bekannten Probleme zur Ermittlung von Hindernissen, die dem jeweiligen Anwendungsfall im Weg stehen

Anwendungsfälle

Die abstrahierte Blickrichtungsdarstellung, die die API bereitstellt (Blickstatus pro Auge), ermöglicht der Charakterdarstellung der Nutzer*innen, Blickkontakt mit anderen Nutzer*innen herzustellen. Auf diese Weise kann die soziale Präsenz deiner Nutzer*innen deutlich verbessert werden.

Du kannst Eye-Tracking auch verwenden, um zu ermitteln, wohin die Person im 3D-Raum gerade blickt. Dies kann wichtige Informationen zu interessanten Bereichen oder für das Zielen in Spielen bereitstellen.

Bekannte Probleme und Einschränkungen

Diese Eye-Tracking-API wird für die soziale Präsenz verwendet und wendet daher Einschränkungen und Glättung auf das Tracking an, um unnatürliche Augenbewegungen zu vermeiden.

Rig-Anforderung: Damit Eye-Tracking funktioniert, muss dein Charakter über Eye-Meshes verfügen, die an Knochen geriggt sind, und zwar eines pro Auge.