开发

用于 Unreal 的动作 SDK

更新时间: 2026年4月15日

图片展示了动作 SDK 如何捕捉真实世界中的动作并在虚拟形象上进行模拟。

用于 Unreal 的动作 SDK 使用身体追踪、面部追踪和视线追踪，将用户的肢体动作引入虚拟环境中，从而提升社交体验。利用追踪功能提供的抽象信号，您可以将人物制作成动画并赋予人物社交临场感，并且提供除人物体现外的更多功能。

您可以在适用于 Unreal 的运动 SDK 示例⁠ GitHub 库中找到身体追踪、面部追踪和视线追踪的示例。

功能概览

身体追踪

Meta Quest 设备的身体追踪是通过手部和/或控制器及头戴设备的动作来推测用户身体姿势的 API。这些身体姿势在 3D 空间中表现为一系列的变换，并组合成一个身体追踪骨架。这类似于通过每秒多张静态画面合成一段视频。通过反复调用身体追踪 API，您可以推断戴着头戴设备的人的动作。

用例

您可以使用身体追踪关节来分析人的动作，并确定身体姿势是否符合运动形式。

通过将骨架的关节映射到人物装置上，您可以将人物制成动画，以反映游戏或动画中人类的动作。

同样地，您也可以使用游戏中的身体关节数据来击中目标或检测用户是否躲过发射物。

虽然身体姿势通常会映射到人形装置上，但您也可以将其映射到不可玩的人物上。

出于研究和可用性研究的目的，您可以收集用户在使用您的应用或游戏时的身体动作数据，但应给出适当通知。

已知问题和限制

在通过控制器使用内置全身追踪 (IOBT) 时，如果控制器处于难以追踪的位置（如手臂高举时），可能会出现抖动现象。

对于生成的腿部（提供全身骨架），当身体追踪开始时，会测量从头戴设备到地面的大致高度。每次使用时，用户应处于站立姿势。如果身体比例看起来不正确，请按两次 Meta Quest 按钮重置校准。必须初始化防护边界才能进行此校准。

环境限制

内向外身体追踪 (IOBT) 基于头戴设备摄像头的视野，因此存在某些限制。这些限制反映了当前的追踪能力，可能会在未来 SDK 版本中得到改进。

遮挡：当身体的某个部分被物体（例如桌子）、其他身体部位（如将手臂放在背后）遮挡，或者身体靠近墙壁时，追踪可能会丢失。出于这一原因，也出于安全原因，我们建议确保您身边的区域没有任何杂物或障碍物，并避免做出可能导致手臂或躯干被遮挡的动作。

光照：背景强光会造成阴影或其他视觉伪影，可能影响检测手臂和手的能力。光线过暗也会造成问题。为了确保最佳效果，您应该位于光线充足的房间，但不要靠近阳光直射的大窗户。

骨骼绑定要求：为了支持身体追踪，您的骨架需要：

从骨盆/臀部开始，结束于颈部/头部的脊椎

两只手臂从胸部连接到脊柱，且通常每只手有 5 根手指

对于全身追踪：两条腿连接在骨盆/臀部

为获得最佳效果，您的人物应该包括身体关节视觉参考中的所有骨头。

支持的设备

Meta Quest 2、Meta Quest 3、Meta Quest 3S 以及 Meta Quest Pro 均支持身体追踪。内向外身体追踪 (IOBT) 可实现全身追踪，在 Meta Quest 3 和 Meta Quest 3S 上可用。

面部追踪

面部追踪可检测面部运动并将其映射为表情。在 Meta Quest Pro 上，它使用内向摄像头进行视觉检测。在没有内向摄像头的设备（例如 Meta Quest 3）上，面部追踪依靠麦克风音频来估算面部运动。这些运动将根据面部动作编码系统 (FACS) 被分类为不同的表情。FACS 会将面部运动分为不同的表情，包括扬眉、皱鼻子等常见面部肌肉运动，或多个运动的组合。例如，微笑可以是左右嘴角抬起以及脸颊移动和双眼微闭的组合。因此，同时混合多种动作的情况很常见。要在沉浸式或混合应用（VR 或 AR/MR）中实现这一点，常见的做法是将这些动作描述为变形目标（也称为混合形状），并通过强度表明面部动作的强度。面部追踪 API 通过已定义的变形目标传达每个面部表情，并用强度表示该变形目标的激活情况。

用例

您可以直接解读变形目标，确定用户是否在睁眼、眨眼或微笑。

您还可以组合变形目标，将其重定位至人物，以提供自然的面部表情。

已知问题和限制

面部毛发或像类似口罩的服饰会挡住面部，并可能会阻止设备正确检测面部运动。

骨骼绑定要求：面部追踪基于变形目标，如果用于人物具象化，则需要正确映射到人物。

支持的设备

Meta Quest Pro 支持视觉面部追踪。

所有 Meta Quest 2 及更高版本的设备都提供基于音频的面部追踪。

视线追踪

视线追踪使用头戴设备的内部传感器来确定每只眼睛的注视方向。该 API 提供抽象化的视线表示（每只眼睛的注视状态），可用于在应用程序中驱动社交模拟和基于视线的互动。

用例

API 提供的抽象注视表现（每只眼睛的注视状态），可允许用户的人物与其他用户进行眼神交流。这可以显著改善用户的社交临场感。

您还可以使用视线追踪来确定用户正在注视 3D 空间中的哪一点。这将有助于了解用户在游戏中的兴趣区域或目标。

已知问题和限制

这种视线追踪 API 用于社交模拟，因此会对追踪应用施加限制并进行平滑处理，以避免非自然的眼部运动。

骨骼绑定要求：要使视线追踪正常工作，角色必须拥有绑定到骨骼的眼球模型网格，左右眼各单独一套。

支持的设备

Meta Quest Pro

Meta Quest 3S

LiveLink 集成

动作 SDK 通过 ULiveLinkOculusXRMovementSourceFactory 提供 LiveLink 支持，将身体、面部、眼睛和面部视素数据显示为 LiveLink 主体。这为使用 Unreal LiveLink 系统重定向身体和面部追踪数据提供了替代工作流程。重定向素材可用于身体和面部追踪。有关基于 LiveLink 的运动追踪的工作示例，请参阅 Unreal 的运动 SDK 示例⁠。