Unity 版动作 SDK - 概览
更新时间: 2026年4月30日
Unity 版运动 SDK 使用身体、面部和视线追踪,将用户的实际动作引入元宇宙中,从而提升社交体验。利用追踪功能提供的抽象信号,您可以将人物制作成动画并赋予其社交临场感,并且提供除人物形象外的更多功能。
身体追踪 API 使用手、控制器和头戴设备的运动来推断用户的身体姿势。这些身体姿势在 3D 空间中表现为一系列的变换,并组合成一个身体追踪骨架。
这就像视频是由每一秒的多个静止镜头组成的。通过反复调用身体追踪 API,您可以推断戴着头戴设备的人的动作。
以下是身体追踪的用例:
- 您可以使用身体追踪关节来分析人的动作,并确定身体姿势是否符合运动形式。
- 通过将骨架的关节映射到人物装置上,您可以将人物制成动画,以反映游戏或动画中人类的动作。
- 同样地,您也可以使用游戏中的身体关节数据来击中目标或检测用户是否躲过发射物。
- 虽然身体姿势通常会映射到人形装置上,但您也可以将其映射到不可玩的人物上。
- 出于研究和可用性研究的目的,您可以收集用户在与您的应用或游戏互动时的身体动作数据,但应给出适当通知。
面部追踪 API 使用向内摄像头检测富有表现力的面部动作。对于没有向内摄像头的设备(例如 Meta Quest 3),面部追踪依靠麦克风收录的音频来推测面部动作。这些动作将根据面部动作编码系统 (FACS) 被分类为不同的表情。
这些参考信息会将面部动作分为不同的表情,包括扬眉、皱鼻子等常见面部肌肉动作,或多个动作的组合。例如,微笑可以是左右嘴角抬起以及脸颊移动和双眼微闭的组合。因此,同时混合多种动作的情况很常见。
为了在沉浸式或混合应用(VR 或 AR/MR)中实现这一点,常见的做法是将这些动作描述为混合形状,也称为变形目标,其强度表明面部动作的强度。
面部追踪 API 以已定义的混合形状的形式传达每个面部表情,并用强度表示该混合形状的激活情况。
以下是面部追踪的用例:
- 您可以直接解读混合形状,确定用户是否睁开眼睛,或在眨眼或微笑。
- 您还可以组合混合形状,将其重定位至人物,以提供自然的面部表情。
Meta Quest Pro 的
视线追踪 API 可以检测眼部运动。它会启用 Eye Gaze API,在用户环顾四周时在其人物上表现出视线的变换。
以下是视线追踪的用例:
- API 提供的抽象注视表现以及每只眼睛的注视状态,可允许用户的人物与其他用户进行眼神交流。这可以显著改善用户的社会临场感。
- 您还可以使用视线追踪来确定用户正在注视 3D 空间中的哪一点。这将有助于了解用户在游戏中的兴趣区域或目标。
请查看下表,了解头戴设备和追踪功能的兼容性。所有列出的头戴设备都支持身体追踪。
| 头戴设备 | 面部追踪 | 视线追踪 |
|---|
Quest 2 | 仅限音频转表情 | 不支持 |
Quest Pro | 视觉和音频转表情 | 支持 |
Quest 3 | 仅限音频转表情 | 不支持 |
Quest 3S 和 3S Xbox 版 | 仅限音频转表情 | 不支持 |