开发

使用 Oculus 口型同步进行 Unity 开发

End-of-Life Notice for Oculus Spatializer Plugin

Oculus 声场定位器插件已被 Meta XR 音频 SDK 取代，现已进入停止服务阶段。除了该插件的 v47，我们将不会为其提供任何进一步的支持。我们强烈建议您不要使用它。请根据您使用的引擎导航至相应的 Meta XR 音频 SDK 文档：
- Unity 原生版 Meta XR 音频 SDK
- Unity 和 FMOD 版 Meta XR 音频 SDK
- Wwise 和 Unity 版 Meta XR 音频 SDK
- Unreal 原生版 Meta XR 音频 SDK
- FMOD 和 Unreal 版 Meta XR 音频 SDK
- Wwise 和 Unreal 版 Meta XR 音频 SDK

此文档将不再更新，并且可能会被删除。

Oculus 口型同步提供用于 Windows 或 macOS 的 Unity 插件，可用来将虚拟形象的唇部动作与声音和笑声同步。口型同步分析来自麦克风输入或音频文件的音频输入流，并预测一组名为 Viseme 的值，即与特定语音相对应的口型和面部表情。Viseme 这个术语在讨论读唇语时使用，是可理解性的基本视觉单位。在电脑动画中，为了让动画人物看起来像在说话，可能会为它们使用 Viseme。

口型同步使用 Viseme 集，根据特定音频输入流修改虚拟形象。每个 Viseme 都针对虚拟形象的一个特定几何形态目标，从而影响该目标在模型上的表达量。我们可以利用口型同步生成与所说或所听内容同步的逼真唇部动作。这可以改善向应用程序填充虚拟形象时所用的视觉提示，无论该形象是用户控制角色还是非玩家角色 (NPC)。

口型同步系统分别映射 15 个 Viseme 目标：sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh 以及 ou。Viseme 描述说出相应语音时产生的面部表情。例如，Viseme“sil”对应沉默/无声的表情，“PP”对应 Popcorn（爆米花）的第一个音节，而“FF”对应 Fish（鱼）的第一个音节。各 Viseme 的示意图像，请参阅 Viseme 参考图像。

选中的这 15 个 Viseme 可实现最大范围的唇部动作，并且不限语言。更多信息，请参阅 Viseme MPEG-4 标准⁠。

口型同步动画示例

下方动画图像展示了如何使用口型同步说出“Welcome to the Oculus Lipsync demo”。

笑声检测

口型同步 1.30.0 及更高版本支持笑声检测功能，可帮助您为虚拟形象添加更多个性和情感。

下方动画展示笑声检测示例。

下文介绍使用口型同步插件进行 Unity 开发的要求以及下载和设置方法。

要求

口型同步 Unity 集成要求使用针对 Android 或 Windows 平台的 Unity 5.x 专业版、个人版或更高版本，并且能够在 Windows 7、8 或 10 上运行。目前也支持 OS X 10.9.5 及更高版本。推荐版本的详细信息，请参阅 Unity 兼容性和要求。

下载和导入

请按照以下步骤，下载口型同步 Unity 集成并将其导入 Unity 项目。

请在 Oculus 口型同步 Unity 页面下载 Oculus 口型同步 Unity 程序包。

提取压缩归档文件。

在 Unity 编辑器中打开项目，或创建一个新项目。

在 Unity 编辑器中，选择资产 > 导入包 > 自定义包

在第一步中提取并导入的归档文件中，选择 LipSync\UnityPlugin 子文件夹中的 OVRLipSync.unity 包。导入包对话框打开时，选中所有资产并点击导入。

注意：我们建议在导入口型同步 Unity 集成的新版本之前，删除之前导入的任何版本。

如果您希望同时使用 OVRVoiceMod 和 OVRLipsync 插件，则应安装 Unity 统一包。

主题导览

描述	主题
使用 Oculus 口型同步	使用 Oculus 口型同步包
使用预先计算的 Viseme 来提高性能	Unity 的 Viseme 预计算指南
口型同步示例	在 Unity 中探索 Oculus 口型同步示例
Viseme 参考图片	Viseme 参考