Oculus 口型同步提供用于 Windows 或 macOS 的 Unreal Engine 插件，可用来将虚拟形象的唇部动作与声音和笑声同步。口型同步分析来自麦克风输入或音频文件的音频输入流，并预测一组名为 Viseme 的值，即与特定语音相对应的口型和面部表情。Viseme 这个术语在讨论读唇语时使用，是可理解性的基本视觉单位。在电脑动画中，为了让动画人物看起来像在说话，可能会为它们使用 Viseme。

口型同步使用 Viseme 集，根据特定音频输入流修改虚拟形象。每个 Viseme 都针对虚拟形象的一个特定几何形态目标，从而影响该目标在模型上的表达量。我们可以利用口型同步生成与所说或所听内容同步的逼真唇部动作。这可以改善向应用程序填充虚拟形象时所用的视觉提示，无论该形象是用户控制角色还是非玩家角色 (NPC)。

口型同步系统分别映射 15 个 Viseme 目标：sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh 以及 ou。Viseme 描述说出相应语音时产生的面部表情。例如，Viseme sil 对应沉默/无声的表情，PP 对应 Popcorn（爆米花）的第一个音节，而 FF 对应 Fish（鱼）的第一个音节。各 Viseme 的示意图像，请参阅 Viseme 参考图像。

选中的这 15 个 Viseme 可实现最大范围的唇部动作，并且不限语言。更多信息，请参阅 Viseme MPEG-4 标准⁠。

口型同步动画示例

下方动画图像展示了如何使用口型同步说出“Welcome to the Oculus Lipsync demo”。

笑声检测

口型同步 1.30.0 及更高版本支持笑声检测功能，可帮助您为虚拟形象添加更多个性和情感。

下方动画展示笑声检测示例。

要求

Oculus 口型同步 Unreal 插件与 Unreal Engine 4.20 或更高版本兼容，面向 Android、Windows 和 macOS 平台。有关推荐版本的更多信息，请参阅 Unreal Engine指南。

下载和设置

要在 Unreal 项目中开始使用口型同步：

从下载页面下载 Oculus 口型同步 Unreal 程序包。

提取压缩归档文件。

将 OVRLipSync 文件夹（其中包含 OVRLipSync.uproject）复制到 Unreal Engine 插件文件夹。

在以下位置找到 OVRLipSync 文件夹：[download-dir]\LipSync\UnrealPlugin\OVRLipSyncDemo\Plugins。

通常可在以下位置找到 Unreal 插件文件夹：[Install-Directory]\Epic Games\UE_x.xx\Engine\Plugins例如，若是 Windows 上的 Unreal Engine 4.20，即可在以下位置找到此文件夹：C:\Program Files\Epic Games\UE_4.20\Engine\Plugins。

在 Unreal Engine 中创建新项目或打开现有项目。从 Edit（编辑）菜单中选择 Plugins（插件），然后选择 Audio（音频）。此时应该会显示 Oculus Lipsync（Oculus 口型同步）插件选项选择 Enabled（启用）为项目启用插件。

参见以下示例图片。

使用 Unreal Engine 也可打开 OVRLipSync.uproject。

主题导览

描述	主题
使用 Oculus 口型同步	使用 Oculus 口型同步程序包
使用预计算的 Viseme 来提高性能	Unreal Engine 版 Viseme 预计算指南
口型同步示例	通过 Unreal 示例探索 Oculus 口型同步
Viseme 参考图片	Viseme 参考