開発

Unreal EngineのOculusリップシンク

更新日時: 2026/04/17

End-of-Life Notice for Oculus Lipsync Plugin

Oculusリップシンクプラグインは終了段階にあり、今後アップデートやサポートは行われません。音声駆動のリップシンクの場合、Movement SDKは、音声ベースのフェイストラッキングを通じて同等の口形素機能を提供し、XR_META_face_tracking_visemesOpenXR拡張機能を介して同じ15種類の口形素を提供します。

Movement SDKのOculusXRMovementモジュールは、ビジュアルベースのフェイストラッキング(Meta Quest Pro)と音声ベースのフェイストラッキング(Meta Quest 2以降)の両方をサポートします。音声ベースのフェイストラッキングは、音声入力から口形素を生成し、Oculusリップシンクプラグインからの移行経路を提供します。

このドキュメントが今後更新されることはなく、削除される場合もあります。

Oculusリップシンクは、WindowsまたはmacOSでアバターの唇の動きを話し声や笑い声に同期させるために使えるUnreal Engineプラグインを提供します。リップシンクは、マイク入力や音声ファイルからの音声入力ストリームを分析し、特定の音声に対応する唇の動きや顔の表情を示す一連の値(口形素と呼ばれる)を予測します。口形素という用語は、読唇を説明するときに使用され、明瞭度の基本となる視覚的な単位です。コンピューターアニメーションでは、口形素を使って、アバターが話しているようにアニメーションを付けることができます。

リップシンクは、特定の音声入力ストリームに基づき、口形素のレパートリーを使用してアバターを変化させます。各口形素は、アバターの特定のジオメトリモーフターゲットを対象とし、そのターゲットがモデルで表現される量に影響します。リップシンクを使用すると、話している内容または聞こえている内容と同期したリアルな唇の動きを生み出すことができます。これによって、ユーザーが操作するキャラクターであれ、ノンプレイヤーキャラクター(NPC)であれ、アプリケーションにアバターを入れる際に使用できる視覚的なキューを充実させることができます。

リップシンクシステムにより、15の個別の口形素ターゲット(sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh、ou)にマップされます。これらの口形素は対応する音声が発生されたときの顔の表情を示します。例えば、口形素silは声を出さないニュートラルな表現に対応し、PPは「popcorn」の最初の音節の発音に、FFは「fish」の最初の音節に対応します。各口形素を表す図については、口形素のリファレンス画像をご覧ください。

これら15の口形素は、唇の動きを最大限に表せるよう選択されたもので、言語に依存しません。詳しくは、口形素のMPEG-4規格⁠をご覧ください。

アニメーションを付けたリップシンクの例

次のアニメーション画像は、リップシンクを使用して「Welcome to the Oculus Lipsync demo」と発声する口の動きを表現した例です。

笑い声の検出

リップシンクバージョン1.30.0以降では笑い声の検出に対応しているため、より細かな個性や感情をアバターで表現することができます。

次のアニメーションは、笑い声の検出の例です。

要件

OculusリップシンクUnrealプラグインには、Unrealエンジン4.20以降と互換性があり、Android、Windows、macOSのプラットフォームを対象としています。推奨バージョンについては、Unrealエンジンガイドをご覧ください。

ダウンロードと設定

UnrealプロジェクトでLipsyncを使い始めるための手順は、次のとおりです。

ダウンロードページからOculusリップシンクUnrealパッケージをダウンロードします。

zipアーカイブを解凍します。

OVRLipSync.uprojectが含まれているOVRLipSyncフォルダーを、自分のUnrealエンジンプラグインのフォルダーにコピーします。

[download-dir]\LipSync\UnrealPlugin\OVRLipSyncDemo\PluginsからOVRLipSyncフォルダーを見つけます。

多くの場合、Unrealプラグインのフォルダーは[Install-Directory]\Epic Games\UE_x.xx\Engine\Pluginsの下にあります。たとえば、Unrealバージョン4.20のWindows版の場合、このフォルダーはC:\Program Files\Epic Games\UE_4.20\Engine\Pluginsにあります。

Unrealエンジンで新しいプロジェクトを作成するか、または既存のプロジェクトを開きます。[Edit (編集)]メニューから、[Plugins (プラグイン)]、そして[Audio (音声)]を選びます。[Oculus Lipsync (Oculusリップシンク)]プラグインがオプションの1つとして表示されているはずです。[Enabled (有効)]を選び、プロジェクトでこのプラグインを有効にします。

以下の画像に例を示します。

あるいは、UnrealエンジンでOVRLipSync.uprojectを開くこともできます。

トピックガイド

説明	トピック
Oculusリップシンクの使用	Oculusリップシンクパッケージの使用
プリコンピューティングされた口形素を使用してパフォーマンスを上げる	Unrealエンジンの口形素プリコンピューティングガイド
リップシンクのサンプル	Unrealサンプルを使用してOculusリップシンクを理解する
口形素のリファレンス画像	口形素のリファレンス