Unity開発用Oculusリップシンク

End-of-Life Notice for Oculus Spatializer Plugin

Oculus Spatializerプラグインは、Meta XR Audio SDKに置き換えられ、現在はサポート終了段階にあります。v47以降については、サポートは提供されません。このプラグインの使用を停止することを強くおすすめします。お使いのエンジンに対応したMeta XR Audio SDKのドキュメントに移動してください。
- Unity Native用Meta XR Audio SDK
- FMODおよびUnity用Meta XR Audio SDK
- WwiseおよびUnity用Meta XR Audio SDK
- Unreal Native用Meta XR Audio SDK
- FMODおよびUnreal用Meta XR Audio SDK
- WwiseおよびUnreal用Meta XR Audio SDK

このドキュメントが今後更新されることはなく、削除される場合もあります。

Oculusリップシンクは、WindowsまたはmacOSでアバターの唇の動きを話し声や笑い声に同期させるために使用できるUnityプラグインを提供します。リップシンクは、マイク入力や音声ファイルからの音声入力ストリームを分析し、口形素と呼ばれる一連の値を予測します。このようにして、特定の音声に対応する唇の動きや顔の表情を実現します。口形素という用語は、読唇を説明するときに使用され、明瞭度の基本となる視覚的な単位です。コンピューターアニメーションでは、口形素を使って、アバターが話しているようにアニメーションを付けることができます。

リップシンクは、特定の音声入力ストリームに基づき、口形素のレパートリーを使用してアバターを変化させます。各口形素は、アバターの特定のジオメトリモーフターゲットを対象とし、そのターゲットがモデルで表現される量に影響します。リップシンクを使用すると、話している内容または聞こえている内容と同期したリアルな唇の動きを生み出すことができます。これによって、ユーザーが操作するキャラクターであれ、ノンプレイヤーキャラクター(NPC)であれ、アプリケーションにアバターを入れる際に使用できる視覚的なキューを充実させることができます。

リップシンクシステムにより、15の個別の口形素ターゲット(sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh、ou)にマップされます。これらの口形素は対応する音声が発生されたときの顔の表情を示します。例えば、口形素silは声を出さないニュートラルな表現に対応し、PPは「popcorn」の最初の音節の発音に対応し、FFは「fish」の最初の音節に対応します。各口形素を表す図については、「口形素のリファレンス画像」をご覧ください。

これら15の口形素は、唇の動きを最大限に表せるよう選択されたもので、言語に依存しません。詳しくは、口形素のMPEG-4規格⁠をご覧ください。

アニメーションを付けたリップシンクの例

次のアニメーション画像は、リップシンクを使用して「Welcome to the Oculus Lipsync demo」と発声する口の動きを表現した例です。

笑い声の検出

リップシンクバージョン1.30.0以降では笑い声の検出に対応しているため、より細かな個性や感情をアバターで表現することができます。

次のアニメーションは、笑い声の検出の例です。

以降のセクションでは、Unity用Oculusリップシンクプラグインを使用して開発を行うための要件、ダウンロード、設定について説明します。

要件

リップシンクUnity統合には、Android用またはWindows 7、8、10を実行するWindowsプラットフォーム用のUnity ProfessionalまたはPersonalバージョン5.x以降が必要です。現在はOS X 10.9.5以降もサポートしています。おすすめバージョンについて詳しくは、「Unity互換性と要件」をご覧ください。

ダウンロードとインポート

リップシンクUnity統合をダウンロードし、Unityプロジェクトにインポートするには、次の手順を実行してください。

Oculus Lipsync UnityページからOculusリップシンクUnityパッケージをダウンロードします。

zipアーカイブを解凍します。

Unityエディターで既存のプロジェクトを開くか、新しいプロジェクトを作成します。

Unityエディターで[Assets (アセット)] > [Import Package (パッケージをインポート)] > [Custom Package (カスタムパッケージ)]と選択します。

最初の手順で解凍してインポートしたアーカイブのLipSync\UnityPluginサブフォルダーにある、OVRLipSync.unityパッケージを選択します。[Importing Package (パッケージのインポート)]ダイアログが開いたら、すべてのアセットを選択状態のままにして、[Import (インポート)]をクリックします。

注: リップシンクUnity統合の新しいバージョンをインポートする前に、それまでにインポートした旧バージョンをすべて削除することをおすすめします。

OVRVoiceModプラグインとOVRLipsyncプラグインを両方とも使用する場合は、Unity統合パッケージをインストールしてください。

トピックガイド

説明	トピック
Oculusリップシンクの使用	Oculusリップシンクパッケージの使用
プリコンピューティングされた口形素を使用したパフォーマンスの改善	Unityのための口形素プリコンピューティングガイド
リップシンクのサンプル	Unityサンプルを使用してOculusリップシンクを理解する
口形素のリファレンス画像	口形素のリファレンス