Unity用Movement SDK - 概要
更新日時: 2025/12/12
Unity用Movement SDKは、ボディトラッキング、フェイストラッキング、アイトラッキングを使用して、ユーザーの体の動きをメタバースに反映させ、ソーシャルエクスペリエンスを高めます。トラッキングが提供する抽象化されたシグナルを使用すると、キャラクターにアニメーションを付けてそのソーシャルプレゼンスを高め、単なるボディ表現にとどまらない機能を提供できます。
ボディトラッキング APIは、手、コントローラー、ヘッドセットの動きを使って、ユーザーのボディポーズを推測します。これらのボディポーズは3次元空間における変換として表され、それらを組み合わせたものがボディトラッキング骨組みとなります。
これは毎秒多数の静止画で構成される動画のように動作します。ボディトラッキングAPIを繰り返し呼び出すことにより、ヘッドセットを着用している人の動きを推測することができます。
ボディトラッキングの使用例は以下のとおりです。
- ボディトラッキング関節を使うことで、人の動きを分析して、姿勢や運動フォームへの適合度を判定できます。
- 骨組みの関節をキャラクターリグにマッピングすることによって、ゲームプレイや本番アニメーションで人間の動きを反映するように、キャラクターにアニメーションを付けることができます。
- 同じように、ゲームプレイでボディ関節データを使うことによって、ターゲットにヒットしたり、プレイヤーが発射物を避けたかどうかを検出したりすることができます。
- ボディポーズは、通常はヒューマノイドリグにマッピングされますが、それらをプレイ不可能なキャラクターにマッピングすることもできます。
- 調査や操作性の研究のために、アプリやゲームを操作しながらユーザーの体の動きに関するデータを収集することができます。ただし、適切な注意を払いながら行う必要があります。
フェイストラッキングAPIは、内向きカメラを使って顔の表情の動きを検出する機能です。Meta Quest 3など、内向きカメラのないデバイスの場合、フェイストラッキングはマイクからの音声によって顔の動きを推定します。こうした動きは、フェイシャルアクションコーディングシステム(FACS)に基づいて、いくつかの表情に分類されます。
このリファレンスでは、眉毛を上げる、鼻にしわを寄せるなど、一般的な顔の筋肉の動きと、これらの動きを複数組み合わせた表情とに分けています。例えば笑顔の場合、左右の口角が上がるだけでなく、頬が動いたり、目が少し閉じたりするかもしれません。そのため一般的には、複数のモーションを同時に組み合わせて使用します。
これを没入感アプリやブレンドアプリ(VRやAR/MR)で実現するための一般的な方法として、複数のモーションをブレンドシェイプ(モーフターゲットとも呼ばれる)として表し、顔がこのアクションを表現している度合を指定する方法が挙げられます。
フェイストラッキングAPIでは、それぞれの表情を、定義されたブレンドシェイプとそのブレンドシェイプの度合を指定して伝えます。
フェイストラッキングの使用例は次のとおりです。
- ブレンドシェイプを直接解釈することにより、ユーザーが目を開いているか、瞬きしているか、微笑んでいるかを判断できます。
- ブレンドシェイプを組み合わせてキャラクターにリターゲティングすることで、自然な表情を表現することもできます。
Meta Quest ProのアイトラッキングAPIは、目の動きを検出するためのAPIです。これにより、ユーザーが周囲を見回すと、Eye Gaze APIによってユーザーの化身キャラクターの目の変換がスムーズに行われます。
アイトラッキングの使用例は次のとおりです。
- APIが提供する抽象化された視線表現(片目ごとの視線状態)により、ユーザーのキャラクター表現が、別のユーザーとアイコンタクトを取ることができます。それにより、ユーザーのソーシャルプレゼンスを大幅に向上する可能性があります。
- また、アイトラッキングを使うことによって、その人が3Dスペースのどこを見ているかを判断することもできます。それにより、ゲームの中の興味のある領域やターゲットの対象領域をよく理解することができます。
ヘッドセットとトラッキング機能の互換性については、以下の表をご覧ください。ボディトラッキングは、リストに記載されているすべてのヘッドセットでサポートされています。
| ヘッドセット | フェイストラッキング | アイトラッキング |
|---|
Quest 2 | Audio to Expressionsのみ | なし |
Quest Pro | Visual to ExpressionsとAudio to Expressions | あり |
Quest 3 | Audio to Expressionsのみ | なし |
Quest 3Sと3S Xbox Edition | Audio to Expressionsのみ | なし |