Application SpaceWarp開発者ガイド

• OpenXR OVRPlugin v34以上。
• 最新のリリースであるUnity OpenXRプラグイン (Meta XR SDKs v74+用のプロジェクトに推奨)、またはOculus XRプラグイン。

• SpaceWarpのサポートがあるURP。Oculusが保守しているURPのフォークをインストールし、それによりSpaceWarpのサポートを追加する方法については、以下のセクションの中から、該当するUnityバージョンに適したものを展開してください。
• Unity 2022.3.15f1以降、Unity 6000.0.9f1以降、Unity 6000.4.0f1以降(推奨)
  • 注: 安定しているUnityリリースの最新バージョンを常に入手することをおすすめします。該当するURPバージョンで最低限必要とされるバージョンは2022.3.24ですが、マイナーバージョンが何であれ、安定している最新のバージョンを常に入手するようにしてください。

"com.unity.render-pipelines.core": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.core#2022.3/14.0.8-oculus-app-spacewarp",
"com.unity.render-pipelines.universal": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.universal#2022.3/14.0.8-oculus-app-spacewarp",
"com.unity.shadergraph": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.shadergraph#2022.3/14.0.8-oculus-app-spacewarp"
  

"com.unity.render-pipelines.core": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.core#2022.3/14.0.9-oculus-app-spacewarp",
"com.unity.render-pipelines.universal": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.universal#2022.3/14.0.9-oculus-app-spacewarp",
"com.unity.shadergraph": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.shadergraph#2022.3/14.0.9-oculus-app-spacewarp"
  

"com.unity.render-pipelines.core": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.core#2022.3/14.0.10-oculus-app-spacewarp",
"com.unity.render-pipelines.universal": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.universal#2022.3/14.0.10-oculus-app-spacewarp",
"com.unity.shadergraph": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.shadergraph#2022.3/14.0.10-oculus-app-spacewarp"
  

"com.unity.render-pipelines.core": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.core#6000.0/oculus-app-spacewarp",
"com.unity.render-pipelines.universal": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.universal#6000.0/oculus-app-spacewarp",
"com.unity.shadergraph": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.shadergraph#6000.0/oculus-app-spacewarp"
  

"com.unity.render-pipelines.core": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.core#6000.4/oculus-app-spacewarp",
"com.unity.render-pipelines.universal": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.render-pipelines.universal#6000.4/oculus-app-spacewarp",
"com.unity.shadergraph": "git+https://github.com/Oculus-VR/Unity-Graphics.git?path=/Packages/com.unity.shadergraph#6000.4/oculus-app-spacewarp"
  

1. [Project Settings (プロジェクト設定)] > [Player (プレイヤー)] > [Android] > [Other Settings (その他の設定)] > [Graphics APIs]の順に進み、Graphics APIがVulkanのみになっていることを確認します。AppSWは他のGraphics APIではサポートされていません。
2. プロジェクトのOpenXRプラグインでApplication SpaceWarpを有効にします。
   • 推奨されるUnity OpenXRプラグインを使用する場合は、[Project Settings (プロジェクト設定)] > [XR Plug-in Management (XRプラグイン管理)] > [OpenXR] > [All Features (すべての機能)]で、[Meta XR Space Warp]が有効になっていることを確認します。
   • 廃止されたOculus XRプラグインを使用する場合は、[Project Settings (プロジェクト設定)] > [XR Plug-in Management (XRプラグイン管理)] > [Oculus] > [Android] > [Experimental (テスト機能)]で、[Application SpaceWarp (Vulkan)]が有効になっていることを確認します。
3. 特定のフレームに対してAppSWレンダリングを有効にするには、Meta XR Core SDKのAPI、OVRManager.SetSpaceWarpを使います。そのオン/オフはランタイム中にいつでも切り替えられます。SpaceWarpをオンにしたまま決してオフにしないようにするには、最初のフレームでこのAPIを呼び出すだけで十分です。ただし、実行時にメインのカメラを変更する場合はいつも、メインのカメラのポジションの変更がランタイムに必ず伝送されるように、OVRManager.SetSpaceWarpを呼び出すことが重要です。

1. モーションベクトルパス(MotionVecPass)
2. パスがキューに入れられる方法、およびパスの特定のプロパティ(ビュー投影マトリクス、カリング結果など)
3. モーションベクトルパスに対応するシェーダー

1. OVRManager.EnableSpaceWarp(false)を呼び出していた場合。これによりAppSWは再び有効にするまで無効になります。その場合、motionVectorRenderTargetValidからはfalseが返されます。
2. テクスチャーが有効でないことを意味するその他の理由。例えば、UnityでAppSWチェックボックスにチェックマークを付けるのを忘れた場合。

1. レンダリングターゲットアタッチメントを設定する。
   • 結局のところこれは、レンダリング作業の直前に発生するSetRenderTarget⁠のURP呼び出しにおいて、これらのモーションベクトルの色+深度アタッチメントが設定されます。
   • 3Dモーションベクトルデータを色テクスチャーのR、G、Bの各チャネルに書き込み、深度バッファデータについては単にこのレンダリングパスでの深度バッファの通常の用法により記録されます。
2. カメラ関連(下記の次セクション参照)など、特定の統一バッファプロパティを、C# API SetGlobalMatrixArray⁠を通じて設定する。
3. 最後に、レンダリングスレッド上でレンダリング作業をプッシュし、それにより実際にモーションベクトルパスのレンダリングがなされる。

1. ビュー投影マトリクス(およびその他のカメラマトリクス)は同一でなければなりません。
   • 相違があると、投影が異なるものとなり、AppSWアルゴリズムがモーションベクトルに正しく適用されなくなります。
2. レイトラッチングのオン/オフ。これは一種の1の部分集合です。レイトラッチングはビュー投影とobjectToWorldのマトリクスにのみ影響するとはいえ、パスの1つでレイトラッチングを使っているなら結局はその他でもそれを使う必要があるからです。
   • その理由を理解するため、アイテクスチャーレンダリングパスではレイトラッチングを有効にする一方、モーションベクトルレンダリングパスでは無効になっているとうなるかを考えてみましょう。その場合、アイテクスチャーレンダリングパスは結局レイトラッチング低レイテンシーのビュー投影マトリクスでレンダリングされますが、モーションベクトルレンダリングパスは高レイテンシーの非レイトラッチングマトリクスでレンダリングされることになります。そうなると、モーションベクトルパスとアイテクスチャーパスが実際に揃わなくなり、モーションベクトルが誤ったものになってしまいます。
   • これを回避するには、統一バッファでの最終結果マトリクスが、モーションベクトルパスの中で、常にアイテクスチャーパスと同じであるようにします。

• Unity OpenXRプラグインを使っている場合、Unity OpenXRプラグインのメニューで、深度の送信モードを深度16ビットまたは24ビットに設定してください。
• Oculus XRプラグインの場合は、[Depth Submission (Vulkan) (深度の送信 (Vulkan))]チェックボックスにチェックを入れる必要があります。

カスタムシェーダー

1. 該当するUnityバージョンに合わせて、プラグイン、エンジン、URPのバージョンを選択します。
2. SpaceWarpは、Meta XR Core SDKのOVRManager.SetSpaceWarp APIを使うことによりフレームごとにオン/オフできます。簡単にまとめると、このAPIを呼び出してSpaceWarpをオンに設定したら、SpaceWarpが有効にされた状態ですぐにシーンか領域に入ります。そして、そのシーンから立ち去る時またはSpaceWarpを無効にする時にオフにします。このAPIの結果はURPでも値if(cameraData.xr.motionVectorRenderTargetValid)で知ることができ、SpaceWarpが有効なフレームでは値はtrue、無効なフレームでは値はfalseになるので、とても便利です。そのようにして、URP側のレンダリング作業を制御して、SpaceWarpがオンの場合にのみ実行されるようにすることができます。
3. シェーダーを変更していないURPを使っている場合は、フォークされたブランチをプロジェクトに追加するだけで先に進むことができます。URPを使用していて、独自のシェーダーを作成している場合は、Unity-AppSpaceWarpサンプルプロジェクトにおけるCustomShadersシーン⁠に従ってシェーダーを変更して、AppSWをサポートするようにできます。カスタマイズしたSRPを使っている場合は、上記の変更点を確認して、自分のモーションベクトルパスを作成します。正しいシェーダーを使用し、目のテクスチャーパスに合った適切な行列を設定してください。
4. シェーダーのカスタマイズ度が大きいほど、SpaceWarpを有効にするための作業が多くなります。しかし、モーションベクトルレンダリングの概念をしっかり理解し、それが直前フレームの頂点位置を変換してクリップスペースにしたものと、現行フレームの対応するものとの差を計算することであるということが分かっていれば、カスタム版も含めてほぼどんなシェーダーでもモーションベクトルをサポートするようにシェーダーを拡張することができます。

1. forkリポジトリの同じブランチのプロジェクトに移動します。そのパスはTestProjects/OculusAppSpaceWarpSampleです。Questアプリをビルドする際に通常するようにしてプロジェクトをAndroidプラットフォームに切り替えます。
2. アセットストアからMeta XR Core SDKをインポートするか、Meta XR All-in-One SDKバンドルから入手します。
   インポートするフォルダーを選ぶ際には、今のところVRフォルダーのみを選びます。このサンプルプロジェクトは、その他のフォルダーに依存していないからです。
   インポート時には、更新のプロンプトに従い、OpenXRに対してYESを押します。OpenXRバックエンドのAppSWのみがサポートされているからです。Unityを再開するよう促されます。
   注: Oculus XRプラグインは、OpenXRバックエンドを使っています。
3. 確認ですが、この時点でUnity内のディレクトリ構造は正確に次のようになっているはずです。そうなっていない場合は、上記の手順のどこかで間違っています。
   
4. ここで、左から5番目のアイコンであるScenePackage.unitypackageをダブルクリックします。それをダブルクリックすると、シーン+スクリプトの組み合わせがインポートされます。
5. 最後にシーンScenePackage/SpaceWarpScene.unityを開きます。プレイヤー設定領域はこのようになっているはずです。そして、XRプラグイン領域のOculus設定は次の画像のようになっているはずです。このようになっているなら、APKをビルドする準備ができていることになります。

1. 単に通常のようにしてアプリを開き、Bのオン/オフを切り替える。バックグラウンドでタブによるadb logcat -s VrApiの実行が継続されるようにするか、またはOVRMetricsToolを使うこともできます。SpaceWarpがオンの場合、フレームごとのVrApiログ行にASW=<FPS>ログ行があり、それによりSpaceWarpの実行状況を知ることができます。この場合、SpaceWarpが動作していることを見る上で視覚的に重要な点は、シーンにはほとんどまたは全く影響がないこと、それでもVrApi出力の中のFPS=行からFPSが半レート(36 FPS、頻度45/90の場合は実際の本番アプリで45)であることを確認できるということです。それで、これはSpaceWarpが動作していることを確認するための優れたテストと言えます。半フレームレートでも高品質のレンダリングが動作していることを確認できるからです。
2. (推奨)アプリを閉じ、それを開く前に次を実行します。

adb shell setprop debug.oculus.sysPropDebug 1
adb shell setprop debug.oculus.swapInterval 2
adb shell input keyevent 26

adb shell input keyevent 26