アプリスペースワープ

• 技術的概要 - AppSWの詳細な概要について説明します
• APIと統合についての注意事項 - エンジンとネイティブのどちらのアプリ開発者も、開発を始める前に知っておいたほうがよい重要な注意事項について説明します。
• メモリの要件 - AppSWを使う際のメモリに注意事項について説明します。
• トラブルシューティング - テストとデバッグについての情報、そして既知の問題点や近日公開予定の機能についての情報が含まれています。
• ベストプラクティス - AppSW実装時のベストプラクティスについて説明します。

1. 現行フレームと先行フレームの両方について、頂点シェーダーが、あらゆるオブジェクトの各頂点をクリップ空間に変換します。
2. フラグメントシェーダーが、先行フレームと現行フレームの位置を受け取り、それらをNDC空間に変換します。モーションベクトルは、2つの値の差に過ぎません。

 /// <vertex shader>
out vec4 currentClipPos;
out vec4 prevClipPos;
void main()
{
  ...
  currentClipPos = ViewProjectionMatrix[viewId] * (LocalToWorld * localVertPos);
  prevClipPos = PrevViewProjectionMatrix[viewId]* (PrevLocalToWorld * prevVertPos);
  gl_Position = currentClipPos;
}

 /// <fragment shader>
in vec4 currentClipPos ;
in vec4 prevClipPos;
out highp vec4 outMotionVector;
void main()
{
   vec3 CurrentNDC = currentClipPos.xyz / currentClipPos.w;
   vec3 PrevNDC = prevClipPos.xyz / prevClipPos.w;
   outMotionVector.xyz =  (CurrentNDC  - PrevNDC);
   outMotionVector.w = 0.0f;
}

1. フレーム外挿 - ランタイムは、モーションベクトルデータを使うことによって、ピクセルが次のフレーム内のどの位置になるかを予測できます。ランタイムは、ピクセルを合成フレームの中の予測位置に移動することにより、合成処理の一部としてコンポジターの中でこの作業を行います。
2. 深度ベースの再投影(位置タイムワープ) - タイムワープは、Questにおいて当初から利用可能になっています。タイムワープでは、合成段階で最新のHMDポーズを用いてアイバッファを再投影することにより、ヘッド回転遅延を軽減します。タイムワープは、合成ソフトウェアスタックの中で最も重要なテクノロジーの1つであり、Questのあらゆるアプリで自動的に有効になります。しかし、アプリから深度が送信されていなかったため、タイムワープはピクセルがどれだけ離れているかを把握できず、再投影は回転の修正だけに限定されていました。そのため、合成段階ではHMD変換の修正がなされていないということになります。深度バッファがアプリから送信されると、深度ベースの再投影によりHMD変換遅延も低減できます。その結果、位置タイムワープという、タイムワープのさらに高度なバージョンが実現します。AppSWの下でアプリは半分のレートでレンダリングするため、継承されるHMDレンダリング遅延は、アプリが最大FPSで実行される場合に比べて大きくなる傾向にあります。位置タイムワープを使うとHMDレンダリング遅延を大幅に低減できるため、AppSWを使わないフルFPSアプリより遅延が少なくなります。

09-13 22:11:30.350  4270  4365 I VrApi   : FPS=36/72,Prd=39ms,Tear=0,Early=0,Stale=0,VSnc=0,Lat=-3,Fov=0D,CPU4/GPU=3/3,1382/490MHz,OC=FF,TA=0/0/0,SP=N/N/N,Mem=1353MHz,Free=2868MB,PLS=1,Temp=44.5C/0.0C,TW=1.86ms,App=11.42ms,GD=0.00ms,CPU&GPU=20.90ms,LCnt=1,GPU%=0.55,CPU%=0.18(W0.25),DSF=1.00
09-13 22:11:30.351  4270  4365 I VrApi   : ASW=72, Type=App E=-0.000/0.250,D=0.000/0.000

• FPS=36/72 - アプリが半FPSモードで実行されていることを示します。
• ASW=72, Type=App - AppSWが有効になっていること、また直前の1秒間に72 ASWフレームが存在することを示します。

• FPS - アプリによって送信される1秒あたりのフレーム数(ASWフレームを含まない)。ASWが有効な72 FPSアプリの場合、これが36であることが予期されます。
• ASW FPS - アプリによって送信される1秒あたりのフレーム数(ASWフレームを含む)。ASWが有効な72 FPSアプリの場合、これが72であることが予期されます。ASWが無効のアプリの場合、これが0であることが予期されます。
• ASW TYPE - この値が0でない場合、ASWが有効になっています。

• モーションベクトルをレンダリングしないマテリアルを持つオブジェクトは、AppSW生成のフレームでは動かないため、表示が途切れたりします。
• AppSWでは透明なオブジェクトを扱うのは難しいです。AppSWのアルゴリズムは各ピクセルが一方向に動くシナリオだけをサポートしています。透明なオブジェクトとその背後にある不透明なオブジェクトを含むピクセルは二方向に「動く」ことが想定されています。

• RenderDoc for Oculusでキャプチャされたフレームのオフライン分析を行うことができます。これにより、モーションベクトルバッファ内のすべてのドローコールを1ステップずつ実行して、欠けている個々の呼び出しや予期せぬ値を分析することができます。
• 次のコマンドでモーションベクトルバッファをリアルタイムでスクリーンにレンダリングすることができます。(ワンクリックアプリケーションの場合は、Meta Quest開発者ハブのカスタムコマンドを使えます。)

  adb shell setprop debug.oculus.spaceWarpDebug 1 && adb shell setprop debug.oculus.MVOverlay 4 && adb shell setprop debug.oculus.MVOverlay.Alpha 0.8 && adb shell input keyevent "KEYCODE_POWER" && adb shell input keyevent "KEYCODE_POWER"
  
  Explanation of commands

  コマンド	動作
  setprop debug.oculus.spaceWarpDebug 1	アプリスペースワープデータのデバッグレンダリングを有効にします。
  setprop debug.oculus.MVOverlay 4	オーバーレイでレンダリングするデータ/スタイルを選択します。指定可能なその他の値については、次の表を参照してください。
  setprop debug.oculus.MVOverlay.Alpha 0.8	アプリスペースワープデータオーバーレイの不透明度を設定します。必要に応じて修正してください。
  input keyevent "KEYCODE_POWER"	Meta Questヘッドセットの電源ボタンの長押しと同じです。これを再び行うとヘッドセットが再起動し、OSが新しいバッファを設定してオーバーレイを表示できるようにします。

  有効なMVOverlay値

  #	出力	説明
  1		MotionVectorバッファを直接レンダリングします。負の軸での動きはこのビューでは見えないことに注意してください。
  2		深度バッファをレンダリングします。AppSWは深度バッファを使用してエッジを特定します。
  3		MotionVectorバッファをレンダリングし、乗算してコントラストがより高くなるようにし、小さな動きを特定しやすくします。負の軸での動きはこのビューでは見えないことに注意してください。
  4		MotionVectorバッファをレンダリングし、乗算して動かし、モーションがないものをグレーでレンダリングします。これは、ゼロ以外のすべての動きが容易に見えるようにすることを目的としています。

  オーバーレイが有効になっている間、シーン周辺のプレイヤーカメラのデータを変換します。カメラがデータを変換するのに合わせて、またはカメラがワールド内で動くのに合わせて、オブジェクトが「ライトアップ」します、つまり、カメラに近いオブジェクトがより濃い色で「ライトアップ」します。オブジェクトが「ライトアップ」しない場合、またはオーバーレイがシルエットとマッチしない場合、AppSWのレンダリング動作に問題があることを示しています。
  デバッグが終わったら、次のコマンドを実行してモーションベクトルバッファのレンダリングを停止してください。(Meta Quest開発者ハブのカスタムコマンドでも構いません。)

  adb shell setprop debug.oculus.spaceWarpDebug 0 && adb shell input keyevent "KEYCODE_POWER" && adb shell input keyevent "KEYCODE_POWER"
  

   currentClipPos = ViewProjectionMatrix[viewId] * (LocalToWorld * currAnimatedPos);
  prevClipPos = PrevViewProjectionMatrix[viewId]* (PrevLocalToWorld * prevAnimatedPos);

   currentClipPos = ViewProjectionMatrix[viewId] * (LocalToWorld * currAnimatedPos);
  prevClipPos = PrevViewProjectionMatrix[viewId]* (PrevLocalToWorld * currAnimatedPos);