開発

プラットフォームを選択

Oculus Spatializerの機能

End-of-Life Notice for Oculus Spatializer Plugin

Oculus Spatializerプラグインは、Meta XR Audio SDKに置き換えられ、現在はサポート終了段階にあります。v47以降については、サポートは提供されません。このプラグインの使用を停止することを強くおすすめします。お使いのエンジンに対応したMeta XR Audio SDKのドキュメントに移動してください。
- Unity Native用Meta XR Audio SDK
- FMODおよびUnity用Meta XR Audio SDK
- WwiseおよびUnity用Meta XR Audio SDK
- Unreal Native用Meta XR Audio SDK
- FMODおよびUnreal用Meta XR Audio SDK
- WwiseおよびUnreal用Meta XR Audio SDK

このドキュメントが今後更新されることはなく、削除される場合もあります。

Oculus Spatializerが提供する機能には、トレードオフと回避策があります。このトピックでは、サポートされる機能、Oculus Audio SDKを使用して開発する際の考慮事項、オーディオツールでサポートされない機能について説明します。HRTFや距離のモデリングなどの概念の詳細については、3D空間化ガイドもご覧になるようおすすめします。

サポートされる機能

このセクションでは、Oculus Audio SDKによってサポートされる機能の概念について説明します。

空間化

空間化は、モノラル音源を変換して、それが目的の方向から発せられているかのように聞こえるようにするプロセスです。Oculus Audio SDKでは、頭部伝達関数(HRTF)を利用し、C/C++ SDKおよびプラグインを介して音声の空間化を提供します。注: Oculus Spatializerに渡されるすべての音声はモノラルである必要があります。ステレオレンダリングはMetaの空間化によって処理され、ご使用のゲームエンジンやライブラリで提供される追加のステレオレンダリングに重ねて適用することはできません。

オーディオ伝播

Oculus Audio SDKのオーディオ伝播機能は、ゲームの形状に基づくリアルタイムの残響およびオクルージョンのシミュレーションを提供します。この機能の目的は、最小限の設定で、シーン全体を通じて正確なオーディオ伝播を提供することです。これは、シミュレーションに含めるシーンメッシュにタグ付けして、各メッシュの音響マテリアルを選択するだけで行えます。

オーディオ伝播システムは、屋内および屋外両方の空間をモデル化します。非対称の空間をモデリングすることもできます。これは、従来の残響ソリューションとは異なる点です。これは、聞き手が屋内空間と屋外空間を行き来した場合に、追加のポータルや複数の残響設定を行わなくてもオーディオの移行が滑らかに行われることを意味します。

オーディオ伝播のシミュレーションについては、Meta Reality Labsのブログ投稿⁠をご覧ください

Oculus Connect 5⁠の講演でも、オーディオ伝播について触れられています。

ヘッドトラッキング

聞き手の頭の位置と方向をトラッキングすることで、正確な3D音声の空間化を行うことができます。聞き手が自分の頭を動かしたり回転させたりしても、仮想世界の固定の位置に音がとどまっているように聞こえます。

開発者は、ヘッドトラッキングをサポートするために、Oculus PC SDK ovrPosef構造をOculus Audio SDKに渡すことができます。あるいは、聞き手の空間における音源位置を渡し、姿勢情報を渡さないことで同じ効果を得ることもできます。

Deprecated API

ovrPosef構造は、廃止されたレガシーOculus PC SDKの一部です。現在のMeta XR Audio SDKでは、ヘッドトラッキングにmxra_pose構造(MetaXRAudio_Types.hで定義)を使用します。新しいプロジェクトを開始する場合は、Oculus Audio SDKではなくMeta XR Audio SDKを使用してください。

体積音源

音源に半径を指定することで、音に体積を持たせることができます。これにより音声が広がるため、音源が聞き手に近づき、聞き手を完全に包み込むと、音源空間全体に音声が広がります。これは大きなオブジェクトで特に便利です。体積音源がないと、オブジェクトが聞き手の近くにあっても非常に小さな音になるからです。詳しくは、こちらのブログ記事をご覧ください。

近接レンダリング

聞き手の頭に近接した音源は、その空間化の一部の側面が音源の距離に依存しないという特性を持ちます。Oculusの近接レンダリングでは、音波回折の効果を自動的に見積もって、1メートルより近い音源をより現実的に表現します。

環境モデリング

HRTFは方向の強力な手がかりを提供しますが、ルームエフェクトなしでは多くの場合、無味乾燥で、現実味がない音声になります。音源への距離に関する強力な手がかりを提供する上では、いくつかの環境の手がかり(初期反射や後期残響など)も重要です。

この件について詳しい情報は、環境モデリングガイドをご覧ください。

Oculusアンビソニックス

アンビソニックスとは、3D音場を表現する、マルチチャンネルのオーディオフォーマットです。これは、聞き手が中央にいる、オーディオのスカイボックスと考えることができます。これは、事前にレンダリングされたシーンやライブ録音されたシーンを再生するための、計算効率の高い方法です。その代償として、アンビソニックスの音声では、点音源HRTFによって処理される点音源に比べ、空間の明瞭さが低下しより不鮮明になります。アンビソニックスは、音楽や雰囲気音など、非物語世界の音に利用することをおすすめします。

Metaでは、球面調和関数によるデコーディングに基づく、アンビソニックスのバイノーラル(両耳)レンダリングの新しい方法を開発しました。仮想スピーカーを使用する一般的なレンダリング方法に比べて、この方法では周波数応答がよりフラットになり、外面化が向上し、不鮮明さが軽減され、使用するコンピューティングリソースも少なくてすみます。Oculus Audio SDKでは、AmbiX (ACN/SN3D)フォーマットの1次アンビソニックスをサポートしています。

Metaでは、開発者の利便性のために、Ambisonics Starter Packを提供しています(Oculusのダウンロードページで入手可能)。これには、Creative Commonsで使用許諾されている複数のAmbiX WAVファイルが含まれます。これらのファイルは、公園、水の流れる自然環境、屋内の空調、雨、都市の環境音、運転中の音などの環境の音風景を表します。

減衰と反射

減衰はゲームオーディオの重要な構成要素ですが、反射のある3D空間化では物事を複雑にします。

距離のシミュレーションでは正確な反射が最も重要な機能であり、正確な距離の手がかりを提供するためには、音の直接パスと反射の間に自然な均衡があることが非常に重要です。ルームモデルが反映するすべての反射パスの減衰を考慮する必要があります。

聞き手に近い音源の場合、音声の反射はほとんど聞こえず、音声のほとんどは直接信号で占められます。音源が遠くなると残響成分が増え、反射は通常、直接信号とほぼ同じ大きさで聞こえます。

作成された曲線を利用する場合、これが問題になります。作成された曲線が内部曲線と一致しない場合、生成される距離の手がかりは矛盾したものになります。作成された曲線が内部曲線よりも緩やかである状況を考えてみます。音声が聞き手から遠ざかるにつれて、より速く反射が減少し、反射が聞こえない、遠くから聞こえているような音になります。これは、予想とは逆です。

正確な距離の手がかりを得るための最適な方法は、Oculusの減衰モデルを利用することです。このモデルは、反射と直接信号の適切な均衡を確実に保ちます。作成された曲線を利用する必要がある場合は、作成された曲線とできる限り正確に一致するように減衰範囲の最小値/最大値を設定することをおすすめします。

考慮事項

SDKで提供される機能を利用するときに、考慮する必要があるトレードオフと回避策があります。

ヘッドホン

Oculus Audio SDKでは、エンドユーザーがヘッドホンを装着していることを前提としています。ヘッドホンは、無響スピーカーシステムよりも優れた隔離、プライバシー、携帯性、空間化を提供します。ヘッドトラッキングと空間化技術を組み合わせて使用すれば、ヘッドホンによってプレゼンスの没入感が生まれます。バーチャルリアリティのヘッドホンの長所と短所について詳しくは、バーチャルリアリティのオーディオの概要内のリスニングデバイスガイドをご覧ください。

パフォーマンス

スタンドアローンVR開発ではパフォーマンスが重要な要素であるため、次の点( VRオーディオデザインガイドからの引用)を考慮することをおすすめします。

パフォーマンスは、リアルタイムアプリにとって重要な考慮事項です。Oculus Spatializerは、高度に最適化され、効率面でも極めて優れていますが、従来の3Dパンニング方式と比べて、サウンドを空間化する際のオーバーヘッドがある程度発生します。大量のオーディオを処理する場合でも、フレームレートに影響することはありません。これは、リアルタイムオーディオシステムがオーディオを処理するスレッドと、メインのグラフィックレンダリングのスレッドは別だからです。通常、空間化のパフォーマンスオーバーヘッドによる制限がきつくなりすぎることはありませんが、オーディオパフォーマンスの予算を把握し、開発全体にわたりパフォーマンスを測定することが重要です。

3Dの世界に配置しても空間化のメリットが得られない音声もあります。例えば、ゴロゴロ、ブーンといった非常に低い音は指向性が低く、パンニングや減衰により標準のステレオサウンドとして再生されることがあります。

可聴アーティファクト

3D音声が空間を移動すると、さまざまなHRTFや減衰機能がアクティブになり、オーディオバッファ境界で不連続性が生じる可能性があります。これらの不連続性は、多くの場合、カチッ、ポン、サラサラといった音として現れます。これは、音が伝わる速度を下げたり、音声に広域スペクトル成分を持たせたりすることで、ある程度マスクすることができます。

遅延

遅延(またはレイテンシ)はVRのあらゆる面に影響しますが、多くの場合、グラフィックの問題と見なされます。ただし、オーディオの遅延は利用者の妨げになり、没入感を損なうこともあります。バッファ送信から可聴アウトプットまでの遅延は、ホストシステムの速度や基礎となるオーディオレイヤーに応じて異なり、ハイエンドの低遅延オーディオインターフェイスを利用する高パフォーマンスPCでは2ミリ秒ほどですが、最悪の場合は数百ミリ秒にもなりえます。

システム遅延が長いと、音源と聞き手の頭の間の相対速度が上がるにつれて問題となります。視聴者の動きが遅く、比較的静止しているシーンでは、オーディオの遅延を検出することは困難です。

VRゲームと非VRゲームの互換性

VRヘッドセットのみを対象にできる恵まれた開発者はほとんどいません。ほとんどの開発者は、外部スピーカーを使用し、位置トラッキングを利用できない、従来の非VRゲームをサポートする必要があります。品質と互換性のどちらに重きを置くかを検討するのは困難で、開発時間を長引かせます。

サポートされていない機能

高品質のオーディオエクスペリエンスにはほかの側面もありますが、これらはしばしば、アプリのプログラマーやより高いレベルのエンジンによる実装が適しています。

オクルージョン

音声は、さまざまな方法でユーザーの環境とやり取りします。オブジェクトや壁は、仮想世界で音声を遮ったり、反射させたり、伝播したりします。SDKでは、直接反射のみがサポートされ、仮想世界の形状は考慮されません。この問題の解決には世界の形状をスキャンして参照する必要があるため、Oculus Audio SDKよりも高いレベルで解決される必要があります。

Audio Propagation Update

Oculus Audio SDKの後期バージョンで導入されたオーディオ伝播機能により、ジオメトリベースの残響およびオクルージョンのシミュレーションが追加されました。上記の制限は、オーディオ伝播が有効になっていないベースSDKに適用されます。タグ付きのシーンメッシュと音響マテリアルでオーディオ伝播が設定されている場合、SDKは残響とオクルージョンの計算で仮想世界の形状を考慮します。

ドップラーエフェクト

ドップラーエフェクトは、音源が速い速度で聞き手の方に向かってくる、あるいは聞き手から遠ざかるときに発生するピッチの変化として感知されます。例えば、車が高速で通り過ぎる際に感じるピッチの変化です。これは通常、サウンドエンジンによる再生レートの単純な変化を使用して、ミドルウェアでエミュレートされます。

クリエイティブエフェクト

バーチャルリアリティ体験で大きな効果がある、イコライゼーション、ディストーション、フランジングなどのエフェクトを使用できます。例えば、ローパスフィルターでは、水中で泳いでいる音をエミュレートできます(この場合、高周波数は空気中よりもはるかに速くエネルギーを失います)。または、ディストーションを利用して、方向感覚の喪失をシミュレートできます。狭帯域イコライザーは、音源に「ラジオ」エフェクトを与えることができます。

Oculus Audio SDKでは、これらのエフェクトは提供されていません。通常、これらのエフェクトは、より高レベルのミドルウェアパッケージにより、望む結果に応じてOculus Audio SDKの前または後のいずれかに適用されます。例えば、水中での泳ぎをシミュレートするためにローパスフィルターがマスターステレオバッファに適用され、ゲーム内で壊れたラジオのエフェクトを追加するためにディストーションエフェクトが空間化前に適用されるかもしれません。

面音源と指向性音源

Oculus Audio SDKは、モノラル点音源をサポートしています。音声が指定されていると、波形データは聞き手に聞こえる音声を表していると想定されます。スピーカーの指向性減衰(例えば、誰かが聞き手に背を向けて話している場合)および滝や川などの面音源を反映するように入力音声を減衰させるかどうかは、呼び出し元によって決められます。