開発

プラットフォームを選択

MR(複合現実)エクスペリエンスと活用例

更新日時: 2026/04/13

複合現実(MR)は、仮想オブジェクトをユーザーの現実のオブジェクトと融合させることで、現実世界に反応し、それと統合されるエクスペリエンスを可能にします。

複合現実は、現在および将来のMeta Questヘッドセットの基礎的な柱であり、Meta Questエコシステムのユーザーに一段上のエクスペリエンスを提供するうえで重要な役割を果たします。Meta Quest 3とMeta Quest 3Sは、より高解像度のカラーパススルーや専用の深度センサーなど、強化されたMR機能を備えており、MR開発に最適です。このドキュメントでは以下の内容を説明します。

複合現実の活用事例

アプリのMR属性を有効にするために使用できる関連SDKとAPI

複合現実がMeta Questの相互接続メタバースのビジョンをどのように促進するか

Meta Questプレゼンスプラットフォームは、Metaデバイス上でMR体験を実現するためのSDKとAPIを提供します。これらの機能、デザイン、活用事例を組み合わせて考慮すると、MRプロジェクトの立ち上げをスムーズに進めることができるでしょう。

先に進む前に、まずVR、AR、MRの違いを理解しましょう。

バーチャルリアリティ(VR)は、ゼロから構築された仮想体験の世界に、ユーザーを完全に没入させることを目的としています。VRでは、Meta Questヘッドセットを装着したユーザーは、仮想の場所に完全に移動して、仮想体験を楽しむことができます。以下は、完全な仮想空間の中で、ユーザーが触れ合うことができる仮想の生き物を示したものです。

拡張現実(AR)は、仮想の要素をユーザーの周りの物理的な世界に重ね合わせることで、その世界を拡張または補完するものです。ARは、ユーザーの周りにある既存の現実を利用し、現実の世界で出現する体験を生成するものです。

複合現実(MR)は、VRとARの両方を組み合わせ、進化させたものです。これは、両方の技術を包含しながら、仮想的な要素がユーザーとユーザーの周りの物理的な空間の両方と相互作用することを可能にすることによって、新しい相互作用の媒体を提供するものです。ここで重要なのは、MRはVRとARを包括しているため、MR体験ではそれぞれの技術を様々に組み合わせることが必要だということです。

MRエクスペリエンスの種類

静的なMRエクスペリエンス

静的なMRは、食卓や寝室、あるいは職場のデスクに座ったままでも楽しめます。

シナリオ: 拡張現実(AR)とVRを組み合わせることで、机の上に小型の戦略ゲームを設けたり、チェスのようなカードゲームやボードゲームを配置したりすることができます。友人のアバターと空間を共有しながら、コンサートなどの大規模なデジタルイベントを、壁一面のスクリーンで楽しむこともできます。

静的なMRの開発はユーザーが比較的固定された場所にいることが前提になっています。ARを使い、仮想のオブジェクトを表示したり、対話したりすることで、このユーザーがいる場所を変形・変化させることができるのです。

動的なMRエクスペリエンス

動的なMRには、MR体験ができる物理的な空間の限界を超えるような体験が含まれます。

シナリオ: MRによってお化け屋敷に変身した家、ユーザーの寝室の壁を破って侵入してくる侵略者を撃退するゲーム、リビングルームでのパーソナルトレーナーとのアクティブな全身運動体験などを想像してください。

このような動的なMR体験は、ユーザーの身体的な関与や複数の部屋・場所の移動を前提にして設計されています。

2D・クラシックスタイルのエクスペリエンス

2D・クラシックスタイルのMRには、通常、2Dの表面や平面とのインタラクションに基づく静的な体験が含まれます。

シナリオ: 食卓でユニットが動き回る戦略ゲームや、リビングでのカードゲーム、プレイエリアの所々にパズルのピースが浮かんでいるパズルゲームなどを楽しむことができます。

ユーザーは、これらの身近な体験を楽しみながらも周囲を意識し、さらにはこれらのゲームや体験をMRで変化させながらプレイエリアを無事歩くことができます。

2Dで座ったまま行う静的な仮想体験をMRに取り入れる代表的な例として、以下のようなものが挙げられます。

プレイエリア内のさまざまなスペースにあるピースを使ってパズルを解くこと。

1人で、または他のユーザーと一緒にカードゲームをプレイし、テーブルとステークを相手のエリアに持ち込むこと。

休暇中に巨大なバーチャルスクリーンで大ヒット番組を見ること。

自分のテーブルの上に仮想のゲームテーブルを置き、サイコロを振ったり、キャラクターを動かしたり、クエストをクリアしたりすること。

2Dの体験をMRでユーザーの物理的環境にもたらすための最初のステップの1つは、Meta Questヘッドセットのカメラを使ってユーザーの周囲の環境を見ることです。これはパススルーAPIで実現できます。

パススルーAPI

基本的には、MRエクスペリエンスは仮想現実と拡張現実を組み合わせることから始まります。パススルーAPIのようなクエストAPIを使用することで、この2つの技術を組み合わせて、慣れ親しんだ体験をユーザーに新しい形で提供することが可能になります。

パススルーAPIは、Meta Questヘッドセットを装着した状態で、ユーザーの周囲の世界をリアルタイムに可視化するものです。外向きカメラは、ユーザーの物理的環境のパススルーレイヤーを生成し、それをXRコンポジターによる環境のレンダリングに置き換えます。

パススルーAPIとの連携は、仮想現実と拡張現実の体験を組み合わせる上で必要な第一歩となります。パススルーの設定時に、ユーザーがサーフェスをマークすることで、信頼できる領域を中心に体験を構築することができます。

例えば、ユーザーが自分のデスクを定義し、その定義された面を使ってMR体験を構築するようなものです。ユーザーは机の上でストラテジーゲームをプレイしたり、古典的なアーケードゲームのような上から見下ろす体験を楽しんだりすることができます。このようにパススルーを利用することで、ユーザーは定義されたサーフェス領域に置かれた仮想オブジェクトとインタラクションを行うことも可能です。

パススルーAPIについて詳しくは、Unity、Unreal、またはNativeのドキュメントをご覧ください。

Depth API

パススルーが有効な場合、Depth APIは現実世界のオブジェクトや表面が仮想オブジェクトを遮るようにするリアルタイムの奥行きマップを提供します。このオクルージョンは、仮想コンテンツが現実世界の手前の平面的なレイヤーとして表示されるのを防ぎ、没入感を維持するのに役立ちます。例えば、物理的なソファーの背後に転がる仮想ボールは、現実の場合と同じように隠れて見えなくなります。Depth APIは、手や他の人、ペットなど、動く要素の動的オクルージョンも処理します。これは、シーンモデルだけでは提供できない機能です。

注: Depth APIには、専用の深度センサーを備えたデバイスが必要です。Meta Quest 3とMeta Quest 3Sはこの機能をサポートしています。

詳しくは、Depth APIの概要をご覧ください。

Audio SDK

バーチャルな要素をユーザーの物理的な環境に溶け込ませることができていれば、そこに効果的なオーディオを加えることで、MR体験のリアリティを高めることができます。物理的な環境から音が聞こえることで、ユーザーは好奇心や興味を持ち、周りの仮想空間を探索するきっかけとなります。

Audio SDKは、単音の音を変形させ、その起点をユーザーの周囲で変化させる空間化機能に対応しています。うまく設計されたオーディオは、ユーザーの物理的な空間における仮想要素の存在感をさらに高め、ユーザーが環境内の仮想要素とインタラクションを行うよう動機づける重要な要素となっています。

バーチャルコンパニオン・オブジェクト

2次元の体験として親しんできたものをMRで再現できます。仮想の物体やコンパニオンとのインタラクションが可能になるので、そうしたものに対する愛着がさらに深まります。

シナリオ: これは、自分の部屋でバーチャルコンパニオンがくつろいでいる状態でプレイヤーが遊ぶという形をとります。このコンパニオンは、自分の生活実空間を認識し、声や手振りに反応することができます。このような体験には、仮想コンパニオンによる仮想オブジェクトとのインタラクションや、仮想空間における現実のオブジェクトとのインタラクションも含まれます。

MRエクスペリエンスに共通する特徴は、仮想空間や物体、コンパニオンとの自然なインタラクションができることです。パススルーを使ってプレイスペースのサーフェスやオブジェクトを特定すると、これらのオブジェクトはエリアとダイナミックに連動できるようになります。Meta Questのヘッドセットで利用できる様々な入力フォームを通じて、プレイヤーはインタラクションを行うことができるようになります。

MR体験において、ユーザーがバーチャルコンパニオンやオブジェクトとどのようなインタラクションが可能かを明確に定義することが重要です。ユーザーが利用できるインタラクションの種類が、最終的にユーザーの周りの物理的な空間における仮想的な要素との関係を定義することになります。

Interaction SDK

Interaction SDKは、手やコントローラーベースのインタラクションを実装に追加するためのコンポーネントのライブラリを提供します。Interaction SDKは、ボタンの押下や表面の操作を行うPokeインタラクション、遠隔での選択や操作を行うレイインタラクション、オブジェクトの拾い上げ、移動、スケーリングを行うグラブインタラクションという3つの主要なインタラクションタイプをサポートしています。パススルーなどの機能とこれらのInteraction SDKコンポーネントを組み合わせることで、ユーザーはバーチャル空間に配置されたオブジェクトやコンパニオンとインタラクションが取れるようになります。

ユーザースペースに仮想オブジェクトやレスポンシブなバーチャルコンパニオンを配置すると、ユーザーに提供しているエクスペリエンスへのエンゲージメントを高めることができます。

VRやMRにおけるインタラクションとして、まず最も一般的なのはコントローラーを介したものです。コントローラーと連携することで、犬を撫でたり、剣を振り回したり、宇宙船を操縦したり、周囲の部屋に美しい3Dキャンバスを描いたりするような体験ができます。Meta QuestとMeta Quest Proのコントローラーは、8つのボタンとトリガーを組み合わせ、さらに6DOFで様々なインタラクションをシミュレートすることができます。コントローラーをMR体験に取り入れることで、ボタンやトリガー、動作による正確な入力や、仮想オブジェクトやコンパニオンとのインタラクションの際の触覚フィードバックが可能になります。

ジェスチャーコントロールなどの機能を使うことで、ボールをドリブルしたり、サイコロを振ったり、パズルを解いたりなど、ユーザーは自分の手を使って仮想オブジェクトとインタラクションを行うことができます。これをパススルーと組み合わせることで、ユーザーはパーソナルスペースで仮想オブジェクトを手に取ったり置いたりすることができるようになります。

Voice SDKを使えば、バーチャルコンパニオンと会話したり、周囲に目に見える結果が生じるような応答性の高いコマンドを与えたりすることが可能になります。

複合現実マルチプレイヤー

1人で楽しむMR体験も非常に魅力的ですが、友人やライバルとの協力・対戦体験は、ユーザーの記憶に残る体験となり、根強いリピーターになってもらうことができます。

シナリオ: MRの体験を友人やライバルと共有することができれば、ユーザーは何度でもプレイしたり、対戦したりするようになるでしょう。卓球で競い合ったり、パススルーによるローカルマルチプレイヤー体験で共有した仮想オブジェクトで遊んだりすることで、本当に魅力的で思い出に残るひとときを過ごすことができます。

Platform SDK

Platform SDKは、Meta Questのマルチプレイ機能の基盤であり、Group Presence、App to App Travel、LeaderboardsなどのAPIがあれば、簡単に他のユーザーと一緒にMRを体験することができます。

シナリオ: Platform SDKをMRアプリと連携させることで、ユーザーはアプリ内で友達を探し、招待したり、グループで一緒に体験に出かけたり、特定の目的地ベースの体験に友達を招待したりすることができます。

Movement SDK

Movement SDKと連携することで、ユーザーの身体、顔、目をトラッキングし、アプリを使用しながらジェスチャーや表情などを伝えることができ、ユーザーや友人たちのMR体験をさらに充実させることができます。また、ユーザーの身体をトラッキングし、エクササイズなどのワークアウトを案内するフィットネス体験にも利用できます。

シナリオ: Movement SDKと連携することで、ユーザーはより安心してMR環境でのインタラクションを行うことができるようになります。フェイストラッキングは、ソーシャル環境でキャラクターやアバターの表情を忠実に反映させることができ、ボディトラッキングは、フィットネスやパーティーゲームなど、より没入感のあるアクティブな体験を可能にします。

共有空間アンカー

Platform SDKの機能と共有空間アンカーのようなMR特有のツールを組み合わせることで、ユーザーのローカルマルチプレイヤー体験を大きく向上させ、拡張することができます。共有空間アンカー機能を使うと、1人のユーザーによって作成された空間アンカーを、同じ物理空間にいる他のユーザーと共有できます。これは、共有アンカーに取り付けられたデジタルオブジェクトが、どこにどのように配置されるかについて同じ視点を共有できる、複数のユーザーにとっての共有仮想フレームになります。

シナリオ: これまでの例にならっていえば、複数のユーザーが空間アンカーを作成し、それを共有することで、リビングで仮想のボール遊びをすることができます。この共有アンカーを持つ部屋に参加したユーザーは、誰でも体験に参加し、仮想オブジェクトとインタラクションすることができます。

共有アンカーサンプル⁠は、Unreal Engineの空間アンカーシステムの機能を示すものであり、空間アンカーを処理および維持するためのサンプルコードを提供します。このコードは、自分のプロジェクトで再利用できます。

MRシーンの作成

MRによってユーザーのプレイエリアにバーチャルなオブジェクトを持ち込んだら、次はユーザーの周りの壁や床、オブジェクトを物理的に取り込んで、MR体験の中に出現させましょう。そうすることで、プレイエリアの概念が拡大し、真のルームスケールでのMR体験が実現します。

シナリオ: 壁や床、天井から飛来する宇宙船とのインタラクションを想像してください。寝室からキッチンを通り、リビングの家具の周りをぐるりと回る遊園地を作ることも考えられます。

複合現実の世界では、壁や床、天井から何かが迫ってくるようなインタラクションを楽しむという発想が一般的です。シーンAPIを使えば、これらのサーフェスに加え、ユーザーのデスク、ソファ、椅子、窓などのオブジェクトを含めたエクスペリエンスを構築することができます。これらがあれば、ユーザーの物理的な空間にバーチャルなコンテンツを溶け込ませることができます。

シーンAPI

シーンAPIには、シーンキャプチャとシーンモデルがあり、両者が連携して、壁や家具など、ユーザーの物理空間の最新表現を構築します。これらに対してはインデックスを作成し、クエリできます。ユーザーのシーンモデルは、幾何学コンポーネントとセマンティックラベルで構成されるシーンアンカーで構成されます。

シーン機能、パススルー、音声、ジェスチャーコントロールを使ったルームスケールMRゲームの例として、World Beyondサンプルアプリ⁠があります。

Mixed Reality Utility Kit

MR Utility Kit (MRUK)は、シーンAPIを基盤に構築されており、空間認識型MRアプリを構築する際の一般的な操作に対応する高レベルのユーティリティを提供します。これらのユーティリティには、組み込みの物理エンジンなしでのレイキャスト、床、壁、表面上の有効な出現位置の検出、位置が部屋の中にあるかどうかの確認などのシーンクエリが含まれます。また、プロシージャルコンテンツ配置やアンカーベースのシーン認識のためのツールも用意されているため、開発者はMRエクスペリエンス特有の部分に集中できます。

詳しくは、Mixed Reality Utility Kitの概要をご覧ください。

複合現実の活用事例

これらのSDKやAPIを組み合わせることで、バーチャルな世界と物理的な世界をユニークに融合させたユーザー体験を実現することができます。

教育にも役立つMRエクスペリエンス

共有空間アンカーを通じてMRを教室に取り入れることで、歴史的な舞台を再現し、生徒がバーチャルの歴史的遺物を手に取ってインタラクションを取りながら特定の時代について学ぶことができます。あるいは、その同じ共有空間にいる生徒たちが、生物学のクラスで、バーチャルでカエルを解剖しながら、物理的なノートにメモを取ることも可能です。

Platform SDKや空間アンカーのようなSDKやAPIを活用して、教室内の持続的な仮想オブジェクトの構築、操作、それによる学習を可能にすることで、MR教育エクスペリエンスを実現できます。