バーチャルリアリティ(VR)は、ゼロから構築された仮想体験の世界に、ユーザーを完全に没入させることを目的としています。VRでは、Meta Questヘッドセットを装着したユーザーは、仮想の場所に完全に移動して、仮想体験を楽しむことができます。以下は、完全な仮想空間の中で、ユーザーが触れ合うことができる仮想の生き物を示したものです。

拡張現実(AR)は、仮想の要素をユーザーの周りの物理的な世界に重ね合わせることで、その世界を拡張または補完するものです。ARは、ユーザーの周りにある既存の現実を利用し、現実の世界で出現する体験を生成するものです。

複合現実(MR)は、VRとARの両方を組み合わせ、進化させたものです。これは、両方の技術を包含しながら、仮想的な要素がユーザーとユーザーの周りの物理的な空間の両方と相互作用することを可能にすることによって、新しい相互作用の媒体を提供するものです。ここで重要なのは、MRはVRとARを包括しているため、MR体験ではそれぞれの技術をさまざまに組み合わせることが必要だということです。

MRエクスペリエンスの種類

静的なMRエクスペリエンス

静的なMRは、食卓や寝室、あるいは職場のデスクに座ったままでも楽しめます。

シナリオ: 拡張現実(AR)とVRを組み合わせることで、机の上に小型の戦略ゲームを設けたり、チェスのようなカードゲームやボードゲームを配置したりすることができます。友人のアバターと空間を共有しながら、コンサートなどの大規模なデジタルイベントを、壁一面のスクリーンで楽しむこともできます。

静的なMRの開発はユーザーが比較的固定された場所にいることが前提になっています。ARを使い、仮想のオブジェクトを表示したり、対話したりすることで、このユーザーがいる場所を変形・変化させることができるのです。

動的なMRエクスペリエンス

動的なMRには、MR体験ができる物理的な空間の限界を超えるような体験が含まれます。

シナリオ: MRによってお化け屋敷に変身した家、ユーザーの寝室の壁を破って侵入してくる侵略者を撃退するゲーム、リビングルームでのパーソナルトレーナーとのアクティブな全身運動体験などを想像してください。

このような動的なMR体験は、ユーザーの身体的な関与や複数の部屋・場所の移動を前提にして設計されています。

2D・クラシックスタイルのエクスペリエンス

2D・クラシックスタイルのMRには、通常、2Dの表面や平面とのインタラクションに基づく静的な体験が含まれます。

シナリオ: 食卓でユニットが動き回る戦略ゲームや、リビングでのカードゲーム、プレイエリアの所々にパズルのピースが浮かんでいるパズルゲームなどを楽しむことができます。

ユーザーは、これらの身近な体験を楽しみながらも周囲を意識し、さらにはこれらのゲームや体験をMRで変化させながらプレイエリアを無事歩くことができます。

2Dで座ったまま行う静的な仮想体験をMRに取り入れる代表的な例として、以下のようなものが挙げられます。

プレイエリア内のさまざまなスペースにあるピースを使ってパズルを解くこと。

1人で、またはほかのユーザーと一緒にカードゲームをプレイし、テーブルとステークを自分の、または相手のエリアに持ち込むこと。

休暇中に巨大なバーチャルスクリーンで大ヒット番組を見ること

自分のテーブルの上に仮想のゲームテーブルを置き、サイコロを振ったり、キャラクターを動かしたり、クエストをクリアしたりすること。

2Dの体験をMRでユーザーの物理的環境にもたらすための最初のステップの1つは、Meta Questヘッドセットのカメラを使って周囲の環境を見ることです。これはパススルーAPIで実現できます。

パススルーAPI

基本的には、MRエクスペリエンスは仮想現実と拡張現実を組み合わせることから始まります。パススルーAPIのようなクエストAPIを使用することで、この2つの技術を組み合わせて、慣れ親しんだ体験をユーザーに新しい形で提供することが可能になります。

パススルーAPIは、Meta Questヘッドセットを装着した状態で、ユーザーの周囲の世界をリアルタイムに可視化するものです。外向きカメラは、ユーザーの物理的環境のパススルーレイヤーを生成し、それをXRコンポジターによる環境のレンダリングに置き換えます。

パススルーAPIとの連携は、仮想現実と拡張現実の体験を組み合わせる上で必要な第一歩となります。パススルーの設定時に、ユーザーがサーフェスをマークすることで、信頼できる領域を中心に体験を構築することができます。

例えば、ユーザーが自分のデスクを定義し、その定義された面を使ってMR体験を構築するようなものです。ユーザーは机の上でストラテジーゲームをプレイしたり、古典的なアーケードゲームのような上から見下ろす体験を楽しんだりすることができます。このようにパススルーを利用することで、ユーザーは定義されたサーフェス領域に置かれた仮想オブジェクトとインタラクションを行うことも可能です。

パススルーAPIの詳細については、Unity、Unreal、またはNativeのドキュメントを参照してください。

Audio SDK

バーチャルな要素をユーザーの物理的な環境に溶け込ませることができていれば、そこに効果的なオーディオを加えることで、MR体験のリアリティを高めることができます。物理的な環境から音が聞こえることで、ユーザーは好奇心や興味を持ち、周りの仮想空間を探索するきっかけとなります。

Audio SDKは、単音の音を変形させ、その起点をユーザーの周囲で変化させる空間化機能に対応しています。うまく設計されたオーディオは、ユーザーの物理的な空間における仮想要素の存在感をさらに高め、ユーザーが環境内の仮想要素とインタラクションを行うよう動機づける重要な要素となっています。

バーチャルコンパニオン・オブジェクト

2次元の体験として親しんできたものをMRで再現できます。仮想の物体やコンパニオンとのインタラクションが可能になるので、そうしたものに対する愛着がさらに深まります。

シナリオ: これは、自分の部屋でバーチャルコンパニオンがくつろいでいる状態でプレイヤーが遊ぶという形をとります。このコンパニオンは、自分の生活実空間を認識し、声や手振りに反応することができます。このような体験には、仮想コンパニオンによる仮想オブジェクトとのインタラクションや、仮想空間における現実のオブジェクトとのインタラクションも含まれます。

MRエクスペリエンスに共通する特徴は、仮想空間や物体、コンパニオンとの自然なインタラクションができることです。パススルーを使ってプレイスペースのサーフェスやオブジェクトを特定すると、これらのオブジェクトはエリアとダイナミックに連動できるようになります。Meta Questのヘッドセットで利用できるさまざまな入力フォームを通じて、プレイヤーはインタラクションを行うことができるようになります。

MR体験において、ユーザーがバーチャルコンパニオンやオブジェクトとどのようなインタラクションが可能かを明確に定義することが重要です。ユーザーが利用できるインタラクションの種類が、最終的にユーザーの周りの物理的な空間における仮想的な要素との関係を定義することになります。

VRやMRにおけるインタラクションとして、まず最も一般的なのはコントローラーを介したものです。コントローラーと連携することで、犬を撫でたり、剣を振り回したり、宇宙船を操縦したり、周囲の部屋に美しい3Dキャンバスを描いたりするような体験ができます。Meta QuestとMeta Quest Proのコントローラーは、8つのボタンとトリガーを組み合わせ、さらに6DOFでさまざまなインタラクションをシミュレートすることができます。コントローラーをMR体験に取り入れることで、ボタンやトリガー、動作による正確な入力や、仮想オブジェクトやコンパニオンとのインタラクションの際の触覚フィードバックが可能になります。

ジェスチャーコントロールなどの機能を使うことで、ボールをドリブルしたり、サイコロを振ったり、パズルを解いたりなど、ユーザーは自分の手を使って仮想オブジェクトとインタラクションを行うことができます。これをパススルーと組み合わせることで、ユーザーはパーソナルスペースで仮想オブジェクトを手に取ったり置いたりすることができるようになります。

Voice SDKを使えば、バーチャルコンパニオンと会話したり、周囲に目に見える結果が生じるような応答性の高いコマンドを与えたりすることが可能になります。

複合現実マルチプレイヤー

1人で楽しむMR体験も非常に魅力的ですが、友人やライバルとの協力・対戦体験は、ユーザーの記憶に残る体験となり、根強いリピーターになってもらうことができます。

シナリオ: MRの体験を友人やライバルと共有することができれば、ユーザーは何度でもプレイしたり、対戦したりするようになるでしょう。卓球で競い合ったり、パススルーによるローカルマルチプレイヤー体験で共有した仮想オブジェクトで遊んだりすることで、本当に魅力的で思い出に残るひとときを過ごすことができます。

Platform SDK

Platform SDKは、Meta Questのマルチプレイ機能の基盤であり、Group Presence、App to App Travel、LeaderboardsなどのAPIがあれば、簡単に他のユーザーと一緒にMRを体験することができます。

シナリオ: Platform SDKをMRアプリと連携させることで、ユーザーはアプリ内で友達を探し、招待したり、グループで一緒に体験に出かけたり、特定の目的地ベースの体験に友達を招待したりすることができます。

Movement SDK

Movement SDKと連携することで、ユーザーの身体、顔、目をトラッキングし、アプリを使用しながらジェスチャーや表情などを伝えることができ、ユーザーや友人たちのMR体験をさらに充実させることができます。また、ユーザーの身体をトラッキングし、エクササイズなどのワークアウトを案内するフィットネス体験にも利用できます。

シナリオ: Movement SDKと連携することで、ユーザーはより安心してMR環境でのインタラクションを行うことができるようになります。フェイストラッキングは、ソーシャル環境でキャラクターやアバターの表情を忠実に反映させることができ、ボディトラッキングは、フィットネスやパーティーゲームなど、より没入感のあるアクティブな体験を可能にします。

共有空間アンカー

Platform SDKの機能と共有空間アンカーのようなMR特有のツールを組み合わせることで、ユーザーのローカルマルチプレイヤー体験を大きく向上させ、拡張することができます。共有空間アンカー機能を使うと、1人のユーザーによって作成された空間アンカーを、同じ物理空間にいるほかのユーザーと共有できます。これは、共有アンカーに取り付けられたデジタルオブジェクトが、どこにどのように配置されるかについて同じ視点を共有できる、複数のユーザーにとっての共有仮想フレームになります。

シナリオ: これまでの例にならっていえば、複数のユーザーが空間アンカーを作成し、それを共有することで、リビングで仮想のボール遊びをすることができます。この共有アンカーを持つ部屋に参加したユーザーは、誰でも体験に参加し、仮想オブジェクトとインタラクションをすることができます。

MRシーンの作成

MRによってユーザーのプレイエリアにバーチャルなオブジェクトを持ち込んだら、次はユーザーの周りの壁や床、オブジェクトを物理的に取り込んで、MR体験の中に出現させましょう。そうすることで、プレイエリアの概念が拡大し、真のルームスケールでのMR体験が実現します。

シナリオ: 壁や床、天井から飛来する宇宙船とのインタラクションを想像してください。寝室からキッチンを通り、リビングの家具の周りをぐるりと回る遊園地を作ることも考えられます。

複合現実の世界では、壁や床、天井から何かが迫ってくるようなインタラクションを楽しむという発想が一般的です。シーンAPIを使えば、これらのサーフェスに加え、ユーザーのデスク、ソファ、椅子、窓などのオブジェクトを含めたエクスペリエンスを構築することができます。これらがあれば、ユーザーの物理的な空間にバーチャルなコンテンツを溶け込ませることができます。

シーンAPI

シーンAPIには、シーンキャプチャとシーンモデルがあり、両者が連携して、壁や家具など、ユーザーの物理空間の最新表現を構築します。これらに対してはインデックスを作成し、クエリを行うことができます。ユーザーのシーンモデルは、幾何学コンポーネントとセマンティックラベルで構成されるシーンアンカーで構成されます。

シーン機能、パススルー、音声、ジェスチャーコントロールを使ったルームスケールMRゲームの例として、World Beyondサンプルアプリ⁠があります。

複合現実の活用事例

これらのSDKやAPIを組み合わせることで、バーチャルな世界と物理的な世界をユニークに融合させたユーザー体験を実現することができます。

教育にも役立つMRエクスペリエンス

歴史的な舞台やさまざまな歴史的工芸品を反映した空間アンカーを共有し、MRを教室に取り入れることで、生徒は歴史的遺物を手に取ってインタラクションを取りながら特定の時代について学ぶことができます。あるいは、その同じ共有空間にいる生徒たちが、生物学のクラスで、バーチャルでカエルを解剖しながら、物理的なノートにメモを取ることも可能です。

Platform SDKや空間アンカーのようなSDKやAPIを活用して、教室内の持続的な仮想オブジェクトの構築、操作、それによる学習を可能にすることで、MR教育エクスペリエンスを実現できます。