Смешанная реальность (Mixed Reality, MR) объединяет виртуальный контент с вашей физической средой, позволяя цифровым объектам отскакивать от стен, прятаться под столами или взаимодействовать с реальной мебелью. На платформе Meta Quest MR опирается на погружение виртуальной реальности (VR) и наложения дополненной реальности (AR), обеспечивая качественно новый уровень взаимодействия.

Выбор иммерсивного режима

Виртуальная реальность (VR): полное погружение в цифровой мир. Подходит для полноформатных симуляторов и игр, где не требуется видеть реальную среду.

Дополненная реальность (AR): наложение цифровых элементов на изображение реального мира. Идеально для интерфейсов с дополнительной информацией, навигации и легких всплывающих подсказок.

Смешанная реальность (MR): сочетание виртуальных объектов с окружающим пространством — цифровой контент может сталкиваться со стенами, располагаться на столах или прятаться за мебелью. Оптимальный вариант для пространственно-ориентированных приложений, глубоко интегрированных в комнату.

Типы MR-приложений

Статичные MR-приложения — приложения, в которых пользователь находится в сидячем положении или в фиксированном месте. Пример: стратегическая игра на журнальном столике или виртуальный экран на стене с аватарами друзей вокруг.

Динамичные MR-приложения — сценарии с перемещением по комнате или между комнатами. Пример: квест в доме с привидениями, где призраки появляются из углов, или фитнес-игра с отслеживанием движений в комнатах.

2D- и классические MR-приложения — плоские интерфейсы или двухмерные игры в пространстве. Пример: парящие элементы головоломки, карточные игры на столе или просмотр телешоу на виртуальном экране.

Ввод и взаимодействие пользователя

Набор средств ввода и взаимодействия Meta XR SDK обеспечивает естественное взаимодействие пользователей с виртуальным контентом. От базовой настройки устройств в Core SDK до расширенной поддержки отслеживания рук, распознавания жестов, голосового управления, интеграции клавиатуры и точной тактильной отдачи — всё это работает согласованно, делая MR-приложения интуитивными и отзывчивыми.

Core SDK

Инициализация устройства, управление жизненным циклом отслеживания и настройка разрешений для MR.

Посмотреть документацию

Interaction SDK

Взаимодействие с виртуальными объектами: взятие, броски, рисование или лепка — с помощью контроллеров или жестов рук.

Посмотреть документацию

Movement SDK

Отслеживание движений тела, лица и глаз для анимации аватаров, отслеживания активности и выразительных жестов.

Посмотреть документацию

Ввод с использованием клавиатуры

Отслеживание физических клавиатур в MR-пространстве для естественного ввода текста в виртуальной рабочей среде.

Посмотреть документацию

Voice SDK

Интеграция распознавания речи и голосовых агентов для голосовых команд и диалогов с NPC.

Посмотреть документацию

Haptics SDK

Передача на контроллеры точных вибросигналов для улучшения тактильной отдачи.

Посмотреть документацию

Погружение и пространственный звук

Наши инструменты для погружения и работы со звуком обеспечивают не только реалистичную визуализацию виртуальных объектов, но и их естественное звуковое присутствие в среде пользователя. Passthrough API и Depth API помогают сохранить ощущение реального пространства, а Audio SDK обеспечивает полноценный пространственный звук — с направлением, глубиной и реализмом, что усиливает каждую MR-сцену.

Passthrough API

Отображение прямого видеопотока с камеры и наложение виртуального контента без потери контекста реального мира.

Посмотреть документацию

Depth API

Запрос глубины среды для реалистичной окклюзии — виртуальные объекты могут находиться за реальными препятствиями.

Посмотреть документацию

Audio SDK

Пространственное воспроизведение звука: виртуальные объекты издают звук из своей точной позиции в комнате.

Посмотреть документацию

Понятие сцены

Понимая принцип работы сцен, в том числе MR Utility Kit (MRUK), Scene API, Spatial Anchor API и Passthrough Camera API, вы можете создавать контент, привязанный к реальному миру. Вы можете определять пол, стены и мебель, сохранять виртуальные объекты и синхронизировать общие привязки для синхронизации между пользователями.

MR Utility Kit (MRUK)

Инструментарий высокого уровня для пространственных запросов, размещения, управления и совместного использования виртуального контента.

Посмотреть документацию

Scene API

Захват и построение геометрии помещения — стен, пола, мебели — для интеллектуального размещения контента.

Посмотреть документацию

Spatial Anchor API

Привязка виртуального контента к точным координатам реального мира для создания устойчивых приложений.

Посмотреть документацию

Passthrough Camera API

Низкоуровневый доступ к кадрам и метаданным сквозной камеры для создания пользовательских компоновок.

Посмотреть документацию

Превратите одиночное MR-приложение в совместное приключение с помощью многопользовательского режима и социальной платформы. Platform SDK соединяет игроков, управляет сеансами, поддерживает таблицы лидеров и покупки в приложении. Avatars SDK оживляет реалистичных цифровых аватаров, а обнаружение совместного размещения обеспечивает синхронизацию виртуальных объектов в режиме реального времени для всех пользователей в одной комнате.