Звук в Unity
End-of-Life Notice for Oculus Spatializer Plugin
Эта документация больше не обновляется и будет удалена.
В этом руководстве представлены рекомендации и ресурсы, которые помогут создать впечатляющий VR-звук в Unity.
Звук чрезвычайно важен для создания наилучших впечатлений от виртуальной реальности. Поскольку звуковые сигналы играют ключевую роль в нашем ощущении присутствия в реальном физическом пространстве, любые усилия, которые разработчики прилагают для его обеспечения, не должны пропасть даром, поскольку это будет способствовать созданию у пользователя ощущения погружения.
Meta Quest предоставляет бесплатные и простые в использовании плагины для пространственного представления звука для движков и промежуточного ПО, в том числе Unity, Unreal и нативных продуктов. Наши функции пространственного представления звука поддерживают разработку для Rift и Android.
Возможность локализовать источники звука в трехмерном пространстве — это основополагающая часть нашего восприятия звука. Создание пространственного звучания — это процесс изменения звуков с целью сделать их локализуемыми для создания впечатления того, что они исходят из разных мест относительно слушателя. Это ключевой фактор создания эффекта присутствия в играх и приложениях виртуальной реальности.
Meta предоставляет следующие инструменты для работы со звуком:
- Плагины пространственного представления звука. Инструменты и интеграции для пространственного представления в Oculus преобразовывают монофонические источники звука, чтобы они звучали так, как будто исходят из определенного желаемого направления. Подробную информацию о наших функциях пространственного представления, а также рекомендации и ограничения см. в статье Функции Spatializer.
- Синхронизация движений губ аватара. Синхронизируйте губы аватара со звуками речи и смеха с помощью Oculus Lipsync.
- Профилирование звука. Определяйте проблемы со звуком с помощью инструмента профилирования звука в Oculus.
- Датчик громкости. Измеряйте громкость аудиомикса с помощью датчика громкости в Oculus.
Скачивание и использование инструментов для работы со звуком в Oculus
Информацию об интеграции Meta Quest с популярными инструментами разработки см. в приведенных ниже документах.
При создании звука для Unity необходимо следовать таким рекомендациям:
- Не используйте функцию Decompress on Load (Выполнять декомпрессию при загрузке) для аудиоклипов.
- Отключите функцию Preload Audio Data (Предварительно загружать аудиоданные) для всех отдельных аудиоклипов.
Ниже приведен список инструментов для работы со звуком в Oculus, которые можно использовать с приложениями Unity.
Audio input and output automatically use the Rift microphone and headphones unless configured to use the Windows default audio device by the user in the Oculus app. Events OVRManager.AudioOutChanged and AudioInChanged occur when audio devices change, making audio playback impossible without a restart.
- For instructions on using Unity and Wwise with Rift, see Rift Audio in the Native PC Developer Guide.
| Инструмент/ссылка для скачивания | Документация |
|---|
| |
| |
Meta Quest предоставляет плагин пространственного представления для Wwise.
| Инструмент/ссылка для скачивания | Документация |
|---|
| |
На рисунке ниже показан пример окна Wwise.
Oculus предоставляет плагин пространственного представления для FMOD Studio.
| Инструмент/ссылка для скачивания | Документация |
|---|
| |
На рисунке ниже показан пример окна FMOD Studio.
[УПРАЗДНЕНО] Плагины Oculus для Pro Tools и других DAW устарели. Подробнее о совместимости версий и поддержке см. в документации по отдельным плагинам ниже.
Oculus предоставляет плагин для Avid Pro Tools и других цифровых рабочих станций.
| Инструмент/ссылка для скачивания | Документация |
|---|
| |
| |
На рисунке ниже показан пример окна Avid Pro Tools.
Дополнительные утилиты для работы с аудио
| Скачать | Сводка | Документация |
|---|
| Предоставляет статистику и метрики в режиме реального времени для отслеживания производительности звука в приложениях, использующих плагины Oculus Spatializer. | |
| Инструмент, измеряющий громкость аудиомикса в приложении. Громкость не ограничивается простыми измерениями пикового уровня. С помощью интегральных функций и ограничений можно измерить громкость с течением времени в единицах LUFS. | |
| Пакет | Дополнительная информация |
|---|
| Архив аудиофайлов WAV, содержащий разнообразные звуки (звуки погодных явлений, животных, человеческий вокал и т. п.). |
| Включает в себя несколько файлов AmbiX WAV, представляющих собой звуки окружающей среды, в том числе звуки парков, естественной среды с текущей водой, вентиляции помещений, дождя, городские звуки и шумы движения автомобилей. |
Звуковой дизайн и сведение звука — это форма искусства, а виртуальная реальность — это новая среда, в которой оно выражается. Виртуальная реальность ставит как перед начинающими звукорежиссерами, так и перед опытными специалистами множество новых задач и опровергает некоторые общепринятые убеждения, на которые мы опираемся при создании музыки и звуковых эффектов для игр и традиционных средств коммуникации.
Прочитайте документ
Введение в звук в VR, в котором изложены основные идеи и способы их реализации в виртуальной реальности, или ознакомьтесь с дополнительными разделами:
| Тема | Описание |
|---|
| Описание того, как люди локализуют звук. |
| Описание пространственных и передаточных функций слухового аппарата человека. |
| Описание различных устройств для прослушивания звука, их преимуществ и недостатков. |
| Описание моделирования окружающей среды, в том числе реверберации и отражений. |
| Теперь, когда мы выяснили, как люди локализуют звуки в мире и, что ещё важнее, как мы можем заставить людей думать, что звук исходит из определенной точки пространства, нам нужно рассмотреть, как следует изменить подход к проектированию звука, чтобы обеспечить пространственное звучание. |
| Как и в случае с проектированием звука, микширование сцены для виртуальной реальности — это не только наука, но и искусство, и следующие рекомендации могут содержать некоторые оговорки. |
| Определения технических терминов, используемых при создании звука для виртуальной реальности. |