Oculus Lipsync для разработки в Unity

End-of-Life Notice for Oculus Spatializer Plugin

Плагин Oculus Spatializer заменен на Meta XR Audio SDK и находится на стадии окончания срока службы. Мы прекратим его поддержку после версии 47 и настоятельно не рекомендуем использовать его. Перейдите к документации по Meta XR Audio SDK для своего движка:
— Meta XR Audio SDK для нативного движка Unity;
— Meta XR Audio SDK для FMOD и Unity;
— Meta XR Audio SDK для Wwise и Unity;
— Meta XR Audio SDK для нативного движка Unreal;
— Meta XR Audio SDK для FMOD и Unreal;
— Meta XR Audio SDK для Wwise и Unreal.

Эта документация больше не обновляется и будет удалена.

Oculus Lipsync предлагает плагин Unity для Windows или macOS, который можно использовать для синхронизации движений губ аватара со звуками речи и смехом. Lipsync анализирует входной аудиопоток с микрофона или из аудиофайла и предсказывает набор значений, называемых виземами. Они представляют собой жесты, выражения лица и губ, соответствующие определенному звуку речи. Термин "визема" используется в чтении по губам и является базовой визуальной единицей разборчивости. В компьютерной анимации виземы могут использоваться для анимации аватаров, чтобы они выглядели говорящими.

Lipsync использует репертуар визем для изменения аватаров в зависимости от заданного входного аудиопотока. Каждая визема нацелена на определенную геометрическую морфу аватара и влияет на то, как эта цель будет выражена на модели. С помощью Lipsync мы можем генерировать реалистичные движения губ синхронно с произносимой или слышимой речью. Это улучшает визуальные подсказки, которые можно использовать при наполнении приложения аватарами, независимо от того, управляется ли персонаж пользователем или относится к неигровым персонажем (NPC).

Система Lipsync сопоставляется с 15 отдельными виземами: sil, PP, FF, TH, DD, kk, CH, SS, nn, RR, aa, E, ih, oh и ou. Эти виземы описывают выражение лица, возникающее при произнесении соответствующего звука речи. Например, визема sil соответствует молчанию или нейтральному выражению лица, PP — произнесению первого слога в слове "popcorn", а FF — первого слога в слове "fish". Изображения, представляющие каждую визему, см. в справочных изображениях визем.

Эти 15 визем выбраны таким образом, чтобы обеспечить максимальный диапазон движений губ независимо от языка. Подробнее см. в стандарте визем MPEG-4⁠.

Анимированный пример Lipsync

На следующем анимированном изображении показано, как можно использовать Lipsync, чтобы сказать: "Welcome to the Oculus Lipsync demo" (Добро пожаловать на демонстрацию Oculus Lipsync).

Обнаружение смеха

В Lipsync версии 1.30.0 и более поздних поддерживается функция распознавания смеха, которая позволяет придать аватарам дополнительный характер и эмоции.

В следующей анимации показан пример распознавания смеха.

В последующих разделах изложены требования, а также информация о скачивании плагина Lipsync для Unity и его настройке для разработки.

Требования

Для интеграции Lipsync в Unity требуется версия Unity 5.x Professional или Personal или более поздняя, ориентированная на платформы Android или Windows и работающая на Windows 7, 8 или 10. В настоящее время также поддерживается OS X 10.9.5 и более поздних версий. Подробнее о рекомендуемых версиях см. в статье Совместимость и требования Unity.

Скачивание и импорт

Чтобы скачать интеграцию Lipsync Unity и импортировать ее в проект Unity, выполните следующие действия.

Скачайте пакет Oculus Lipsync Unity со страницы Oculus Lipsync Unity.

Распакуйте ZIP-архив.

Откройте свой проект в редакторе Unity или создайте новый.

В редакторе Unity выберите Assets > Import Package > Custom Package (Объекты > Импортировать пакет > Пользовательский пакет).

Выберите пакет OVRLipSync.unity в подпапке LipSync\UnityPlugin из архива, распакованного на первом шаге, и импортируйте его. Когда откроется диалог Importing Package (Импорт пакета), не меняйте выбор объектов и нажмите Import (Импортировать).

Примечание. Мы рекомендуем удалить все ранее импортированные версии интеграции Lipsync Unity перед импортом новой версии.

Если вы хотите использовать оба плагина, OVRVoiceMod и OVRLipsync, следует установить унифицированный пакет Unity.

Путеводитель по темам

Описание	Тема
Использование Oculus Lipsync	Использование пакета Oculus Lipsync
Использование предварительно рассчитанных визем для повышения производительности	Руководство по предварительному расчету визем для Unity
Пример работы с Lipsync	Изучение Oculus Lipsync на примере Unity
Справочные изображения визем	Справка по виземам