Oculus Lipsync propose un plugin Unity à utiliser sur Windows ou macOS pour synchroniser les mouvements des lèvres des avatars avec les sons et les rires. Lipsync analyse le flux d’entrée audio d’un micro ou d’un fichier audio et prédit un ensemble de valeurs appelé visèmes, qui sont des gestes ou des expressions des lèvres et du visage qui correspondent à un son vocal particulier. Le terme visème est utilisé dans le cadre de la lecture sur les lèvres et constitue une unité visuelle d’intelligibilité de base. Dans le domaine de l’animation informatique, les visèmes peuvent être utilisés pour animer les avatars afin qu’ils aient l’air de parler.

Lipsync utilise un répertoire de visèmes pour modifier les avatars en fonction d’un flux d’entrée audio spécifié. Chaque visème vise une cible morphologique géométrique donnée dans un avatar afin d’influencer l’intensité de l’expression sur le modèle. Grâce à Lipsync, nous pouvons générer un mouvement réaliste des lèvres synchronisé sur ce qui est dit ou entendu. Cela améliore les indices visuels que l’on peut utiliser lorsque l’on place des avatars dans une application, que le personnage soit contrôlé par l’utilisateur ou l’utilisatrice ou qu’il s’agisse d’un personnage non jouable (PNJ).

Le système Lipsync s’applique à 15 cibles visuelles distinctes : sil, PP, FF, TH, DD, kk, CH, SS, nn, RR, aa, E, ih, oh et ou. Les visèmes traduisent l’expression faciale produite lors de la prononciation du son vocal correspondant. Par exemple, le visème sil correspond à une expression silencieuse/neutre, PP correspond à la prononciation de la première syllabe de « popcorn » et FF à la première syllabe de « fiche ». Consultez la page Images de référence des visèmes pour voir les images correspondant à chaque visème.

Ces 15 visèmes ont été sélectionnés pour offrir une section maximale de mouvements des lèvres et ne dépendent pas de la langue. Pour en savoir plus, voir la Norme MPEG-4 pour les visèmes⁠.

Exemple d’utilisation de Lipsync dans une image animée

L’image animée suivante montre comment vous pouvez utiliser Lipsync pour dire « Welcome to the Oculus Lipsync demo » (Bienvenue dans la démo Oculus Lipsync).

Détection des rires

Dans la version 1.30.0 de Lipsync et les suivantes, Lipsync permet de détecter les rires, ce qui peut aider à ajouter plus de caractère et d’émotion à vos avatars.

L’animation ci-dessous montre un exemple de détection de rire.

Les sections suivantes décrivent les conditions requises, et expliquent le téléchargement et la configuration pour le développement avec le plugin Lipsync pour Unity.

Conditions requises

L’intégration de Lipsync Unity nécessite Unity 5.x Professional ou Personal ou une version plus récente, ciblant les plateformes Android ou Windows, fonctionnant sous Windows 7, 8 ou 10. OS X 10.9.5 et versions ultérieures sont également prises en charge. Consultez la section Compatibilité Unity et conditions requises pour de plus amples détails sur nos versions recommandées.

Téléchargement et importation

Pour télécharger l’intégration Lipsync Unity et l’importer dans un projet Unity, suivez les étapes ci-dessous :

Téléchargez le package Oculus Lipsync Unity sur la page Oculus Lipsync Unity.

Procédez à l’extraction de l’archive ZIP.

Ouvrez votre projet dans l’éditeur Unity ou créez-en un.

Dans l’éditeur Unity, accédez à Assets > Import Package > Custom Package (Éléments > Importer le package > Package personnalisé).

Sélectionnez le package OVRLipSync.unity dans le sous-dossier LipSync\UnityPlugin de l’archive que vous avez extraite lors de la première étape et importez-le. Lorsque la boîte de dialogue Importing Package (Importation d’un package) s’ouvre, laissez tous les éléments sélectionnés et cliquez sur Import (Importer).

Remarque : nous recommandons de supprimer toutes les versions précédemment importées de l’intégration Lipsync Unity avant d’importer une nouvelle version.

Si vous souhaitez utiliser les deux plugins OVRVoiceMod et OVRLipsync, vous devez installer le package unifié Unity.

Guide de sujets

Description	Sujet
Utilisation d’Oculus Lipsync	Utilisation du package Oculus Lipsync
Utilisation de visèmes précalculés pour améliorer les performances	Guide de précalcul des visèmes pour Unity
Exemple Lipsync	Exploration de Oculus Lipsync avec l’exemple Unity
Images de référence pour les visèmes	Référence sur les visèmes