Omniverse Audio2Face

Omniverse Audio2Face est une application de référence qui simplifie l’animation d’un personnage 3D pour l’adapter à n’importe quelle piste de voix off. Elle est préchargée avec un modèle de personnage 3D pouvant être animé à partir d’une piste audio.

L’entrée audio est traitée par un réseau neuronal profond préentraîné, dont la sortie pilote en temps réel les sommets du maillage 3D du personnage afin de créer l’animation faciale. La fonction de transfert de personnage permet de réaffecter l’animation à n’importe quel visage humain ou d’apparence humaine, de mettre la sortie à l’échelle avec plusieurs personnages dans la scène et de contrôler les émotions du personnage avec un réseau d’IA.

L’application propose également des fonctions de conversion de données, notamment la conversion des blendshapes et l’exportation des blendweights. Elle prend en charge l’exportation et l’importation avec les Blendshapes pour Blender et Epic Games Unreal Engine afin de générer des mouvements pour les personnages.