Omniverse Audio2Face

Omniverse Audio2Face es una aplicación de referencia que simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz. Incluye un modelo de personaje 3D preinstalado que puede animarse con una pista de voz. La entrada de audio se procesa mediante una red neuronal profunda preentrenada y su salida controla los vértices 3D de la malla del personaje para crear animación facial en tiempo real.

También incorpora una función de transferencia de personajes que permite adaptar la animación a cualquier rostro humano o de apariencia humana en 3D, escalar la salida con varios personajes en la escena y controlar la emoción del personaje mediante una red de IA. Además, ofrece funciones de conversión de datos, como la conversión de blendshapes y opciones de exportación de blendweights, y admite la exportación e importación de blendshapes para Blender y Epic Games Unreal Engine con el fin de generar movimiento para personajes.