Omniverse Audio2Face

Omniverse Audio2Face é um aplicativo de referência que simplifica a animação de um personagem 3D para corresponder a qualquer faixa de voz. Ele vem pré-carregado com um modelo de personagem 3D que pode ser animado com uma faixa de voz. A entrada de áudio é processada por uma rede neural profunda pré-treinada, e a saída controla os vértices 3D da malha do personagem para criar animação facial em tempo real.

O aplicativo também conta com um recurso de transferência de personagem que permite redirecionar a animação para qualquer rosto humano ou semelhante ao humano em 3D, dimensionar a saída com vários personagens na cena e controlar a emoção do personagem com uma rede de IA. Além disso, oferece recursos de conversão de dados, incluindo conversão de blendshapes e opções de exportação de blendweights, e permite exportar e importar blendshapes para o Blender e o Epic Games Unreal Engine para gerar movimentos para personagens.