Omniverse Audio2Face

Omniverse Audio2Face is een referentieapplicatie die het animeren van een 3D-personage op basis van elke voice-overtrack vereenvoudigt. De applicatie wordt geleverd met een vooraf geladen 3D-personagemodel dat met een voice-overtrack kan worden geanimeerd. De audio-invoer wordt verwerkt door een vooraf getraind deep neural network. De uitvoer stuurt in realtime de 3D-vertices van het personagemesh aan om de gezichtsanimatie te creëren.

De functie voor personageoverdracht maakt het mogelijk om animatie opnieuw toe te wijzen aan elk 3D-menselijk of mensachtig gezicht. Gebruikers kunnen de uitvoer schalen voor meerdere personages in een scène en de emotie van het personage beheren met een AI-netwerk. De functies voor dataconversie omvatten blendshape-conversie en opties voor blendweight-export. Ook worden export en import met Blendshapes voor Blender en Epic Games Unreal Engine ondersteund om beweging voor personages te genereren.