Omniverse Audio2Face

Omniverse Audio2Face ist eine Referenzanwendung, die die Animation einer 3D-Figur passend zu jeder Sprachaufnahme vereinfacht. Sie enthält ein vorinstalliertes 3D-Figurenmodell, das mit einer Sprachaufnahme animiert werden kann. Die Audioeingabe wird in ein vortrainiertes tiefes neuronales Netz eingespeist. Dessen Ausgabe steuert die 3D-Vertices des Figurenmeshes und erzeugt die Gesichtsanimation in Echtzeit.

Die Anwendung bietet außerdem eine Figurenübertragung, mit der sich die Animation auf jedes menschliche oder menschenähnliche 3D-Gesicht übertragen lässt. Die Ausgabe kann für mehrere Figuren in einer Szene skaliert und die Emotion der Figur mit einem KI-Netzwerk gesteuert werden. Zusätzlich stehen Datenkonvertierungsfunktionen wie die Blendshape-Konvertierung und der Export von Blendweights zur Verfügung. Blendshapes lassen sich für Blender und die Epic Games Unreal Engine exportieren und importieren, um Bewegungen für Figuren zu erzeugen.