Omniverse Audio2Face

Omniverse Audio2Face è un'applicazione di riferimento che semplifica l'animazione di un personaggio 3D in base a qualsiasi traccia vocale. Include un modello di personaggio 3D precaricato, animabile con una traccia vocale. L'audio in ingresso viene elaborato da una rete neurale profonda preaddestrata e l'output controlla i vertici 3D della mesh del personaggio per creare l'animazione facciale in tempo reale.

Include anche una funzione di trasferimento del personaggio che consente di applicare l'animazione a qualsiasi volto 3D umano o dall'aspetto umano, ridimensionare l'output con più personaggi nella scena e controllare l'emozione del personaggio tramite una rete IA. Offre inoltre funzioni di conversione dei dati, tra cui la conversione dei blendshape e opzioni di esportazione dei blendweight, oltre al supporto per l'esportazione e l'importazione dei blendshape in Blender ed Epic Games Unreal Engine per generare il movimento dei personaggi.