Omniverse Audio2Face

Omniverse Audio2Face — референсное приложение, упрощающее анимацию 3D-персонажа в соответствии с любой закадровой аудиодорожкой. Оно поставляется с предварительно загруженной 3D-моделью персонажа, которую можно анимировать с помощью закадровой дорожки. Аудиовход передаётся в предварительно обученную глубокую нейронную сеть, а её выход в реальном времени управляет 3D-вершинами сетки персонажа, создавая facial animation.

Функция переноса персонажа позволяет переназначать анимацию на любое 3D-лицо человека или человекоподобного персонажа, масштабировать результат для нескольких персонажей в сцене и управлять эмоциями персонажа с помощью ИИ-сети. Функции преобразования данных включают конвертацию blendshape и экспорт blendweight. Также поддерживается экспорт и импорт Blendshapes для Blender и Epic Games Unreal Engine, чтобы создавать движения персонажей.