Omniverse Audio2Face

Omniverse Audio2Face 是一款参考应用程序，用于简化 3D 角色的动画，使其与任何配音轨道匹配。它预先加载了一个 3D 角色模型，可以与配音轨道一起动画，音频输入会进入一个预训练的深度神经网络，并将输出驱动角色网格的 3D 顶点，以实现实时的面部动画。它还具有角色转移功能，允许用户将角色重定向到任何 3D 人类或类人形脸部，并允许他们在场景中控制角色的情感，通过 AI 网络。它还具有数据转换功能，允许用户进行混合形状转换和混合权重导出选项，并支持与 Blender 和 Epic Games Unreal Engine 的 Blendshapes 导出和导入，为角色生成动画。