Omniverse Audio2Face

Omniverse Audio2Face là ứng dụng tham chiếu giúp đơn giản hóa việc tạo hoạt ảnh cho nhân vật 3D khớp với bất kỳ bản thu âm giọng nói nào. Ứng dụng được cài sẵn một mô hình nhân vật 3D có thể tạo hoạt ảnh bằng bản thu âm giọng nói. Âm thanh đầu vào được đưa vào mạng nơ-ron sâu đã được huấn luyện trước, sau đó đầu ra điều khiển các đỉnh 3D của lưới nhân vật để tạo hoạt ảnh khuôn mặt theo thời gian thực.

Ứng dụng cũng có tính năng chuyển nhân vật, cho phép chuyển mục tiêu sang bất kỳ khuôn mặt 3D nào của người hoặc có nét giống người, mở rộng đầu ra cho nhiều nhân vật trong cùng cảnh và điều khiển cảm xúc của nhân vật bằng mạng AI. Ngoài ra, ứng dụng cung cấp các tính năng chuyển đổi dữ liệu như chuyển đổi blendshape và tùy chọn xuất blendweight, đồng thời hỗ trợ xuất-nhập blendshape cho Blender và Epic Games Unreal Engine để tạo chuyển động cho nhân vật.