Omniverse Audio2Face

Omniverse Audio2Faceは、あらゆるナレーション音声に合わせた3Dキャラクターのアニメーション制作を簡単にするリファレンスアプリケーションです。アニメーション可能な3Dキャラクターモデルがあらかじめ用意されており、ナレーション音声を使って動かせます。

音声入力は事前学習済みのディープニューラルネットワークに送られ、その出力がキャラクターメッシュの3D頂点を駆動して、リアルタイムでフェイシャルアニメーションを生成します。キャラクター転送機能では、人間または人間に近い外見の3Dフェイスへリターゲットできます。また、シーン内の複数キャラクターに合わせて出力をスケールし、AIネットワークでキャラクターの感情を制御できます。

さらに、ブレンドシェイプ変換やブレンドウェイトの書き出しなどのデータ変換機能を備えています。BlenderおよびEpic Games Unreal Engine向けのBlendshapesを使ったインポートとエクスポートにも対応し、キャラクターのモーションを生成できます。