Framepack AI

主な機能

• 入力フレームを固定長のコンテキスト「ノート」に圧縮し、動画の長さに応じたメモリ増加を防ぎます。
• NVIDIA RTX 30XX、40XX、50XX GPUで、6GB VRAMのみで60～120秒・30fpsの動画を生成。
• RTX 4090では1フレーム約2.5秒、teacache最適化で約1.5秒。
• 重要度に応じた段階的な圧縮と差分処理で「ドリフト」現象を抑制。
• PyTorch attention、xformers、flash-attn、sage-attentionに対応。

技術情報

次フレーム予測ニューラルネットワーク構造を採用し、計算負荷を動画の長さから切り離します。FP16とBF16に対応し、オープンソースとしてGitHubで無料公開されています。

使い方と対象ユーザー

1. 入力画像を準備します。
2. 生成パラメータを設定します。
3. 動画生成を開始します。
4. 高品質動画を書き出します。

コンテンツ制作者、映像制作の専門家、AI研究者、一般向けGPUのユーザーに適しています。ローカル環境で動作するため、プライバシー保護にも役立ちます。無料かつオープンソースで、利用制限はありません。

FAQ

WindowsまたはLinuxで、6GB以上のVRAMを備えたNVIDIA RTX 30XX、40XX、50XX GPUが必要です。ハードウェアと最適化方法により、60～120秒の30fps動画を生成できます。ControlNetの開発者Lvmin Zhangとスタンフォード大学教授Maneesh Agrawalaが開発し、コードとモデルはGitHubで公開されています。