Framepack AI

Funciones principales

• Comprime todos los fotogramas de entrada en «notas» de contexto de longitud fija, evitando que el uso de memoria aumente con la duración.
• Genera vídeos de 60 a 120 segundos a 30 fps con 6 GB de VRAM en GPU NVIDIA RTX 30XX, 40XX y 50XX.
• Aproximadamente 2,5 segundos por fotograma en una RTX 4090, o 1,5 segundos con la optimización teacache.
• La compresión progresiva y el tratamiento diferencial reducen el fenómeno de «deriva».
• Admite PyTorch attention, xformers, flash-attn y sage-attention.

Información técnica

Se basa en una arquitectura neuronal de predicción del siguiente fotograma y desacopla la carga de cálculo de la duración del vídeo. Admite los formatos FP16 y BF16. Es de código abierto y está disponible gratis en GitHub.

Flujo de uso

1. Prepara una imagen de entrada.
2. Configura los parámetros de generación.
3. Inicia la generación.
4. Exporta el vídeo.

Está dirigido a creadores de contenido, profesionales de la producción de vídeo, investigadores de IA y usuarios de GPU de consumo. Se ejecuta localmente, lo que ayuda a proteger la privacidad. Es gratuito y de código abierto, sin restricciones de uso.

Preguntas frecuentes

Requiere una GPU NVIDIA RTX 30XX, 40XX o 50XX con al menos 6 GB de VRAM y es compatible con Windows y Linux. Según el hardware y las optimizaciones, puede generar vídeos de 60 a 120 segundos a 30 fps. Fue desarrollado por Lvmin Zhang, creador de ControlNet, y el profesor de Stanford Maneesh Agrawala; el código y los modelos están disponibles públicamente en GitHub.