Framepack AI

Principais recursos

• Comprime todos os quadros de entrada em “notas” de contexto de tamanho fixo, evitando que o uso de memória cresça com a duração do vídeo.
• Gera vídeos de 60 a 120 segundos, a 30 fps, com 6 GB de VRAM em GPUs NVIDIA RTX 30XX, 40XX e 50XX.
• Cerca de 2,5 segundos por quadro em uma RTX 4090, ou 1,5 segundo com a otimização teacache.
• A compressão progressiva e o tratamento diferencial reduzem o fenômeno de “drift”.
• Suporta PyTorch attention, xformers, flash-attn e sage-attention.

Informações técnicas

Baseia-se em uma arquitetura de rede neural de previsão do próximo quadro e separa a carga computacional da duração do vídeo. Suporta FP16 e BF16. É open source e está disponível gratuitamente no GitHub.

Fluxo de uso

1. Prepare uma imagem de entrada.
2. Configure os parâmetros de geração.
3. Inicie a geração do vídeo.
4. Exporte o vídeo em alta qualidade.

É voltado para criadores de conteúdo, profissionais de produção de vídeo, pesquisadores de IA e usuários de GPUs para consumidores. Executa localmente, ajudando a proteger a privacidade. É gratuito e open source, sem restrições de uso.

Perguntas frequentes

Requer uma GPU NVIDIA RTX 30XX, 40XX ou 50XX com pelo menos 6 GB de VRAM e é compatível com Windows e Linux. Dependendo do hardware e das otimizações, pode gerar vídeos de 60 a 120 segundos a 30 fps. Foi desenvolvido por Lvmin Zhang, criador do ControlNet, e pelo professor de Stanford Maneesh Agrawala; código e modelos estão disponíveis publicamente no GitHub.