Wan 2.2 by Alibaba Wan AI

Wichtige Funktionen

• Text zu Video: Erstellt hochwertige Videos aus Textbeschreibungen.
• Bild zu Video: Wandelt statische Bilder in dynamische Videos um.
• Steuerung des ersten und letzten Frames: Ermöglicht die Festlegung von Start- und Endframe zur Erzeugung der Übergänge.
• Erweiterte Steuerung: Bietet präzise Kontrolle über die Videogenerierung und kreative Optionen.
• Charakter- und Bewegungsreferenzen: Kombiniert den Charakterstil mit einer Referenzbewegung für personalisierte Videos.

Technische Merkmale

• SOTA-Leistung: Übertrifft bestehende Open-Source-Modelle und kommerzielle Lösungen in mehreren Benchmarks kontinuierlich.
• Consumer-GPU-Unterstützung: Das T2V-1.3B-Modell benötigt nur 8,19 GB VRAM und ist mit fast allen Consumer-GPUs kompatibel.
• Multitasking: Überzeugt bei Text-zu-Video, Bild-zu-Video, Videobearbeitung, Text-zu-Bild und Video-zu-Audio.
• Visuelle Texterzeugung: Wird als erstes Videomodell beschrieben, das chinesischen und englischen Text erzeugen kann.
• Wan-VAE: Kodiert und dekodiert 1080P-Videos beliebiger Länge effizient.

Modellversionen

• Wan2.2-I2V: Modell mit 14 Milliarden Parametern für 480P und 720P.
• Wan2.2-T2V: Modell mit 14 Milliarden Parametern für 480P und 720P.
• Wan2.2-T2V-1.3B: Leichte Version für Consumer-GPUs.
• Wan2.2-FLF2V-14B-720P: Modell zur Videogenerierung aus erstem und letztem Frame.

Anwendungen und Nutzung

Wan 2.2 eignet sich für komplexe Körperbewegungen, Rotationen, dynamische Szenenübergänge und flüssige Kamerafahrten. Es simuliert reale Physik und Objektinteraktionen, erzeugt filmähnliche Bilder und unterstützt präzise Bearbeitungen mit Bild- oder Videoreferenzen.

Videos lassen sich über die Weboberfläche durch Texteingabe oder Bild-Upload erstellen. Unterstützt werden intelligente Erweiterung und ein Sicherheitsprüfer. Ein 5 Sekunden langes 480P-Video benötigt auf einer RTX 4090 130 Credits und etwa 4 Minuten.

Die Zielgruppe umfasst professionelle Content-Ersteller, Videoproduzenten, Designer, Entwickler, Unternehmen und Nutzer, die KI-Videogenerierung ausprobieren möchten. Zu den Vorteilen zählen Open-Source-Verfügbarkeit, Consumer-Hardware-Unterstützung, Vielseitigkeit, kommerziellen Lösungen vergleichbare Qualität sowie chinesische und englische Textunterstützung.