DeepFloyd IF

Fonctionnalités et caractéristiques principales

DeepFloyd IF est une architecture modulaire composée d’un encodeur de texte gelé et de trois modules de diffusion de pixels en cascade : un modèle de base qui génère des images de 64x64 px à partir d’un prompt textuel, ainsi que deux modèles de super-résolution conçus pour produire des images de 256x256 px et 1024x1024 px. Toutes les étapes utilisent un encodeur de texte gelé basé sur le transformeur T5 pour extraire les représentations textuelles, ensuite transmises à une architecture UNet enrichie par une attention croisée et une mise en commun de l’attention. Le modèle surpasse les modèles de pointe actuels, avec un score FID zero-shot de 6.66 sur le jeu de données COCO, ce qui souligne le potentiel d’architectures UNet plus grandes dans la première étape des modèles de diffusion en cascade.

Modes et cas d’utilisation

1. Dream (texte vers image) : génère des images à partir de prompts textuels avec des paramètres personnalisables tels que guidance_scale et sample_timestep_respacing.
2. Traduction d’image vers image zero-shot (transfert de style) : la sortie est générée dans le style de l’image support_pil_img, avec notamment des styles d’origami professionnel, de peinture à l’huile, de briques de construction en plastique et d’anime classique.
3. Super-résolution : IF-II et IF-III, ou Stable x4, peuvent être exécutés sur une image qui n’a pas nécessairement été générée par IF afin d’agrandir des images basse résolution.
4. Inpainting zero-shot : effectue une retouche locale à partir de l’image originale, du masque d’inpainting et du prompt textuel fournis.

Utilisation et intégration

• Intégration avec la bibliothèque Hugging Face Diffusers, avec déchargement du modèle vers le CPU pour exécuter l’ensemble du pipeline IF avec seulement 14 GB de VRAM. Avec torch>=2.0.0, toutes les fonctions enable_xformers_memory_efficient_attention() doivent être supprimées.
• Un compte Hugging Face est nécessaire. Les utilisateurs doivent accepter la licence sur la fiche du modèle et se connecter localement avec huggingface_hub à l’aide d’un jeton d’accès.
• Une installation locale via la bibliothèque Python deepfloyd_if est également disponible et nécessite xformers et CLIP.

Configuration matérielle requise

• Au moins 16GB de VRAM pour IF-I-XL (4.3B) et IF-II-L (1.2B) ; 24GB de VRAM sont nécessaires pour inclure également l’upscaler Stable x4 jusqu’à 1024x1024. xformers est requis, ainsi que la définition de la variable d’environnement FORCE_MEM_EFFICIENT_ATTN=1.

Zoo de modèles et échelle

Le zoo comprend des modèles de différentes tailles, notamment IF-I-M (400M), IF-I-L (900M), IF-I-XL (4.3B), IF-II-M (450M), IF-II-L (1.2B) et IF-III-L (700M).

Tarification et licence

Le code est publié sous une licence spécifique comportant certains points de restriction. La version initiale du modèle IF est temporairement proposée sous une licence limitée à la recherche, avec l’intention de publier ultérieurement un modèle entièrement open source. Les poids du modèle sont accessibles gratuitement via Hugging Face.