Deep floyd

Belangrijkste functies en kenmerken

DeepFloyd IF is een modulair systeem met een bevroren tekstencoder en drie cascaded pixel-diffusiemodules. Het basismodel genereert afbeeldingen van 64x64 px op basis van een tekstprompt; twee super-resolutiemodellen genereren afbeeldingen met een resolutie van 256x256 px en 1024x1024 px. Alle fasen gebruiken een bevroren tekstencoder op basis van de T5-transformer om tekstembeddings te extraheren. Deze worden doorgegeven aan een UNet-architectuur met cross-attention en attention pooling. Het model presteert beter dan huidige state-of-the-artmodellen en behaalt een zero-shot FID-score van 6.66 op de COCO-dataset.

Belangrijkste modi en toepassingen

1. Dream (Text-to-Image): genereert afbeeldingen uit tekstprompts met aanpasbare parameters zoals guidance_scale en sample_timestep_respacing.
2. Zero-shot Image-to-Image Translation (Style Transfer): de promptoutput wordt weergegeven in de stijl van support_pil_img, met ondersteuning voor onder meer professional origami, oil art, plastic building bricks en classic anime.
3. Super Resolution: IF-II en IF-III of Stable x4 kunnen ook worden uitgevoerd op afbeeldingen die niet met IF zijn gemaakt om afbeeldingen met lage resolutie op te schalen.
4. Zero-shot Inpainting: voert lokale herschildering uit op basis van de oorspronkelijke afbeelding, een inpainting-masker en een tekstprompt.

Gebruik en integratie

• Geïntegreerd met de Hugging Face Diffusers-bibliotheek. Met CPU offloading kan de volledige IF-pipeline worden uitgevoerd met slechts 14 GB VRAM. Bij torch>=2.0.0 moeten alle functies enable_xformers_memory_efficient_attention() worden verwijderd.
• Gebruikers hebben een Hugging Face-account nodig, moeten de licentie op de model card accepteren en lokaal inloggen bij huggingface_hub met een access token.
• Lokale installatie via de Python-bibliotheek deepfloyd_if is beschikbaar; hiervoor zijn xformers en CLIP vereist.

Hardwarevereisten

Minimaal 16GB VRAM is vereist voor IF-I-XL (4.3B) en IF-II-L (1.2B). Voor toevoeging van de Stable x4-upscaler tot 1024x1024 is 24GB VRAM nodig. xformers en de omgevingsvariabele FORCE_MEM_EFFICIENT_ATTN=1 zijn vereist.

Modelbibliotheek en schaal

De modelbibliotheek bevat onder meer IF-I-M (400M), IF-I-L (900M), IF-I-XL (4.3B), IF-II-M (450M), IF-II-L (1.2B) en IF-III-L (700M).

Prijs en licentie

De code is uitgebracht onder een specifieke licentie met bepaalde beperkingen. De eerste release van het IF-model valt tijdelijk onder een beperkte licentie voor uitsluitend onderzoeksdoeleinden, met de bedoeling later een volledig open-sourcemodel uit te brengen. Modelgewichten zijn gratis beschikbaar via Hugging Face.