ControlNet Pose

Belangrijkste functies

Het model jagilley/controlnet-pose wordt gebruikt om afbeeldingen met mensen aan te passen met behulp van poseherkenning. Voer een afbeelding en prompt in; het model genereert een afbeelding zoals bij Stable Diffusion en Openpose detecteert de pose.

Modelbeschrijving

ControlNet is een neurale netwerkstructuur waarmee vooraf getrainde grote diffusiemodellen naast prompts ook aanvullende invoercondities kunnen ondersteunen. ControlNet leert taakspecifieke condities end-to-end en blijft robuust leren, zelfs wanneer de trainingsdataset klein is (< 50k voorbeelden). Grote diffusiemodellen zoals Stable Diffusion kunnen met ControlNets worden uitgebreid voor conditionele invoer zoals randkaarten, segmentatiekaarten, keypoints en meer.

Invoerparameters

• image: invoerafbeelding (verplicht).
• prompt: prompt voor het model (verplicht; standaard an astronaut on the moon, digital art).
• num_samples: aantal voorbeelden; hogere waarden kunnen OOM veroorzaken (standaard 1).
• image_resolution: resolutie van de te genereren afbeelding (standaard 512).
• low_threshold / high_threshold: lage/hoge drempel voor Canny-lijndetectie (standaard 100/200).
• ddim_steps: aantal stappen (standaard 20).
• scale: schaal voor classifier-free guidance (standaard 9).
• seed: seed.
• eta: bepaalt hoeveel ruis tijdens het denoising-diffusieproces wordt toegevoegd; een hogere waarde betekent meer ruis (standaard 0).
• a_prompt: aanvullende tekst die aan de prompt wordt toegevoegd (standaard best quality, extremely detailed).
• n_prompt: negatieve prompt (standaard longbody, lowres, bad anatomy...).
• detect_resolution: resolutie waarop de detectiemethode wordt toegepast (standaard 512).

Gebruik

Je kunt het model via Node.js, Python en de HTTP API op Replicate uitvoeren, of lokaal met Cog en Docker.

Doelgroep en belangrijkste voordelen

Gericht op AI-ontwikkelaars en liefhebbers van beeldgeneratie. Het belangrijkste voordeel is het genereren van nieuwe afbeeldingen van hoge kwaliteit op basis van tekstprompts, terwijl de menselijke pose uit de invoerafbeelding strikt behouden blijft. Zo worden de generatiemogelijkheden van Stable Diffusion gecombineerd met de nauwkeurige posecontrole van ControlNet.

Prijs en kosten

Dit model kost op Replicate ongeveer $0.15 per uitvoering (6 uitvoeringen per $1), afhankelijk van de invoer. Het draait op Nvidia A100 (80GB)-GPUhardware. Voorspellingen zijn meestal binnen 108 seconden voltooid. Bij de eerste API-aanroep wordt het koude model gestart, waardoor deze langer kan duren.