Replicate

Belangrijkste functionaliteit

methexis-inc/img2prompt genereert een geschatte tekstprompt met stijl. Die kan met Stable Diffusion worden gebruikt om vergelijkbare versies van een afbeelding of schilderij te maken. Het model is geoptimaliseerd voor Stable Diffusion (CLIP ViT-L/14). De CLIP Interrogator vergelijkt een opgegeven afbeelding met verschillende kunstenaars, media en stijlen met behulp van de OpenAI CLIP-modellen. Zo wordt onderzocht hoe verschillende modellen de inhoud van de afbeelding interpreteren. De resultaten worden gecombineerd met een BLIP-bijschrift om een tekstprompt voor te stellen.

Gebruik en workflow

1. Invoer: upload een bestand vanaf je computer of geef een afbeeldings-URL op.
2. Verwerking: het model analyseert de afbeelding met ViT-L/14.
3. Uitvoer: er wordt een tekstprompt gegenereerd met de inhoud, stijl, kunstenaars en andere kenmerken van de afbeelding, bijvoorbeeld a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing.

Uitvoermethoden

• API-aanroepen: Node.js, Python en HTTP API worden ondersteund. Je moet de omgevingsvariabele REPLICATE_API_TOKEN instellen en de modelversie-ID 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5 gebruiken.
• Lokaal uitvoeren: de tool kan met Cog of Docker worden gedownload en lokaal worden uitgevoerd. Nvidia T4-GPU-hardware is vereist.

Prijzen en kosten

• Dit model kost op Replicate ongeveer $0.011 per uitvoering, oftewel 90 uitvoeringen per $1, maar dit varieert afhankelijk van je invoer.
• Voorspellingen zijn doorgaans binnen 49 seconden voltooid. De eerste API-aanroep start het model op (cold boot) en kan langer duren; volgende reacties zijn snel.

Technische achtergrond en bron

Dit is een licht aangepaste versie van het CLIP Interrogator-notebook van @pharmapsychotic. Het is open source onder de bijbehorende License. De broncode staat op GitHub in pharmapsychotic/clip-interrogator.