Replicate

Kernfunktionen

methexis-inc/img2prompt erzeugt ungefähre Text-Prompts einschließlich Stil, die mit Stable Diffusion verwendet werden können, um ähnliche Versionen eines Bildes oder Gemäldes nachzubilden. Das Modell ist für Stable Diffusion (CLIP ViT-L/14) optimiert. Der CLIP Interrogator prüft ein Bild mithilfe der OpenAI-CLIP-Modelle gegen verschiedene Künstler, Medien und Stile, um zu untersuchen, wie die unterschiedlichen Modelle den Bildinhalt interpretieren. Außerdem kombiniert er die Ergebnisse mit einer BLIP-Bildbeschreibung, um einen Text-Prompt vorzuschlagen.

Nutzung und Ablauf

1. Eingabe: Lade eine Datei von deinem Computer hoch oder gib die URL eines Bildes an.
2. Verarbeitung: Das Modell analysiert das Bild mit ViT-L/14.
3. Ausgabe: Es erzeugt einen Text-Prompt mit Bildinhalt, Stil, Künstlern und weiteren Elementen, zum Beispiel “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Ausführungsmethoden

• API-Aufrufe: Unterstützt Node.js, Python und eine HTTP-API. Dafür muss die Umgebungsvariable REPLICATE_API_TOKEN gesetzt werden; verwendet wird die Modellversions-ID 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Lokale Ausführung: Das Modell kann mit Cog oder Docker heruntergeladen und lokal ausgeführt werden. Erforderlich ist Hardware mit einer Nvidia-T4-GPU.

Preise und Kosten

• Die Ausführung dieses Modells auf Replicate kostet ungefähr $0.011 beziehungsweise 90 Ausführungen pro $1. Die tatsächlichen Kosten hängen jedoch von den Eingaben ab.
• Vorhersagen sind normalerweise innerhalb von 49 Sekunden abgeschlossen. Der erste API-Aufruf startet das Modell (Kaltstart) und kann länger dauern; nachfolgende Antworten sind schnell.

Technischer Hintergrund und Quelle

Es handelt sich um eine leicht angepasste Version des CLIP-Interrogator-Notebooks von @pharmapsychotic. Das Projekt ist unter seiner Lizenz Open Source; der Quellcode befindet sich auf GitHub (pharmapsychotic/clip-interrogator).