Replicate

Funzionalità principali

methexis-inc/img2prompt genera prompt testuali approssimativi che includono lo stile e possono essere usati con Stable Diffusion per ricreare versioni simili di un'immagine o di un dipinto. È ottimizzato per Stable Diffusion (CLIP ViT-L/14). CLIP Interrogator confronta un'immagine con diversi artisti, mezzi e stili usando i modelli CLIP di OpenAI, per analizzare come i vari modelli interpretano il contenuto dell'immagine. Combina inoltre i risultati con una descrizione BLIP per suggerire un prompt testuale.

Utilizzo e flusso di lavoro

1. Input: carica un file dal tuo computer o fornisci l'URL di un'immagine.
2. Elaborazione: il modello analizza l'immagine usando ViT-L/14.
3. Output: genera un prompt testuale con contenuto, stile, artisti e altri elementi dell'immagine, ad esempio “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Metodi di esecuzione

• Chiamate API: supporta Node.js, Python e API HTTP. È necessario impostare la variabile d'ambiente REPLICATE_API_TOKEN e usare l'ID della versione del modello 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Esecuzione locale: può essere scaricato ed eseguito localmente con Cog o Docker. È necessario un hardware con GPU Nvidia T4.

Prezzi e costi

• Il costo del modello su Replicate è di circa $0.011 per esecuzione, ovvero 90 esecuzioni per $1, ma varia in base agli input.
• Le previsioni vengono generalmente completate in 49 secondi. La prima chiamata API avvia il modello (cold boot) e può richiedere più tempo; le risposte successive saranno rapide.

Contesto tecnico e fonte

È una versione leggermente adattata del notebook CLIP Interrogator di @pharmapsychotic. È open source secondo la relativa licenza, con codice sorgente ospitato su GitHub (pharmapsychotic/clip-interrogator).