Replicate

Fonctionnalités principales

methexis-inc/img2prompt génère approximativement des prompts textuels incluant le style. Ces prompts peuvent être utilisés avec stable diffusion pour recréer des versions similaires d’une image ou d’une peinture. Le modèle est optimisé pour stable-diffusion (clip ViT-L/14). Le CLIP Interrogator utilise les modèles OpenAI CLIP pour comparer une image donnée à différents artistes, supports et styles, afin d’étudier la manière dont les modèles interprètent son contenu. Il combine également ces résultats avec une légende BLIP pour proposer un prompt textuel.

Instructions et flux d’utilisation

1. Entrée : téléversez un fichier depuis votre ordinateur ou fournissez l’URL d’une image.
2. Traitement : le modèle analyse l’image avec ViT-L/14.
3. Sortie : il génère un prompt textuel décrivant notamment le contenu, le style et les artistes associés à l’image, par exemple : a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing.

Méthodes d’exécution

• Appels API : prise en charge de Node.js, Python et de l’API HTTP. La variable d’environnement REPLICATE_API_TOKEN doit être définie et la version du modèle 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5 est utilisée.
• Exécution locale : le modèle peut être téléchargé et exécuté localement avec Cog ou Docker. Un GPU Nvidia T4 est requis.

Tarifs et coûts

• Ce modèle coûte environ $0.011 par exécution sur Replicate, soit 90 exécutions par $1, mais ce montant varie selon les entrées.
• Les prédictions se terminent généralement en 49 secondes. Le premier appel API démarre le modèle et peut prendre plus de temps, tandis que les réponses suivantes sont rapides.

Contexte technique et source

Il s’agit d’une version légèrement adaptée du notebook CLIP Interrogator de @pharmapsychotic. Le projet est open source sous sa licence, et son code source est hébergé sur GitHub (pharmapsychotic/clip-interrogator).