Replicate

Funcionalidad principal

methexis-inc/img2prompt genera prompts de texto aproximados que incluyen el estilo y que pueden usarse con Stable Diffusion para recrear versiones similares de una imagen o pintura. Está optimizado para Stable Diffusion (CLIP ViT-L/14). CLIP Interrogator compara una imagen con diversos artistas, medios y estilos mediante modelos CLIP de OpenAI para analizar cómo interpretan su contenido. También combina los resultados con una descripción de BLIP para sugerir un prompt de texto.

Uso y flujo de trabajo

1. Entrada: sube un archivo desde tu equipo o proporciona la URL de una imagen.
2. Procesamiento: el modelo analiza la imagen mediante ViT-L/14.
3. Salida: genera un prompt de texto con el contenido, el estilo, los artistas y otros elementos de la imagen; por ejemplo, “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Métodos de ejecución

• Llamadas API: admite Node.js, Python y una API HTTP. Requiere configurar la variable de entorno REPLICATE_API_TOKEN y utiliza el identificador de versión del modelo 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Ejecución local: puede descargarse y ejecutarse localmente con Cog o Docker. Requiere hardware con una GPU Nvidia T4.

Precios y costes

• El modelo cuesta aproximadamente $0.011 por ejecución en Replicate, o 90 ejecuciones por $1, aunque esto varía según las entradas.
• Las predicciones suelen completarse en 49 segundos. La primera llamada a la API inicia el modelo (arranque en frío) y puede tardar más; las respuestas posteriores serán rápidas.

Información técnica y origen

Es una versión ligeramente adaptada del cuaderno CLIP Interrogator de @pharmapsychotic. Es de código abierto bajo su licencia, y el código fuente está alojado en GitHub (pharmapsychotic/clip-interrogator).