Replicate

Funcionalidade principal

methexis-inc/img2prompt gera prompts de texto aproximados que incluem o estilo e podem ser usados com o Stable Diffusion para recriar versões semelhantes de uma imagem ou pintura. Ele é otimizado para Stable Diffusion (CLIP ViT-L/14). O CLIP Interrogator compara uma imagem com vários artistas, meios e estilos usando modelos CLIP da OpenAI para analisar como eles interpretam o conteúdo da imagem. Ele também combina os resultados com uma legenda do BLIP para sugerir um prompt de texto.

Uso e fluxo de trabalho

1. Entrada: envie um arquivo do seu computador ou forneça a URL de uma imagem.
2. Processamento: o modelo analisa a imagem usando o ViT-L/14.
3. Saída: gera um prompt de texto com o conteúdo, o estilo, os artistas e outros elementos da imagem; por exemplo, “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Métodos de execução

• Chamadas de API: oferece suporte a Node.js, Python e API HTTP. É necessário definir a variável de ambiente REPLICATE_API_TOKEN e usar o ID da versão do modelo 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Execução local: pode ser baixado e executado localmente usando Cog ou Docker. É necessário ter hardware com GPU Nvidia T4.

Preços e custos

• Este modelo custa aproximadamente $0.011 por execução no Replicate, ou 90 execuções por $1, mas isso varia de acordo com as entradas.
• As previsões normalmente terminam em 49 segundos. A primeira chamada de API inicializa o modelo (inicialização a frio) e pode demorar mais; as respostas seguintes serão rápidas.

Informações técnicas e origem

É uma versão ligeiramente adaptada do notebook CLIP Interrogator de @pharmapsychotic. É de código aberto sob sua licença, com o código-fonte hospedado no GitHub (pharmapsychotic/clip-interrogator).