Replicate

핵심 기능

methexis-inc/img2prompt는 스타일을 포함한 근사 텍스트 프롬프트를 생성합니다. 생성된 프롬프트는 stable diffusion과 함께 사용해 이미지나 그림과 비슷한 버전을 재현할 수 있습니다. stable-diffusion(clip ViT-L/14)에 최적화되어 있습니다. CLIP Interrogator는 OpenAI CLIP 모델을 사용해 입력 이미지를 다양한 아티스트, 매체 및 스타일과 비교하며, 모델이 이미지 콘텐츠를 어떻게 해석하는지 분석합니다. 또한 그 결과를 BLIP 캡션과 결합해 텍스트 프롬프트를 제안합니다.

사용 방법 및 워크플로

1. 입력: 컴퓨터에서 파일을 업로드하거나 이미지 URL을 제공합니다.
2. 처리: 모델이 ViT-L/14를 사용해 이미지를 분석합니다.
3. 출력: 이미지의 콘텐츠, 스타일, 관련 아티스트 등을 포함한 텍스트 프롬프트를 생성합니다. 예: a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing

실행 방법

• API 호출: Node.js, Python 및 HTTP API를 지원합니다. REPLICATE_API_TOKEN 환경 변수를 설정해야 하며, 모델 버전 ID 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5를 사용합니다.
• 로컬 실행: Cog 또는 Docker를 사용해 다운로드한 후 로컬에서 실행할 수 있습니다. Nvidia T4 GPU 하드웨어가 필요합니다.

가격 및 비용

• Replicate에서 이 모델을 실행하는 비용은 약 $0.011, 즉 $1당 90회이지만 입력에 따라 달라집니다.
• 예측은 일반적으로 49초 이내에 완료됩니다. 첫 API 호출에서는 모델이 부팅되는 콜드 부트로 인해 더 오래 걸릴 수 있지만, 이후 응답은 빠릅니다.

기술적 배경 및 소스

@pharmapsychotic의 CLIP Interrogator notebook을 약간 수정한 버전입니다. 해당 라이선스에 따른 오픈 소스이며, 소스 코드는 GitHub(pharmapsychotic/clip-interrogator)에서 제공됩니다.