Text-To-Pokemon

주요 기능과 특징

BLIP으로 캡션을 생성한 Pokémon 이미지를 사용해 Stable Diffusion을 파인튜닝한 모델입니다. 텍스트 설명으로 Pokémon 스타일 이미지를 생성할 수 있으며, 별도의 프롬프트 엔지니어링이 필요하지 않습니다.

사용 방법과 입력 매개변수

• prompt (string): 입력 프롬프트. 예: "Yoda".
• num_outputs (integer): 출력할 이미지 수. 1~4, 기본값은 1.
• num_inference_steps (integer): 노이즈 제거 단계 수. 1~50, 기본값은 25.
• guidance_scale (number): classifier-free guidance 스케일. 1~20, 기본값은 7.5.
• seed (integer): 무작위 시드. 비워 두면 무작위로 설정됩니다.

통합 방법

1. Node.js / Python API: Replicate 클라이언트 라이브러리를 설치하고 환경 변수 REPLICATE_API_TOKEN을 설정합니다. 버전 해시 ff6cc781634191dd3c49097a615d2fc01b0a8aae31c448e55039a04dcbf36bba를 사용해 모델을 실행하고 이미지 URL을 받거나 디스크에 저장합니다.
2. HTTP API: curl을 사용해 https://api.replicate.com/v1/predictions로 POST 요청을 보냅니다.
3. Cog: Cog를 설치하고 cog predict r8.im/lambdal/text-to-pokemon@sha256:...를 사용해 모델을 다운로드한 뒤 로컬에서 실행합니다.
4. Docker: docker run 명령으로 로컬 GPU 환경에서 모델을 실행하고 API를 호출합니다.

대상 사용자와 핵심 장점

AI 아트 애호가, 게임 개발자, Pokémon 팬을 대상으로 합니다. Pokémon 스타일에 특화된 파인튜닝, 주제성이 높은 생성 결과, 오픈 소스 로컬 배포 지원이 핵심 장점입니다.

요금과 비용

Replicate에서 실행되며 1회당 약 $0.047(약 $1당 21회)의 비용이 듭니다. Nvidia T4 GPU에서 실행되고 예측은 일반적으로 4분 이내에 완료됩니다. 오픈 소스 모델이므로 로컬 하드웨어에서 무료로 실행할 수 있습니다.

일반적인 사용 사례

"Yoda"를 입력해 Pokémon 스타일의 요다 마스터 이미지를 생성할 수 있습니다. "Girl with a pearl earring", "Donald Trump" 등을 입력해 재미있는 Pokémon 스타일 캐릭터를 만들 수도 있습니다.

모델 배경

Justin Pinkney가 Lambda Labs에서 Lambda GPU Cloud의 2xA6000 GPUs를 사용해 약 15,000단계(약 6시간, 비용 약 $10)로 학습했습니다. 데이터셋과 가중치는 Hugging Face에서 오픈 소스로 공개되어 있습니다.