ControlNet Pose

주요 기능

jagilley/controlnet-pose 모델을 사용해 포즈 감지로 사람 이미지를 수정합니다. 이미지를 입력하고 Stable Diffusion과 같은 방식으로 프롬프트를 작성하면 이미지를 생성할 수 있으며, Openpose가 포즈를 자동으로 감지합니다.

모델 설명

ControlNet은 프롬프트 외에 추가 입력 조건도 지원하도록 사전 학습된 대규모 확산 모델을 제어하는 신경망 구조입니다. 작업별 조건을 엔드투엔드 방식으로 학습하며, 학습 데이터셋이 작아도(< 50k 샘플) 견고하게 학습됩니다. Stable Diffusion과 같은 대규모 확산 모델에 ControlNet을 추가하면 에지 맵, 세그멘테이션 맵, 키포인트 등의 조건부 입력을 사용할 수 있습니다.

입력 매개변수

• image: 입력 이미지(필수).
• prompt: 모델 프롬프트(필수, 기본값은 "an astronaut on the moon, digital art").
• num_samples: 샘플 수. 값이 높으면 OOM이 발생할 수 있습니다(기본값은 1).
• image_resolution: 생성할 이미지 해상도(기본값은 512).
• low_threshold / high_threshold: Canny 선 감지의 하한 및 상한 임계값(기본값은 100/200).
• ddim_steps: 단계 수(기본값은 20).
• scale: classifier-free guidance 스케일(기본값은 9).
• seed: 시드.
• eta: 노이즈 제거 확산 과정에서 추가되는 노이즈의 양을 조절합니다. 값이 높을수록 노이즈가 많아집니다(기본값은 0).
• a_prompt: 프롬프트에 추가할 텍스트(기본값은 "best quality, extremely detailed").
• n_prompt: 네거티브 프롬프트(기본값은 "longbody, lowres, bad anatomy...").
• detect_resolution: 감지 방법을 적용할 해상도(기본값은 512).

사용 방법

Replicate에서 Node.js, Python, HTTP API를 통해 실행하거나 Cog와 Docker를 사용해 로컬에서 실행할 수 있습니다.

대상 사용자와 핵심 장점

AI 개발자와 이미지 생성 애호가를 대상으로 합니다. Stable Diffusion의 생성력과 ControlNet의 정밀한 포즈 제어를 결합해 입력 이미지의 사람 포즈를 엄격하게 유지하면서 텍스트 프롬프트를 기반으로 고품질의 새 이미지를 생성하는 것이 핵심 장점입니다.

요금과 비용

Replicate에서의 실행 비용은 입력에 따라 달라지며, 1회당 약 $0.15(약 $1당 6회)입니다. Nvidia A100(80GB) GPU에서 실행되며 예측은 일반적으로 108초 이내에 완료됩니다. 첫 API 호출에서는 콜드 상태의 모델을 부팅하므로 더 오래 걸릴 수 있습니다.