ControlNet Pose

Основные возможности

Модель jagilley/controlnet-pose используется для изменения изображений с людьми с помощью распознавания позы. Загрузите изображение и введите промпт: модель создаст изображение так же, как Stable Diffusion, а Openpose определит позу.

Описание модели

ControlNet — это нейросетевая структура, которая позволяет управлять предварительно обученными крупными диффузионными моделями и добавлять условия ввода помимо промптов. ControlNet сквозным образом обучается условиям, специфичным для задачи, и сохраняет устойчивое обучение даже при небольшом обучающем наборе данных (< 50k образцов). Крупные диффузионные модели, такие как Stable Diffusion, можно дополнить ControlNet для поддержки условных входных данных: карт границ, карт сегментации, ключевых точек и других.

Параметры ввода

• image: исходное изображение (обязательно).
• prompt: промпт для модели (обязательно; по умолчанию an astronaut on the moon, digital art).
• num_samples: количество образцов; большие значения могут вызвать OOM (по умолчанию 1).
• image_resolution: разрешение создаваемого изображения (по умолчанию 512).
• low_threshold / high_threshold: нижний/верхний порог обнаружения линий Canny (по умолчанию 100/200).
• ddim_steps: количество шагов (по умолчанию 20).
• scale: масштаб classifier-free guidance (по умолчанию 9).
• seed: начальное значение.
• eta: управляет количеством шума, добавляемого в процессе диффузии с удалением шума; большее значение означает больше шума (по умолчанию 0).
• a_prompt: дополнительный текст, добавляемый к промпту (по умолчанию best quality, extremely detailed).
• n_prompt: негативный промпт (по умолчанию longbody, lowres, bad anatomy...).
• detect_resolution: разрешение, при котором применяется метод обнаружения (по умолчанию 512).

Использование

Модель можно запускать в Replicate через Node.js, Python и HTTP API либо локально с помощью Cog и Docker.

Целевая аудитория и основные преимущества

Модель предназначена для AI-разработчиков и любителей генерации изображений. Главное преимущество — создание новых качественных изображений по текстовым промптам при строгом сохранении позы человека на исходном изображении. Она объединяет возможности Stable Diffusion по генерации с точным управлением позой от ControlNet.

Цена и стоимость

Запуск модели в Replicate стоит примерно $0.15 (около 6 запусков за $1), в зависимости от входных данных. Модель работает на GPU Nvidia A100 (80GB). Предсказания обычно выполняются за 108 секунд. Первый вызов API запускает холодную модель и может занять больше времени.