Replicate

Основные возможности

methexis-inc/img2prompt создаёт приблизительный текстовый промпт со стилем, который можно использовать со Stable Diffusion для воссоздания похожих изображений или картин. Модель оптимизирована для Stable Diffusion (CLIP ViT-L/14). CLIP Interrogator проверяет заданное изображение с помощью моделей OpenAI CLIP, сравнивая его с различными художниками, материалами и стилями, чтобы изучить, как разные модели воспринимают содержимое изображения. Затем он объединяет результаты с описанием BLIP и предлагает текстовый промпт.

Использование и рабочий процесс

1. Ввод: загрузите файл с компьютера или укажите URL изображения.
2. Обработка: модель анализирует изображение с помощью ViT-L/14.
3. Результат: создаётся текстовый промпт с описанием содержимого изображения, стиля, художников и других характеристик, например a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing.

Способы запуска

• Вызовы API: поддерживаются Node.js, Python и HTTP API. Необходимо задать переменную окружения REPLICATE_API_TOKEN и использовать идентификатор версии модели 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Локальный запуск: модель можно скачать и запустить локально с помощью Cog или Docker. Требуется оборудование с графическим процессором Nvidia T4.

Цены и расходы

• Запуск этой модели в Replicate стоит примерно $0.011, то есть около 90 запусков за $1, но стоимость зависит от входных данных.
• Предсказания обычно выполняются в течение 49 секунд. Первый вызов API запускает модель (холодный старт) и может занять больше времени, а последующие ответы будут быстрыми.

Техническая информация и источник

Это слегка адаптированная версия блокнота CLIP Interrogator от @pharmapsychotic. Проект имеет открытый исходный код по своей License, а исходный код размещён на GitHub в репозитории pharmapsychotic/clip-interrogator.