Replicate

Chức năng chính

methexis-inc/img2prompt tạo prompt văn bản gần đúng có kèm phong cách, có thể dùng với Stable Diffusion để tái tạo các phiên bản tương tự của hình ảnh hoặc tranh. Mô hình được tối ưu cho Stable Diffusion (CLIP ViT-L/14). CLIP Interrogator đối chiếu hình ảnh với nhiều nghệ sĩ, chất liệu và phong cách bằng các mô hình CLIP của OpenAI để phân tích cách các mô hình khác nhau nhìn nhận nội dung hình ảnh. Công cụ cũng kết hợp kết quả với chú thích BLIP để đề xuất prompt văn bản.

Cách sử dụng và quy trình

1. Đầu vào: tải tệp từ máy tính hoặc cung cấp URL hình ảnh.
2. Xử lý: mô hình phân tích hình ảnh bằng ViT-L/14.
3. Đầu ra: tạo prompt văn bản chứa nội dung hình ảnh, phong cách, nghệ sĩ và các yếu tố khác; ví dụ “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Phương thức chạy

• Gọi API: hỗ trợ Node.js, Python và HTTP API. Cần đặt biến môi trường REPLICATE_API_TOKEN và sử dụng ID phiên bản mô hình 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Chạy cục bộ: có thể tải xuống và chạy cục bộ bằng Cog hoặc Docker. Cần phần cứng GPU Nvidia T4.

Giá và chi phí

• Mô hình này có giá khoảng $0.011 mỗi lần chạy trên Replicate, tương đương 90 lần chạy với $1, nhưng chi phí thay đổi tùy theo đầu vào.
• Dự đoán thường hoàn tất trong 49 giây. Lần gọi API đầu tiên sẽ khởi động mô hình (cold boot) và có thể mất nhiều thời gian hơn; các phản hồi sau đó sẽ nhanh.

Thông tin kỹ thuật và nguồn

Đây là phiên bản được điều chỉnh nhẹ từ notebook CLIP Interrogator của @pharmapsychotic. Dự án là mã nguồn mở theo giấy phép của mình, với mã nguồn được lưu trữ trên GitHub (pharmapsychotic/clip-interrogator).