Replicate

Fungsi utama

methexis-inc/img2prompt menghasilkan prompt teks perkiraan yang menyertakan gaya dan dapat digunakan dengan Stable Diffusion untuk membuat ulang versi yang tampak serupa dari sebuah gambar atau lukisan. Model ini dioptimalkan untuk Stable Diffusion (CLIP ViT-L/14). CLIP Interrogator menguji gambar terhadap berbagai seniman, medium, dan gaya menggunakan model CLIP OpenAI untuk mempelajari cara berbagai model melihat isi gambar. Model ini juga menggabungkan hasilnya dengan keterangan BLIP untuk menyarankan prompt teks.

Penggunaan dan alur kerja

1. Input: unggah file dari perangkat atau berikan URL gambar.
2. Pemrosesan: model menganalisis gambar menggunakan ViT-L/14.
3. Output: menghasilkan prompt teks yang berisi konten gambar, gaya, seniman, dan lainnya; misalnya “a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing”.

Metode menjalankan

• Panggilan API: mendukung Node.js, Python, dan API HTTP. Anda perlu mengatur variabel lingkungan REPLICATE_API_TOKEN dan menggunakan ID versi model 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5.
• Menjalankan secara lokal: model dapat diunduh dan dijalankan secara lokal menggunakan Cog atau Docker. Diperlukan perangkat keras dengan GPU Nvidia T4.

Harga dan biaya

• Biaya model ini sekitar $0.011 per proses di Replicate, atau 90 proses per $1, tetapi biayanya bervariasi tergantung input.
• Prediksi biasanya selesai dalam 49 detik. Panggilan API pertama akan menyalakan model (cold boot) dan mungkin membutuhkan waktu lebih lama, sedangkan respons berikutnya akan cepat.

Latar belakang teknis dan sumber

Model ini merupakan versi yang sedikit diadaptasi dari notebook CLIP Interrogator karya @pharmapsychotic. Model ini bersifat open source berdasarkan lisensinya, dengan kode sumber yang dihosting di GitHub (pharmapsychotic/clip-interrogator).