Replicate

मुख्य कार्यक्षमता

methexis-inc/img2prompt शैली सहित अनुमानित टेक्स्ट प्रॉम्प्ट तैयार करता है, जिसका उपयोग Stable Diffusion के साथ छवि या पेंटिंग के समान दिखने वाले संस्करण बनाने के लिए किया जा सकता है। यह Stable Diffusion (CLIP ViT-L/14) के लिए अनुकूलित है। CLIP Interrogator OpenAI CLIP मॉडलों की मदद से दी गई छवि की तुलना विभिन्न कलाकारों, माध्यमों और शैलियों से करता है, ताकि यह समझा जा सके कि अलग-अलग मॉडल छवि की सामग्री को कैसे देखते हैं। यह परिणामों को BLIP कैप्शन के साथ मिलाकर टेक्स्ट प्रॉम्प्ट भी सुझाता है।

उपयोग और वर्कफ़्लो

1. इनपुट: अपने कंप्यूटर से फ़ाइल अपलोड करें या छवि URL दें।
2. प्रोसेसिंग: मॉडल ViT-L/14 का उपयोग करके छवि का विश्लेषण करता है।
3. आउटपुट: छवि की सामग्री, शैली, कलाकार आदि वाला टेक्स्ट प्रॉम्प्ट तैयार होता है, जैसे a cat wearing a suit and tie with green eyes, a stock photo by Hanns Katz, pexels, furry art, stockphoto, creative commons attribution, quantum wavetracing।

चलाने के तरीके

• API कॉल: Node.js, Python और HTTP API समर्थित हैं। REPLICATE_API_TOKEN पर्यावरण चर सेट करना आवश्यक है और मॉडल संस्करण ID 50adaf2d3ad20a6f911a8a9e3ccf777b263b8596fbd2c8fc26e8888f8a0edbb5 का उपयोग होता है।
• स्थानीय निष्पादन: Cog या Docker का उपयोग करके इसे डाउनलोड कर स्थानीय रूप से चलाया जा सकता है। Nvidia T4 GPU हार्डवेयर आवश्यक है।

कीमत और लागत

• Replicate पर इस मॉडल को चलाने की अनुमानित लागत $0.011 है, यानी $1 में लगभग 90 रन, हालांकि यह आपके इनपुट के अनुसार बदल सकती है।
• प्रेडिक्शन सामान्यतः 49 सेकंड में पूरा हो जाता है। पहली API कॉल मॉडल को बूट करेगी (कोल्ड बूट), इसलिए इसमें अधिक समय लग सकता है; बाद की प्रतिक्रियाएँ तेज़ होंगी।

तकनीकी पृष्ठभूमि और स्रोत

यह @pharmapsychotic के CLIP Interrogator नोटबुक का थोड़ा अनुकूलित संस्करण है। यह अपने License के अंतर्गत ओपन सोर्स है और इसका सोर्स कोड GitHub पर pharmapsychotic/clip-interrogator में उपलब्ध है।