MiniGPT-4

MiniGPT-4 एक प्रोजेक्शन लेयर का उपयोग करके एक फ्रोज़न विज़ुअल एन्कोडर और एक फ्रोज़न बड़े भाषा मॉडल (LLM) को जोड़ता है, जिससे विज़न-लैंग्वेज समझ बेहतर होती है। यह विस्तृत इमेज विवरण बना सकता है, हाथ से बनाए गए ड्राफ्ट से वेबसाइट तैयार कर सकता है, दी गई छवियों से प्रेरित कहानियाँ और कविताएँ लिख सकता है, छवियों में दिखाए गए सवालों के समाधान दे सकता है और भोजन की तस्वीरों के आधार पर खाना पकाना सिखा सकता है। MiniGPT-4 कम्प्यूटेशन की दृष्टि से अत्यधिक कुशल है, क्योंकि विज़ुअल फीचर्स को Vicuna के साथ संरेखित करने के लिए केवल लीनियर लेयर को लगभग 5 मिलियन संरेखित इमेज-टेक्स्ट जोड़ों पर प्रशिक्षित करना पड़ता है।