MiniGPT-4

MiniGPT-4 صرف ایک پروجیکشن لیئر کے ذریعے ایک منجمد بصری انکوڈر کو ایک منجمد بڑے لسانی ماڈل (LLM) کے ساتھ ملا کر وژن-لینگویج سمجھ کو بہتر بناتا ہے۔ یہ ٹول تصاویر کی تفصیلی وضاحتیں تیار کر سکتا ہے، ہاتھ سے بنائے گئے مسودوں سے ویب سائٹس بنا سکتا ہے، دی گئی تصاویر سے متاثر ہو کر کہانیاں اور نظمیں لکھ سکتا ہے، تصاویر میں دکھائے گئے مسائل کے حل فراہم کر سکتا ہے، اور کھانے کی تصاویر کی بنیاد پر صارفین کو کھانا پکانا سکھا سکتا ہے۔ MiniGPT-4 حسابی طور پر بہت مؤثر ہے، کیونکہ بصری خصوصیات کو Vicuna کے ساتھ ہم آہنگ کرنے کے لیے تقریباً 5 ملین ہم آہنگ تصویر-متن جوڑوں سے صرف لینیئر لیئر کو تربیت دینا پڑتی ہے۔