MiniGPT-4

MiniGPT-4 মাত্র একটি প্রজেকশন লেয়ার ব্যবহার করে একটি ফ্রোজেন ভিজ্যুয়াল এনকোডার ও একটি ফ্রোজেন বৃহৎ ভাষা মডেল (LLM) একত্র করে ভিশন-ল্যাঙ্গুয়েজ বোঝার ক্ষমতা উন্নত করে। এই টুল বিস্তারিত ছবির বর্ণনা তৈরি করতে, হাতে লেখা খসড়া থেকে ওয়েবসাইট বানাতে, দেওয়া ছবি থেকে অনুপ্রাণিত গল্প ও কবিতা লিখতে, ছবিতে দেখানো সমস্যার সমাধান দিতে এবং খাবারের ছবির ভিত্তিতে রান্না শেখাতে পারে। MiniGPT-4 গণনাগতভাবে অত্যন্ত দক্ষ, কারণ ভিজ্যুয়াল বৈশিষ্ট্যকে Vicuna-এর সঙ্গে সামঞ্জস্য করতে প্রায় 5 মিলিয়ন সামঞ্জস্যপূর্ণ ছবি-টেক্সট জোড়া দিয়ে শুধু লিনিয়ার লেয়ারটি প্রশিক্ষণ দিতে হয়।