MiniGPT-4

MiniGPT-4 meningkatkan pemahaman visi-bahasa dengan menggabungkan encoder visual beku dan model bahasa besar (LLM) beku hanya menggunakan satu lapisan proyeksi. Alat ini dapat menghasilkan deskripsi gambar yang mendetail, membuat situs web dari draf tulisan tangan, menulis cerita dan puisi yang terinspirasi gambar, memberikan solusi untuk masalah yang ditampilkan dalam gambar, serta mengajarkan cara memasak berdasarkan foto makanan. MiniGPT-4 sangat efisien secara komputasi karena hanya memerlukan pelatihan lapisan linear untuk menyelaraskan fitur visual dengan Vicuna menggunakan sekitar 5 juta pasangan gambar-teks yang telah diselaraskan.