MiniGPT-4

MiniGPT-4 migliora la comprensione visivo-linguistica combinando un encoder visivo congelato con un modello linguistico di grandi dimensioni (LLM) congelato, usando un solo livello di proiezione. Lo strumento può generare descrizioni dettagliate delle immagini, creare siti web a partire da bozze scritte a mano, scrivere storie e poesie ispirate alle immagini, fornire soluzioni a problemi mostrati nelle immagini e insegnare a cucinare sulla base di foto di cibi. MiniGPT-4 è altamente efficiente dal punto di vista computazionale, poiché richiede solo l'addestramento del livello lineare per allineare le caratteristiche visive con Vicuna usando circa 5 milioni di coppie immagine-testo allineate.