MiniGPT-4

O MiniGPT-4 aprimora a compreensão visual-linguística ao combinar um codificador visual congelado com um modelo de linguagem grande (LLM) congelado usando apenas uma camada de projeção. A ferramenta pode gerar descrições detalhadas de imagens, criar sites a partir de rascunhos feitos à mão, escrever histórias e poemas inspirados em imagens, oferecer soluções para problemas mostrados em imagens e ensinar a cozinhar com base em fotos de alimentos. O MiniGPT-4 é altamente eficiente em termos computacionais, pois requer apenas o treinamento da camada linear para alinhar os recursos visuais ao Vicuna usando aproximadamente 5 milhões de pares alinhados de imagem e texto.