MiniGPT-4

MiniGPT-4 mejora la comprensión visual-lingüística al combinar un codificador visual congelado con un modelo de lenguaje grande (LLM) congelado mediante una sola capa de proyección. Puede generar descripciones detalladas de imágenes, crear sitios web a partir de bocetos escritos a mano, redactar historias y poemas inspirados en imágenes, ofrecer soluciones a problemas mostrados en imágenes y enseñar a cocinar a partir de fotos de alimentos. MiniGPT-4 es muy eficiente en términos computacionales, ya que solo requiere entrenar la capa lineal para alinear las características visuales con Vicuna usando aproximadamente 5 millones de pares de imágenes y texto alineados.