MiniGPT-4

MiniGPT-4 verbessert das Verständnis von Bild und Sprache, indem es einen eingefrorenen visuellen Encoder mit einem eingefrorenen Large Language Model (LLM) über nur eine Projektionsschicht kombiniert. Das Tool kann detaillierte Bildbeschreibungen erstellen, Websites aus handschriftlichen Entwürfen generieren, von Bildern inspirierte Geschichten und Gedichte schreiben, Lösungen für in Bildern dargestellte Probleme liefern und anhand von Fotos von Lebensmitteln das Kochen erklären. MiniGPT-4 ist äußerst rechen effizient, da nur die lineare Schicht trainiert werden muss, um die visuellen Merkmale mithilfe von etwa 5 Millionen ausgerichteten Bild-Text-Paaren an Vicuna anzupassen.