MiniGPT-4

MiniGPT-4 améliore la compréhension vision-langage en combinant un encodeur visuel figé avec un grand modèle de langage (LLM) figé à l’aide d’une seule couche de projection. Cet outil peut générer des descriptions détaillées d’images, créer des sites web à partir de brouillons manuscrits, écrire des histoires et des poèmes inspirés d’images fournies, proposer des solutions à des problèmes présentés en images et apprendre aux utilisateurs à cuisiner à partir de photos de plats. MiniGPT-4 est très efficace sur le plan computationnel, car il suffit d’entraîner la couche linéaire pour aligner les caractéristiques visuelles sur Vicuna, en utilisant environ 5 millions de paires image-texte alignées.