MiniGPT-4

MiniGPT-4は、固定されたビジュアルエンコーダーと固定された大規模言語モデル（LLM）を1つの射影層だけで組み合わせ、視覚と言語の理解を高めるツールです。画像の詳細な説明の生成、手書きの下書きからのウェブサイト作成、画像から着想を得た物語や詩の執筆、画像に示された問題の解決、料理写真をもとにした調理方法の指導などが可能です。MiniGPT-4は計算効率にも優れており、約500万組の整合済み画像・テキストペアを使って、視覚特徴とVicunaを整合させる線形層だけを学習します。