MiniGPT-4

MiniGPT-4는 하나의 프로젝션 레이어만 사용해 고정된 비주얼 인코더와 고정된 대규모 언어 모델(LLM)을 결합함으로써 비전-언어 이해를 향상하는 도구입니다. 이미지에 대한 상세한 설명 생성, 손글씨 초안으로 웹사이트 제작, 주어진 이미지에서 영감을 얻은 이야기와 시 작성, 이미지에 표시된 문제에 대한 해결책 제시, 음식 사진을 바탕으로 한 요리 방법 안내 등이 가능합니다. MiniGPT-4는 약 500만 개의 정렬된 이미지-텍스트 쌍을 사용해 시각적 특징과 Vicuna를 정렬하는 선형 레이어만 학습하므로 계산 효율성이 높습니다.