MiniGPT-4

MiniGPT-4 улучшает понимание изображений и языка, объединяя замороженный визуальный энкодер с замороженной большой языковой моделью (LLM) всего через один проекционный слой. Инструмент может создавать подробные описания изображений, разрабатывать сайты по рукописным эскизам, писать истории и стихи по мотивам изображений, предлагать решения задач, показанных на изображениях, и учить готовить по фотографиям еды. MiniGPT-4 отличается высокой вычислительной эффективностью: для согласования визуальных признаков с Vicuna требуется обучить только линейный слой примерно на 5 миллионах согласованных пар изображение–текст.