MiniGPT-4

MiniGPT-4 nâng cao khả năng hiểu thị giác-ngôn ngữ bằng cách kết hợp một bộ mã hóa hình ảnh đóng băng với một mô hình ngôn ngữ lớn (LLM) đóng băng chỉ qua một lớp chiếu. Công cụ này có thể tạo mô tả hình ảnh chi tiết, tạo trang web từ bản phác thảo viết tay, viết truyện và thơ lấy cảm hứng từ hình ảnh, đưa ra lời giải cho các vấn đề trong hình ảnh và hướng dẫn nấu ăn dựa trên ảnh thực phẩm. MiniGPT-4 có hiệu quả tính toán cao vì chỉ cần huấn luyện lớp tuyến tính để căn chỉnh các đặc trưng hình ảnh với Vicuna bằng khoảng 5 triệu cặp hình ảnh-văn bản đã được căn chỉnh.