local.ai

local.ai cho phép thử nghiệm các mô hình AI cục bộ mà không cần thiết lập một stack machine learning hoàn chỉnh. Ứng dụng native này đơn giản hóa quy trình từ tải mô hình đến khởi động máy chủ suy luận và không yêu cầu GPU.

Tính năng chính

• Ứng dụng native mạnh mẽ: được xây dựng với backend Rust, tiết kiệm bộ nhớ và nhỏ gọn, dưới 10 MB trên Mac M2, Windows và Linux .deb.
• Suy luận bằng CPU: hỗ trợ suy luận CPU, thích ứng với số luồng khả dụng và hỗ trợ lượng tử hóa GGML q4, 5.1, 8, f16.
• Quản lý mô hình: quản lý mô hình AI tại một nơi tập trung, không phụ thuộc thư mục, với trình tải xuống đồng thời có thể tiếp tục và sắp xếp theo mức sử dụng.
• Xác minh digest: kiểm tra tính toàn vẹn của mô hình bằng BLAKE3 và SHA256, kèm API mô hình đáng tin cậy, nhãn giấy phép và mức sử dụng, kiểm tra nhanh BLAKE3 và thẻ thông tin mô hình.
• Máy chủ suy luận: khởi động máy chủ streaming cục bộ trong 2 lần nhấp, với giao diện suy luận nhanh, ghi vào .mdx, tham số suy luận và từ vựng từ xa.

Quy trình

Bắt đầu phiên suy luận trong 2 lần nhấp, chẳng hạn với mô hình WizardLM 7B. local.ai hỗ trợ các ứng dụng AI hoạt động ngoại tuyến hoặc trực tuyến, chẳng hạn kết hợp với window.ai.

Nền tảng được hỗ trợ

Hỗ trợ Windows (.MSI, .EXE), macOS (M1/M2, Intel) và Linux (AppImage, .deb).

Giá

Miễn phí và mã nguồn mở; mã nguồn được cấp phép theo GPLv3.

Tính năng sắp ra mắt

Suy luận GPU, phiên song song, thư mục lồng nhau, sắp xếp và tìm kiếm tùy chỉnh, Model Explorer, tìm kiếm mô hình, đề xuất mô hình, Server Manager, /audio và /image.