local.ai

Основные функции и характеристики

• Мощное нативное приложение: local.ai создано на бэкенде Rust, отличается эффективным использованием памяти и компактностью (<10MB on Mac M2, Windows, and Linux .deb).
• Инференс на CPU: Поддерживает инференс на CPU, адаптируется к доступным потокам и поддерживает квантование GGML (q4, 5.1, 8, f16).
• Управление моделями: Храните информацию об AI-моделях в одном централизованном месте, независимо от структуры каталогов. Доступны возобновляемый многопоточный загрузчик и сортировка по использованию.
• Проверка дайджеста: Обеспечьте целостность моделей с помощью вычисления дайджестов BLAKE3 и SHA256. Включены API проверенных моделей, метки лицензии и использования, быстрая проверка BLAKE3 и карточка информации о модели.
• Сервер инференса: Запускайте локальный потоковый сервер для AI-инференса в 2 клика: загрузите модель, затем запустите сервер. Включены быстрый интерфейс инференса, запись в .mdx, параметры инференса и удаленный словарь.

Рабочий процесс

Запустите сеанс инференса, например с моделью WizardLM 7B, в 2 клика. Сервис обеспечивает работу любого AI-приложения онлайн или офлайн, например вместе с window.ai.

Поддерживаемые платформы

Доступно для Windows (.MSI, .EXE), macOS (M1/M2, Intel) и Linux (AppImage, .deb).

Цена

Бесплатное ПО с открытым исходным кодом; исходный код распространяется по лицензии GPLv3.

Предстоящие функции

Инференс на GPU, параллельные сеансы, вложенные каталоги, пользовательская сортировка и поиск, обозреватель моделей, поиск моделей, рекомендации моделей, менеджер серверов, /audio, /image.