local.ai

主要功能与特点

• 强大的原生应用：采用Rust后端，内存高效且紧凑（在Mac M2、Windows和Linux .deb上小于10MB）。
• CPU推理：支持CPU推理，自动适应可用线程，支持GGML量化（q4, 5.1, 8, f16）。
• 模型管理：在一个集中位置跟踪AI模型，可选择任意目录；支持可恢复的并发下载器、基于使用情况的排序。
• 摘要验证：通过强大的BLAKE3和SHA256摘要计算功能确保下载模型的完整性；提供已知良好模型API、许可证和使用情况标签、BLAKE3快速检查及模型信息卡。
• 推理服务器：只需两步（加载模型，然后启动服务器）即可启动用于AI推理的本地流式服务器；提供快速推理UI、写入.mdx格式、推理参数和远程词汇表。

使用流程

仅需2次点击即可启动推理会话（例如使用WizardLM 7B模型）。可离线或在线为任何AI应用（如window.ai）提供支持。

支持平台

提供Windows（.MSI, .EXE）、macOS（M1/M2, Intel）和Linux（AppImage, .deb）的安装包。

收费模式

完全免费且开源，源代码采用GPLv3许可。

未来规划

即将推出GPU推理、并行会话、嵌套目录、自定义排序和搜索、模型浏览器与推荐、服务器管理器以及/audio和/image支持。