推理、部署与运行时

LocalAI

mudler/LocalAI

用于自托管多种模型和 AI 服务的本地推理引擎。

★ 48.9K星级
⑂ 4.4KFork 数
214未解决的问题
Go语言
MIT许可证
Q85编辑评分

概览

用于自托管多种模型和 AI 服务的本地推理引擎。 项目由 mudler 在 GitHub 维护,主要语言为 Go。具体功能和支持范围请参阅[项目 README](https://github.com/mudler/LocalAI#readme)。

主要功能

  • 用于自托管多种模型和 AI 服务的本地推理引擎。

要求、安装和快速入门

按照上游说明下载或安装适合操作系统的版本,并核对目标工作负载需要的模型、内存和加速器条件。

[查看上游安装与快速开始文档](https://github.com/mudler/LocalAI#readme)

用法

先运行文档中的本地示例,确认资源配置可用,再通过支持的接口接入应用。

[使用示例与配置说明](https://github.com/mudler/LocalAI#readme)

模型兼容性与使用场景

仓库元数据未说明模型兼容性。

许可证与风险说明

GitHub 标注该仓库使用 MIT。请查看上游许可证文件;模型权重、数据集和依赖可能有独立条款。

Source review 2026-09-05: GitHub search metadata and repository README. No runtime benchmark performed. License metadata: MIT.

发布与维护

[查看版本发布记录](https://github.com/mudler/LocalAI/releases)。

vllm

vllm-project/vllm

★ 89.5KPython

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython