Suy luận, Triển khai & Thời gian chạy

LocalAI

mudler/LocalAI

A local inference engine for self-hosting models and AI services.

★ 48,9KSố sao
⑂ 4,4KFork
214Vấn đề đang mở
GoNgôn ngữ
MITGiấy phép
Q85Điểm biên tập

Tổng quan

A local inference engine for self-hosting models and AI services. The repository is maintained under mudler on GitHub. Its primary language is Go. See the [project README](https://github.com/mudler/LocalAI#readme) for the supported workflows.

Tính năng chính

  • A local inference engine for self-hosting models and AI services.

Yêu cầu, cài đặt và bắt đầu nhanh

Use the upstream download or installation instructions for your operating system. Check the model, memory and accelerator requirements for the workload you intend to run.

[Read the upstream installation and quickstart instructions](https://github.com/mudler/LocalAI#readme).

Cách sử dụng

Start with the documented local example, confirm it runs with your resources, then connect it to your application using the supported interface.

[Usage examples and configuration reference](https://github.com/mudler/LocalAI#readme).

Khả năng tương thích của mô hình và trường hợp sử dụng

Khả năng tương thích của mô hình không được nêu trong siêu dữ liệu của kho lưu trữ.

Ghi chú về giấy phép và rủi ro

GitHub reports MIT for this repository. Review the upstream license file; model weights, datasets and dependencies may have separate terms.

Source review 2026-09-05: GitHub search metadata and repository README. No runtime benchmark performed. License metadata: MIT.

Phát hành và bảo trì

[View upstream releases](https://github.com/mudler/LocalAI/releases).

vllm

vllm-project/vllm

★ 89,5KPython

sglang

sgl-project/sglang

★ 32,2KPython

OpenVINO

openvinotoolkit/openvino

★ 10,6KC++

GPUStack

gpustack/gpustack

★ 5,4KPython