MCP 与工具调用

Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器

lemonade-sdk/lemonade

Lemonade 是一个开源的本地 AI 服务器,允许用户直接在自己的 GPU 和 NPU 上运行优化的大语言模型(LLM)、语音及图像生成模型,提供了一种免费且私有的云 API 替代方案。

★ 5.2K星级
⑂ 436Fork 数
451未解决的问题
C++语言
Apache-2.0许可证
Q@project.QualityScore编辑评分

项目截图

Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图 Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图 Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图 Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图 Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图 Lemonade:面向 GPU 和 NPU 推理的本地 AI 服务器 的截图

概览

Lemonade 提供了可与云 API 媲美的本地 AI 服务器功能,注重隐私和零成本。它有两种运行模式:Lemonade Server,安装一个可通过标准 OpenAI、Anthropic 和 Ollama API 供数百个应用程序访问的服务;以及 Embeddable Lemonade,一个可移植的二进制文件,旨在直接打包到第三方应用程序中,提供自动优化的多模态本地 AI。该项目使用 C++(服务器)和 React(应用)构建,并包含 AMD 工程师为 Ryzen AI、Radeon 和 Strix Halo 硬件提供的优化。

主要功能

  • 兼容 OpenAI、Anthropic 和 Ollama API 的本地服务器
  • 支持文本、语音转文本、文本转语音、音频、图像和 3D 生成
  • 多后端支持,包括 llamacpp、ONNX Runtime、vLLM 和 whispercpp
  • 针对 AMD Ryzen AI、Radeon、NVIDIA 和 Apple Silicon 的硬件自动优化
  • 用于应用集成的可嵌入可移植二进制文件
  • 内置模型管理器,用于浏览和下载模型
  • 用于模型管理和推理的命令行界面
  • 支持 Windows、Linux 和 macOS 的跨平台支持

要求、安装和快速入门

安装方法因平台而异。Windows 用户可下载 MSI 安装程序;macOS 用户可从发布页下载 PKG。Linux 用户可通过 Docker、Snap 或针对 Arch、Debian、Fedora 和 Ubuntu 的特定发行版包进行安装。用户也可以从源代码构建。官方文档中提供了详细的安装指南。

用法

使用 CLI 运行模型:`lemonade run Gemma-4-E2B-it-GGUF` 用于聊天,`lemonade run SDXL-Turbo` 用于图像生成,或 `lemonade run Whisper-Large-v3-Turbo` 用于转录。使用 `lemonade list` 列出可用模型,使用 `lemonade pull <model_name>` 下载模型,并使用 `lemonade backends` 检查支持的硬件后端。对于 API 集成,将 OpenAI 兼容的客户端配置为使用 `http://localhost:13305/api/v1` 作为基础 URL。

模型兼容性与使用场景

支持 GGUF、FLM 和 ONNX 模型格式。内置支持包括 Gemma-4-E2B-it-GGUF、SDXL-Turbo、kokoro-v1 和 Whisper-Large-v3-Turbo 等模型。自定义 GGUF/ONNX 模型可直接从 Hugging Face 或 ModelScope 拉取。

许可证与风险说明

在 Apache 2.0 许可证下授权。项目的部分内容可能按存储库的 LICENSE 文件中所述进行许可。免费代码签名由 SignPath.io 提供,证书由 SignPath Foundation 提供。

Editorial verification 2026-08-09: repository URL, owner, description, license and repository statistics were reviewed. License metadata: Apache-2.0. README was fetched for the channel draft; re-check repository dependencies, releases and model terms before production use.

发布与维护

Not stated in the repository metadata

MemPalace

mempalace/mempalace

★ 58KPython

QwenPaw

agentscope-ai/qwenpaw

★ 33.9KPython

Composio

composiohq/composio

★ 29.5KTypeScript