推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
ToolAI.io · GitHub 频道
GitHub 上的 AI 项目目录
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
MCP 与工具调用
Lemonade：面向 GPU 和 NPU 推理的本地 AI 服务器
lemonade-sdk/lemonade
Lemonade 是一个开源的本地 AI 服务器，允许用户直接在自己的 GPU 和 NPU 上运行优化的大语言模型（LLM）、语音及图像生成模型，提供了一种免费且私有的云 API 替代方案。
★ 5.2K⑂ 436C++
智能体与多智能体
Embabel Agent Framework
embabel/embabel-agent
Embabel 是一个开源 JVM 框架，用于构建强类型智能体应用，将 LLM 交互、常规代码、工具和领域模型结合起来。它支持动态规划，可通过 Kotlin 或 Java 使用。
★ 4.3K⑂ 417Kotlin
MCP 与工具调用
ha-mcp：非官方 Home Assistant MCP 服务器
homeassistant-ai/ha-mcp
一个功能全面的模型上下文协议（MCP）服务器，使 AI 助手能够通过自然语言与 Home Assistant 智能家居系统进行交互、配置、构建和调试。
★ 4.3K⑂ 177Python
智能体与多智能体
CSGHub：开源大语言模型资产管理平台
opencsgs/csghub
CSGHub 是一个开源的本地化部署平台，用于管理大语言模型资产的全生命周期，包括模型、数据集、空间和代码，提供类似于私有化 Hugging Face 的功能。
★ 4.2K⑂ 525Vue
MCP 与工具调用
OpenConnector
oomol-lab/open-connector
一个开源认证网关，通过 SDK、CLI、MCP、HTTP 和 OpenAPI 接口将 1,000 多个 SaaS 服务商连接到 AI 代理。
★ 4.1K⑂ 311TypeScript
智能体与多智能体
OpenAgents
openagents-org/openagents
一个开源平台，为 AI 智能体提供协作式操作系统，支持统一工作区管理、多智能体协调和网络集成，且无供应商锁定。
★ 4K⑂ 403TypeScript
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
MCP 与工具调用
Atmosphere：面向 JVM AI 智能体的实时传输与治理框架
atmosphere/atmosphere
Atmosphere 是一个基于 Java 的实时框架，用于构建、流式传输和治理 AI 智能体。它为 WebSocket、SSE、长轮询和 gRPC 提供了统一的广播器管道，并内置治理、人机回环（HITL）工作流，以及包括 MCP、A2A 和 AG-UI 在内的多协议支持。
★ 3.8K⑂ 760Java
推理、部署与运行时
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
智能体与多智能体
TruLens：面向 LLM 实验与 AI 智能体的评估与追踪工具
truera/trulens
TruLens 是一个开源的、原生支持 OpenTelemetry 的评估与追踪库，适用于 LLM 应用和 AI 智能体。它帮助开发者追踪每一步骤，使用 LLM 作为评判者对性能进行打分，并比较不同版本的应用。
★ 3.5K⑂ 319Python
第 7 / 25 页 · 295 个项目