智能体与多智能体
Plano：面向智能体应用的原生 AI 代理服务器与数据平面
katanemo/plano
Plano 是一款使用 Rust 构建的原生 AI 代理服务器与数据平面，可集中处理 LLM 路由、智能体编排、可观测性和防护栏，使开发者能够专注于核心智能体逻辑，而非底层基础设施。
★ 7K⑂ 484Rust
ToolAI.io · GitHub 频道
GitHub 上的 AI 项目目录
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
LLM 与基础模型
ClearML
clearml/clearml
ClearML 是一个开源的 MLOps/LLMOps 套件，提供自动化的 CI/CD 以简化 AI 工作负载。它将实验管理、数据管理、流水线编排、调度和模型服务集成到一个综合平台中。
★ 6.8K⑂ 789Python
智能体与多智能体
Honcho
plastic-labs/honcho
用于构建有状态 AI 智能体的记忆基础设施，能够理解随时间变化的用户、智能体、群体、项目和想法。
★ 6.5K⑂ 788Python
智能体与多智能体
Genkit：用于构建智能体 AI 应用的开源框架
genkit-ai/genkit
Genkit 是一个开源框架，由 Google 的 Firebase 团队构建并在生产环境中使用，用于开发全栈 AI 驱动的应用程序。它提供跨语言 SDK 和统一 API，用于集成各种 AI 模型，以构建聊天机器人、自动化工作流和推荐系统。
★ 6.3K⑂ 816TypeScript
推理、部署与运行时
Mooncake：以 KVCache 为中心的分布式 LLM 服务基础设施
kvcache-ai/mooncake
Mooncake 是一个面向大规模 LLM 推理和训练的 C++ 基础设施项目。它将预填充、解码和存储资源解耦，并提供高性能数据传输、分布式 KV 缓存存储及具备容错能力的专家并行通信。
★ 6.1K⑂ 1KC++
智能体与多智能体
Giskard OSS：用于 AI 智能体的评估、红队测试与测试生成
giskard-ai/giskard-oss
一个用于评估和测试基于 LLM 及智能体系统的开源 Python 库，支持多轮评估、LLM-as-judge 检查和自动化漏洞扫描。
★ 5.7K⑂ 513Python
推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
MCP 与工具调用
Lemonade：面向 GPU 和 NPU 推理的本地 AI 服务器
lemonade-sdk/lemonade
Lemonade 是一个开源的本地 AI 服务器，允许用户直接在自己的 GPU 和 NPU 上运行优化的大语言模型（LLM）、语音及图像生成模型，提供了一种免费且私有的云 API 替代方案。
★ 5.2K⑂ 436C++
MCP 与工具调用
ha-mcp：非官方 Home Assistant MCP 服务器
homeassistant-ai/ha-mcp
一个功能全面的模型上下文协议（MCP）服务器，使 AI 助手能够通过自然语言与 Home Assistant 智能家居系统进行交互、配置、构建和调试。
★ 4.3K⑂ 177Python
智能体与多智能体
CSGHub：开源大语言模型资产管理平台
opencsgs/csghub
CSGHub 是一个开源的本地化部署平台，用于管理大语言模型资产的全生命周期，包括模型、数据集、空间和代码，提供类似于私有化 Hugging Face 的功能。
★ 4.2K⑂ 525Vue
智能体与多智能体
OpenAgents
openagents-org/openagents
一个开源平台，为 AI 智能体提供协作式操作系统，支持统一工作区管理、多智能体协调和网络集成，且无供应商锁定。
★ 4K⑂ 403TypeScript
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
第 4 / 11 页 · 126 个项目