推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
ToolAI.io · GitHub 频道
GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
精选
浏览列表 →markitdown：Document conversion and extraction
ToolAI 对 microsoft/markitdown 的客观项目介绍。Python tool for converting files and office documents to Markdown
★ 174.9K · Pythonskills：Reusable agent skills and workflows
ToolAI 对 anthropics/skills 的客观项目介绍。Public repository for Agent Skills
★ 170.6K · Markdownclaude-code：Agentic coding in the terminal
ToolAI 对 anthropics/claude-code 的客观项目介绍。Claude Code is an agentic coding tool that lives in your terminal, understands your codebase, and helps you code faster by executing routine tasks, explaining complex code, and handling git workflows - all through natural language commands
★ 142.1K · TypeScriptwhisper：Speech recognition and transcription
ToolAI 对 openai/whisper 的客观项目介绍。Robust Speech Recognition via Large-Scale Weak Supervision
★ 107.7K · PythonDeepSeek-V3：Large language model research and inference
ToolAI 对 deepseek-ai/DeepSeek-V3 的客观项目介绍。An open-source project focused on large language model research and inference.
★ 104.4K · PythonDeepSeek-R1：Reasoning model research and evaluation
ToolAI 对 deepseek-ai/DeepSeek-R1 的客观项目介绍。An open-source project focused on reasoning model research and evaluation.
★ 92K · PythonHermes Agent
由 Nous Research 构建的自改进 AI 智能体，具备闭环学习、多平台消息集成以及灵活的模型提供商切换功能。设计用于在低成本 VPS、GPU 集群或无服务器基础设施上运行。
★ 227.1K · PythonHugging Face Transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K · PythonFirecrawl
一款开源的网络上下文 API，支持大规模搜索、抓取网页并与网络交互，将网页数据转换为干净的 Markdown 或结构化 JSON，供 AI 智能体和大语言模型（LLM）使用。
★ 161.1K · TypeScript MCP 与工具调用Dify：用于智能体工作流和 RAG 应用的协作平台
Dify 是一个 LLM 应用开发平台，用于可视化构建工作流、RAG 管道和可调用工具的智能体。它在协作工作区中整合了模型管理、提示词开发、可观测性和应用 API，可作为托管服务使用或自行托管。
★ 151.2K · TypeScriptLangChain
一个开源的 Python 框架，通过可互操作、可链式组合的组件和第三方集成，构建由大语言模型驱动的应用与智能体。
★ 143.6K · PythonGraphify：将任意代码库转化为可查询的知识图谱
Graphify 是一款本地优先的 CLI 工具和 AI 助手技能，通过确定性的 AST 解析，将代码库、文档、SQL 架构和 PDF 解析为可查询的知识图谱，无需依赖向量存储或嵌入。
★ 104K · Python公开仓库数据
项目索引
MCP 与工具调用
Lemonade：面向 GPU 和 NPU 推理的本地 AI 服务器
lemonade-sdk/lemonade
Lemonade 是一个开源的本地 AI 服务器，允许用户直接在自己的 GPU 和 NPU 上运行优化的大语言模型（LLM）、语音及图像生成模型，提供了一种免费且私有的云 API 替代方案。
★ 5.2K⑂ 436C++
智能体与多智能体
Embabel Agent Framework
embabel/embabel-agent
Embabel 是一个开源 JVM 框架，用于构建强类型智能体应用，将 LLM 交互、常规代码、工具和领域模型结合起来。它支持动态规划，可通过 Kotlin 或 Java 使用。
★ 4.3K⑂ 417Kotlin
MCP 与工具调用
ha-mcp：非官方 Home Assistant MCP 服务器
homeassistant-ai/ha-mcp
一个功能全面的模型上下文协议（MCP）服务器，使 AI 助手能够通过自然语言与 Home Assistant 智能家居系统进行交互、配置、构建和调试。
★ 4.3K⑂ 177Python
智能体与多智能体
CSGHub：开源大语言模型资产管理平台
opencsgs/csghub
CSGHub 是一个开源的本地化部署平台，用于管理大语言模型资产的全生命周期，包括模型、数据集、空间和代码，提供类似于私有化 Hugging Face 的功能。
★ 4.2K⑂ 525Vue
MCP 与工具调用
OpenConnector
oomol-lab/open-connector
一个开源认证网关，通过 SDK、CLI、MCP、HTTP 和 OpenAPI 接口将 1,000 多个 SaaS 服务商连接到 AI 代理。
★ 4.1K⑂ 311TypeScript
智能体与多智能体
OpenAgents
openagents-org/openagents
一个开源平台，为 AI 智能体提供协作式操作系统，支持统一工作区管理、多智能体协调和网络集成，且无供应商锁定。
★ 4K⑂ 403TypeScript
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
MCP 与工具调用
Atmosphere：面向 JVM AI 智能体的实时传输与治理框架
atmosphere/atmosphere
Atmosphere 是一个基于 Java 的实时框架，用于构建、流式传输和治理 AI 智能体。它为 WebSocket、SSE、长轮询和 gRPC 提供了统一的广播器管道，并内置治理、人机回环（HITL）工作流，以及包括 MCP、A2A 和 AG-UI 在内的多协议支持。
★ 3.8K⑂ 760Java
推理、部署与运行时
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
智能体与多智能体
TruLens：面向 LLM 实验与 AI 智能体的评估与追踪工具
truera/trulens
TruLens 是一个开源的、原生支持 OpenTelemetry 的评估与追踪库，适用于 LLM 应用和 AI 智能体。它帮助开发者追踪每一步骤，使用 LLM 作为评判者对性能进行打分，并比较不同版本的应用。
★ 3.5K⑂ 319Python
第 7 / 25 页 · 295 个项目