智能体与多智能体
RAGFlow
infiniflow/ragflow
RAGFlow 是一款开源检索增强生成（RAG）引擎，结合文档摄取、检索、可溯源引用、可配置的语言与嵌入模型以及智能体功能，为 LLM 应用提供上下文。
★ 86.7K⑂ 10.2KGo
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
Mooncake：以 KVCache 为中心的分布式 LLM 服务基础设施
kvcache-ai/mooncake
Mooncake 是一个面向大规模 LLM 推理和训练的 C++ 基础设施项目。它将预填充、解码和存储资源解耦，并提供高性能数据传输、分布式 KV 缓存存储及具备容错能力的专家并行通信。
★ 6.1K⑂ 1KC++
智能体与多智能体
MLflow
mlflow/mlflow
一个用于追踪、评估、监控、优化、治理和部署智能体、LLM 应用及机器学习模型的开源 AI 工程平台。
★ 27.3K⑂ 6.1KPython
微调、训练与数据
Langfuse
langfuse/langfuse
一个开源 LLM 工程平台，用于追踪、评估、调试和改进 AI 应用，并提供提示词管理、数据集、指标、Playground、API，以及托管和自托管部署选项。
★ 32.4K⑂ 3.5KTypeScript
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
智能体与多智能体
OpenCodeReview
alibaba/open-code-review
Alibaba 开源的 AI 代码审查 CLI，结合确定性审查流水线与 LLM Agent，生成结构化的行级反馈。
★ 18K⑂ 1.2KGo
智能体与多智能体
Giskard OSS：用于 AI 智能体的评估、红队测试与测试生成
giskard-ai/giskard-oss
一个用于评估和测试基于 LLM 及智能体系统的开源 Python 库，支持多轮评估、LLM-as-judge 检查和自动化漏洞扫描。
★ 5.7K⑂ 513Python
MCP 与工具调用
Bifrost AI 网关
maximhq/bifrost
Bifrost 是一个基于 Go 的 AI 网关，为 23+ 家 AI 提供商提供统一的、兼容 OpenAI 的 API。它支持路由、故障转移、负载均衡、语义缓存、治理、可观测性、多模态请求、插件和模型上下文协议集成。
★ 7K⑂ 984Go
微调、训练与数据
Oumi：开源基础模型训练、评估、推理与部署平台
oumi-ai/oumi
Oumi 是一个基于 Python 的平台，用于数据准备、开放权重基础模型训练与微调、结果评估、推理运行和模型部署。它提供配置配方及统一 CLI，支持本地、集群和云端工作流。
★ 9.4K⑂ 784Python
推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
MCP 与工具调用
MemPalace
mempalace/mempalace
一个本地优先的开源 AI 记忆系统，将对话历史和项目文件以逐字文本形式存储以供语义检索，在 LongMemEval 上实现了 96.6% 的 R@5，且无需 LLM 或 API 调用。
★ 58K⑂ 7.5KPython
智能体与多智能体
txtai：语义搜索、RAG 和语言模型工作流框架
neuml/txtai
txtai 是一个基于 Python 的 AI 框架，用于语义与向量搜索、检索增强生成、LLM 编排、自主智能体及多模态语言模型工作流。
★ 12.8K⑂ 851Python
第 8 / 10 页 · 118 个项目