推理、部署与运行时
vllm
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
★ 89.5K⑂ 21KPython
ToolAI.io · GitHub 频道
GitHub 上的 AI 项目目录
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
RAGFlow
infiniflow/ragflow
RAGFlow 是一款开源检索增强生成（RAG）引擎，结合文档摄取、检索、可溯源引用、可配置的语言与嵌入模型以及智能体功能，为 LLM 应用提供上下文。
★ 86.7K⑂ 10.2KGo
智能体与多智能体
OpenHands Agent Canvas
openhands/openhands
一个自托管的开发者控制中心，用于在本地、远程和云环境中运行、管理和自动化编程代理。
★ 83.1K⑂ 10.7KTypeScript
智能体与多智能体
Unsloth：本地模型训练、推理与智能体集成
unslothai/unsloth
Unsloth 是一套基于 Python 的自托管工具包，提供测试版 Web UI 和代码核心，可在本地运行、微调、导出和服务语言、视觉、音频及嵌入模型。
★ 69.4K⑂ 6.3KPython
MCP 与工具调用
Headroom：AI 智能体的上下文压缩层
headroomlabs-ai/headroom
Headroom 是一个本地优先的上下文压缩层，通过在工具输出、日志、文件和 RAG 数据块发送至 LLM 前对其进行压缩，从而减少 AI 智能体的 token 用量。它提供库、代理和 MCP 服务器三种模式，并声称在削减 15-95% token 的同时（具体取决于工作负载）能保持答案准确性。
★ 65K⑂ 4.9KPython
智能体与多智能体
Mintplex-Labs 推出的 AnythingLLM
mintplex-labs/anything-llm
一款一体化、本地优先的 AI 应用，支持与文档对话、构建 AI 智能体，以及开箱即用地运行私有多用户 ChatGPT 替代方案。
★ 64.5K⑂ 7.1KJavaScript
智能体与多智能体
Mem0：面向 AI 智能体的通用记忆层
mem0ai/mem0
Mem0 是一个面向 AI 智能体和助手的开源记忆层，支持跨用户会话的个性化长期记忆。它通过 Python 和 npm SDK、自托管服务器或托管云平台，提供多级记忆保留、混合检索和时间推理功能。
★ 62.5K⑂ 7.3KPython
MCP 与工具调用
MemPalace
mempalace/mempalace
一个本地优先的开源 AI 记忆系统，将对话历史和项目文件以逐字文本形式存储以供语义检索，在 LongMemEval 上实现了 96.6% 的 R@5，且无需 LLM 或 API 调用。
★ 58K⑂ 7.5KPython
MCP 与工具调用
litellm
berriai/litellm
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
★ 56.8K⑂ 10.8KPython
智能体与多智能体
LlamaIndex
run-llama/llama_index
LlamaIndex 是一个开源的 Python 数据框架，用于使用私有数据构建 LLM 应用，提供数据连接器、索引结构和高级检索接口。它由 LlamaParse 作为补充，LlamaParse 是一个用于代理式 OCR、解析、提取和索引的企业级平台。
★ 51.4K⑂ 7.9KPython
RAG 与知识系统
milvus
milvus-io/milvus
Milvus is a high-performance, cloud-native vector database built for scalable vector ANN search
★ 45.7K⑂ 4.2KGo
MCP 与工具调用
AstrBot：开源 AI 智能体助手与开发框架
astrbotdevs/astrbot
AstrBot 是一个开源的一体化 AI 智能体聊天机器人平台与开发框架，集成了主流即时通讯平台、大语言模型、插件及智能体能力，用于构建生产级对话式 AI 应用。
★ 38.5K⑂ 2.7KPython
第 2 / 25 页 · 295 个项目