推理、部署与运行时
vllm
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
★ 89.5K⑂ 21KPython
ToolAI.io · GitHub 频道
GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
精选
浏览列表 →markitdown：Document conversion and extraction
ToolAI 对 microsoft/markitdown 的客观项目介绍。Python tool for converting files and office documents to Markdown
★ 174.9K · Pythonskills：Reusable agent skills and workflows
ToolAI 对 anthropics/skills 的客观项目介绍。Public repository for Agent Skills
★ 170.6K · Markdownclaude-code：Agentic coding in the terminal
ToolAI 对 anthropics/claude-code 的客观项目介绍。Claude Code is an agentic coding tool that lives in your terminal, understands your codebase, and helps you code faster by executing routine tasks, explaining complex code, and handling git workflows - all through natural language commands
★ 142.1K · TypeScriptwhisper：Speech recognition and transcription
ToolAI 对 openai/whisper 的客观项目介绍。Robust Speech Recognition via Large-Scale Weak Supervision
★ 107.7K · PythonDeepSeek-V3：Large language model research and inference
ToolAI 对 deepseek-ai/DeepSeek-V3 的客观项目介绍。An open-source project focused on large language model research and inference.
★ 104.4K · PythonDeepSeek-R1：Reasoning model research and evaluation
ToolAI 对 deepseek-ai/DeepSeek-R1 的客观项目介绍。An open-source project focused on reasoning model research and evaluation.
★ 92K · PythonHermes Agent
由 Nous Research 构建的自改进 AI 智能体，具备闭环学习、多平台消息集成以及灵活的模型提供商切换功能。设计用于在低成本 VPS、GPU 集群或无服务器基础设施上运行。
★ 227.1K · PythonHugging Face Transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K · PythonFirecrawl
一款开源的网络上下文 API，支持大规模搜索、抓取网页并与网络交互，将网页数据转换为干净的 Markdown 或结构化 JSON，供 AI 智能体和大语言模型（LLM）使用。
★ 161.1K · TypeScript MCP 与工具调用Dify：用于智能体工作流和 RAG 应用的协作平台
Dify 是一个 LLM 应用开发平台，用于可视化构建工作流、RAG 管道和可调用工具的智能体。它在协作工作区中整合了模型管理、提示词开发、可观测性和应用 API，可作为托管服务使用或自行托管。
★ 151.2K · TypeScriptLangChain
一个开源的 Python 框架，通过可互操作、可链式组合的组件和第三方集成，构建由大语言模型驱动的应用与智能体。
★ 143.6K · PythonGraphify：将任意代码库转化为可查询的知识图谱
Graphify 是一款本地优先的 CLI 工具和 AI 助手技能，通过确定性的 AST 解析，将代码库、文档、SQL 架构和 PDF 解析为可查询的知识图谱，无需依赖向量存储或嵌入。
★ 104K · Python公开仓库数据
项目索引
智能体与多智能体
RAGFlow
infiniflow/ragflow
RAGFlow 是一款开源检索增强生成（RAG）引擎，结合文档摄取、检索、可溯源引用、可配置的语言与嵌入模型以及智能体功能，为 LLM 应用提供上下文。
★ 86.7K⑂ 10.2KGo
智能体与多智能体
OpenHands Agent Canvas
openhands/openhands
一个自托管的开发者控制中心，用于在本地、远程和云环境中运行、管理和自动化编程代理。
★ 83.1K⑂ 10.7KTypeScript
智能体与多智能体
Unsloth：本地模型训练、推理与智能体集成
unslothai/unsloth
Unsloth 是一套基于 Python 的自托管工具包，提供测试版 Web UI 和代码核心，可在本地运行、微调、导出和服务语言、视觉、音频及嵌入模型。
★ 69.4K⑂ 6.3KPython
MCP 与工具调用
Headroom：AI 智能体的上下文压缩层
headroomlabs-ai/headroom
Headroom 是一个本地优先的上下文压缩层，通过在工具输出、日志、文件和 RAG 数据块发送至 LLM 前对其进行压缩，从而减少 AI 智能体的 token 用量。它提供库、代理和 MCP 服务器三种模式，并声称在削减 15-95% token 的同时（具体取决于工作负载）能保持答案准确性。
★ 65K⑂ 4.9KPython
智能体与多智能体
Mintplex-Labs 推出的 AnythingLLM
mintplex-labs/anything-llm
一款一体化、本地优先的 AI 应用，支持与文档对话、构建 AI 智能体，以及开箱即用地运行私有多用户 ChatGPT 替代方案。
★ 64.5K⑂ 7.1KJavaScript
智能体与多智能体
Mem0：面向 AI 智能体的通用记忆层
mem0ai/mem0
Mem0 是一个面向 AI 智能体和助手的开源记忆层，支持跨用户会话的个性化长期记忆。它通过 Python 和 npm SDK、自托管服务器或托管云平台，提供多级记忆保留、混合检索和时间推理功能。
★ 62.5K⑂ 7.3KPython
MCP 与工具调用
MemPalace
mempalace/mempalace
一个本地优先的开源 AI 记忆系统，将对话历史和项目文件以逐字文本形式存储以供语义检索，在 LongMemEval 上实现了 96.6% 的 R@5，且无需 LLM 或 API 调用。
★ 58K⑂ 7.5KPython
MCP 与工具调用
litellm
berriai/litellm
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
★ 56.8K⑂ 10.8KPython
智能体与多智能体
LlamaIndex
run-llama/llama_index
LlamaIndex 是一个开源的 Python 数据框架，用于使用私有数据构建 LLM 应用，提供数据连接器、索引结构和高级检索接口。它由 LlamaParse 作为补充，LlamaParse 是一个用于代理式 OCR、解析、提取和索引的企业级平台。
★ 51.4K⑂ 7.9KPython
RAG 与知识系统
milvus
milvus-io/milvus
Milvus is a high-performance, cloud-native vector database built for scalable vector ANN search
★ 45.7K⑂ 4.2KGo
MCP 与工具调用
AstrBot：开源 AI 智能体助手与开发框架
astrbotdevs/astrbot
AstrBot 是一个开源的一体化 AI 智能体聊天机器人平台与开发框架，集成了主流即时通讯平台、大语言模型、插件及智能体能力，用于构建生产级对话式 AI 应用。
★ 38.5K⑂ 2.7KPython
第 2 / 24 页 · 282 个项目