MCP 与工具调用
NeuroLink
juspay/neurolink
一个 TypeScript 集成平台，提供统一的 API 接入 30+ 家 AI 供应商和 100+ 种模型，支持供应商切换、多模态语音处理、RAG、记忆功能以及 MCP 原生工具集成。
★ 121⑂ 124TypeScript
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 314⑂ 35Rust
LLM 与基础模型
Bionic GPT
bionic-gpt/bionic-gpt
Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案，面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。
★ 2.4K⑂ 239Rust
推理、部署与运行时
any-llm：面向 LLM 提供商的统一 Python 接口
mozilla-ai/any-llm
any-llm 是一个 Python SDK，可通过统一接口与多个 LLM 提供商通信。它支持以较少代码改动切换提供商和模型，并在可用时使用官方提供商 SDK。
★ 2.2K⑂ 211Python
微调、训练与数据
aikit
kaito-project/aikit
🏗️ Fine-tune, build, and deploy open-source LLMs easily!
★ 535⑂ 57Go
智能体与多智能体
Alith
0xlazai/alith
一个简单、可组合且高性能的 AI 智能体框架，专为 Web3 和 Crypto 设计，使开发者能够通过多语言支持和 LazAI Gateway 集成来构建、部署和管理链上 AI 智能体。
★ 44⑂ 31Rust
MCP 与工具调用
Metronix Memory
mtrnix/metronix-memory
面向 AI 代理的自托管内存基础设施，具备 MCP 原生集成、混合 RAG、时序知识图谱和本体层，专为本地模型友好性及持久的、代理作用域上下文而设计。
★ 39⑂ 7Python
智能体与多智能体
LLMix
sno-ai/llmix
一款面向 AI 代理和工具的生产级 LLM 调用层，通过配置驱动的模型预设、缓存、弹性模式及密钥轮换，封装了现有的提供商 SDK，支持 Python、TypeScript 和 Rust。
★ 131⑂ 28Python
RAG 与知识系统
STACKIT RAG 模板
stackitcloud/rag-template
一个使用检索增强生成（RAG）、向量搜索和 FastAPI 构建 AI 聊天机器人和文档管理系统的模板，专为在 Kubernetes 上部署而设计。
★ 86⑂ 10Python
智能体与多智能体
SkillOpt：Skill optimization for agents
microsoft/SkillOpt
ToolAI 对 microsoft/SkillOpt 的客观项目介绍。SkillOpt is a text-space optimizer that trains reusable natural-language skills for frozen LLM agents through trajectory-driven edits, validation-gated updates, and deployable best_skill.md artifacts
★ 16.2K⑂ 1.5KPython
第 5 / 11 页 · 126 个项目