推理、部署与运行时
xLLM：面向多类 AI 加速器的高性能推理引擎
xllm-ai/xllm
xLLM 是一个 C++ 推理框架，支持 LLM、VLM、DiT 和 REC 模型。它面向多个 AI 加速器系列提供高吞吐、低延迟部署，并将服务层的调度与可用性职责同引擎层计算分离。
★ 1.5K⑂ 279C++
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
Future AGI
future-agi/future-agi
一个开源、可自托管的平台，用于评估、追踪、模拟、保护、路由和优化 LLM 及 AI 智能体应用。
★ 1.7K⑂ 498Python
MCP 与工具调用
comfyui-mcp
artokun/comfyui-mcp
一个本地优先、原生支持代理的 ComfyUI 控制平面，提供 MCP 服务器和侧边栏代理，可跨任何 LLM 使用自然语言生成图像、视频和音频，创建与运行工作流，以及编辑实时图谱。
★ 599⑂ 93TypeScript
MCP 与工具调用
NeuroLink
juspay/neurolink
一个 TypeScript 集成平台，提供统一的 API 接入 30+ 家 AI 供应商和 100+ 种模型，支持供应商切换、多模态语音处理、RAG、记忆功能以及 MCP 原生工具集成。
★ 121⑂ 124TypeScript
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
MCP 与工具调用
AI Brain Starter
mycelium-hq/ai-brain-starter
一款为 Claude Code 打造的操作系统与验证工具，提供持久记忆、问责机制、日志记录和知识图谱功能，确保上下文在跨会话中不断累积而非损坏。
★ 33⑂ 25Python
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
智能体与多智能体
dstack
dstackai/dstack
一个与供应商无关的控制平面，用于在 GPU 云、Kubernetes 和本地基础设施上配置和编排训练、推理、开发及智能体工作负载。
★ 2.2K⑂ 249Python
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 314⑂ 35Rust
LLM 与基础模型
Bionic GPT
bionic-gpt/bionic-gpt
Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案，面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。
★ 2.4K⑂ 239Rust
推理、部署与运行时
any-llm：面向 LLM 提供商的统一 Python 接口
mozilla-ai/any-llm
any-llm 是一个 Python SDK，可通过统一接口与多个 LLM 提供商通信。它支持以较少代码改动切换提供商和模型，并在可用时使用官方提供商 SDK。
★ 2.2K⑂ 211Python
AI 编程与开发者工具
ai-development-patterns
paulduvall/ai-development-patterns
A comprehensive collection of AI development patterns for building software with AI assistance, organized by implementation maturity and development lifecycle phases. Includes Foundation, Development, and Operations patterns with practical examples and anti-patterns.
★ 638⑂ 53Python
第 10 / 25 页 · 295 个项目