推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
ToolAI.io · GitHub 频道
GitHub 上的新 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
LLM 与基础模型
Bionic GPT
bionic-gpt/bionic-gpt
Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案，面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。
★ 2.4K⑂ 239Rust
智能体与多智能体
Embabel Agent Framework
embabel/embabel-agent
Embabel 是一个开源 JVM 框架，用于构建强类型智能体应用，将 LLM 交互、常规代码、工具和领域模型结合起来。它支持动态规划，可通过 Kotlin 或 Java 使用。
★ 4.3K⑂ 417Kotlin
智能体与多智能体
dstack
dstackai/dstack
一个与供应商无关的控制平面，用于在 GPU 云、Kubernetes 和本地基础设施上配置和编排训练、推理、开发及智能体工作负载。
★ 2.2K⑂ 249Python
推理、部署与运行时
any-llm：面向 LLM 提供商的统一 Python 接口
mozilla-ai/any-llm
any-llm 是一个 Python SDK，可通过统一接口与多个 LLM 提供商通信。它支持以较少代码改动切换提供商和模型，并在可用时使用官方提供商 SDK。
★ 2.2K⑂ 211Python
智能体与多智能体
Future AGI
future-agi/future-agi
一个开源、可自托管的平台，用于评估、追踪、模拟、保护、路由和优化 LLM 及 AI 智能体应用。
★ 1.7K⑂ 498Python
MCP 与工具调用
Skybridge
alpic-ai/skybridge
Skybridge 是一个开源的全栈 TypeScript 和 React 框架，用于构建类型安全的 MCP Apps、MCP 服务器和 ChatGPT Apps，并支持已兼容的具备 UI 能力的 MCP 客户端。
★ 2K⑂ 133TypeScript
智能体与多智能体
Cindy
makecindy/cindy
Cindy 是一个开源桌面和移动端 AI 智能体客户端，可配合本地文件、已登录应用、浏览器、计算机和手机使用。它支持 Claude Code 和 Codex harness，并提供多种模型访问方式、持久化工作区上下文、自动化和 MCP 集成。
★ 2.1K⑂ 283TypeScript
推理、部署与运行时
xLLM：面向多类 AI 加速器的高性能推理引擎
xllm-ai/xllm
xLLM 是一个 C++ 推理框架，支持 LLM、VLM、DiT 和 REC 模型。它面向多个 AI 加速器系列提供高吞吐、低延迟部署，并将服务层的调度与可用性职责同引擎层计算分离。
★ 1.5K⑂ 279C++
智能体与多智能体
Alith
0xlazai/alith
一个简单、可组合且高性能的 AI 智能体框架，专为 Web3 和 Crypto 设计，使开发者能够通过多语言支持和 LazAI Gateway 集成来构建、部署和管理链上 AI 智能体。
★ 44⑂ 31Rust
第 17 / 22 页 · 253 个项目