智能体与多智能体
LangWatch
langwatch/langwatch
一个开放核心平台，用于在发布前及生产环境中评估、测试、追踪和监控 LLM 应用与 AI 智能体。
★ 3.5K⑂ 345TypeScript
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 67⑂ 7Python
智能体与多智能体
models
reyamira/models
一款用于浏览 AI 模型、基准测试、编程代理和提供商状态的 TUI 和 CLI 工具。
★ 492⑂ 19Rust
智能体与多智能体
OpenGeni
cloudgeni-ai/opengeni
一款面向组织的开放、可自托管的智能体运行时，提供持久且可重放的智能体会话、人工审批、受管凭证与记忆，以及灵活的计算目标，包括托管沙箱和接入的用户硬件。
★ 56⑂ 4TypeScript
智能体与多智能体
Future AGI
future-agi/future-agi
一个开源、可自托管的平台，用于评估、追踪、模拟、保护、路由和优化 LLM 及 AI 智能体应用。
★ 1.7K⑂ 497Python
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 312⑂ 35Rust
智能体与多智能体
1flowbase
taichuy/1flowbase
一款开源 AI 网关，允许本地代理客户端将融合式多模型工作流发布为兼容 OpenAI 和 Claude 的虚拟模型，并提供对追踪、Token、延迟和成本的完全可观测性。
★ 257⑂ 19Rust
MCP 与工具调用
SBproxy
soapbucket/sbproxy
一款使用 Rust 编写的开源、自托管企业级 AI 网关和 LLM 代理，提供兼容 OpenAI 的 API，支持 60 多家提供商及本地模型托管、MCP 工具联邦与强大的流量治理。
★ 49⑂ 1Rust
推理、部署与运行时
TensorRT-LLM：Optimized LLM inference
NVIDIA/TensorRT-LLM
ToolAI 对 NVIDIA/TensorRT-LLM 的客观项目介绍。TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14.4K⑂ 2.7KC++
LLM 与基础模型
Bionic GPT
bionic-gpt/bionic-gpt
Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案，面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。
★ 2.4K⑂ 239Rust
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
MCP 与工具调用
comfyui-mcp
artokun/comfyui-mcp
一个本地优先、原生支持代理的 ComfyUI 控制平面，提供 MCP 服务器和侧边栏代理，可跨任何 LLM 使用自然语言生成图像、视频和音频，创建与运行工作流，以及编辑实时图谱。
★ 597⑂ 93TypeScript
第 1 / 7 页 · 75 个项目