推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 312⑂ 35Rust
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
1flowbase
taichuy/1flowbase
一款开源 AI 网关，允许本地代理客户端将融合式多模型工作流发布为兼容 OpenAI 和 Claude 的虚拟模型，并提供对追踪、Token、延迟和成本的完全可观测性。
★ 257⑂ 19Rust
MCP 与工具调用
SBproxy
soapbucket/sbproxy
一款使用 Rust 编写的开源、自托管企业级 AI 网关和 LLM 代理，提供兼容 OpenAI 的 API，支持 60 多家提供商及本地模型托管、MCP 工具联邦与强大的流量治理。
★ 49⑂ 1Rust
推理、部署与运行时
TensorRT-LLM：Optimized LLM inference
NVIDIA/TensorRT-LLM
ToolAI 对 NVIDIA/TensorRT-LLM 的客观项目介绍。TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14.4K⑂ 2.7KC++
智能体与多智能体
dstack
dstackai/dstack
一个与供应商无关的控制平面，用于在 GPU 云、Kubernetes 和本地基础设施上配置和编排训练、推理、开发及智能体工作负载。
★ 2.2K⑂ 248Python
LLM 与基础模型
Bionic GPT
bionic-gpt/bionic-gpt
Bionic 是一个基于 Rust 的本地部署 ChatGPT 替代方案，面向私有生成式 AI 部署。它提供熟悉的聊天界面、本地或远程模型访问、团队控制、检索增强助手、数据集成、可观测性以及面向 Kubernetes 的扩展能力。
★ 2.4K⑂ 239Rust
智能体与多智能体
精选
skills：Reusable agent skills and workflows
anthropics/skills
ToolAI 对 anthropics/skills 的客观项目介绍。Public repository for Agent Skills
★ 169.9K⑂ 20.2KMarkdown
智能体与多智能体
claude-plugins-official：Official agent plugins
anthropics/claude-plugins-official
ToolAI 对 anthropics/claude-plugins-official 的客观项目介绍。Official, Anthropic-managed directory of high quality Claude Code Plugins
★ 33.6K⑂ 3.8KMarkdown
智能体与多智能体
DotCraft
dotharness/dotcraft
一个开源、自托管、项目级 AI 代理运行时，提供跨桌面、CLI、机器人和应用程序共享的持久会话、记忆、后台工作和自动化功能。
★ 385⑂ 16C#
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
MCP 与工具调用
comfyui-mcp
artokun/comfyui-mcp
一个本地优先、原生支持代理的 ComfyUI 控制平面，提供 MCP 服务器和侧边栏代理，可跨任何 LLM 使用自然语言生成图像、视频和音频，创建与运行工作流，以及编辑实时图谱。
★ 597⑂ 93TypeScript
RAG 与知识系统
Infino
infino-ai/infino
Infino 是一个快速检索引擎，能够对以 Parquet 格式原生存储在对象存储上的单份数据执行 SQL、全文搜索和向量搜索。
★ 67⑂ 18Rust
第 2 / 11 页 · 130 个项目