推理、部署与运行时
Hugging Face Transformers
huggingface/transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K⑂ 34.1KPython
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
智能体与多智能体
CSGHub：开源大语言模型资产管理平台
opencsgs/csghub
CSGHub 是一个开源的本地化部署平台，用于管理大语言模型资产的全生命周期，包括模型、数据集、空间和代码，提供类似于私有化 Hugging Face 的功能。
★ 4.2K⑂ 525Vue
MCP 与工具调用
Lemonade：面向 GPU 和 NPU 推理的本地 AI 服务器
lemonade-sdk/lemonade
Lemonade 是一个开源的本地 AI 服务器，允许用户直接在自己的 GPU 和 NPU 上运行优化的大语言模型（LLM）、语音及图像生成模型，提供了一种免费且私有的云 API 替代方案。
★ 5.2K⑂ 436C++
推理、部署与运行时
OpenVINO
openvinotoolkit/openvino
用于在边缘到云环境中优化和部署 AI 推理的开源工具包。
★ 10.6K⑂ 3.3KC++
推理、部署与运行时
Mooncake：以 KVCache 为中心的分布式 LLM 服务基础设施
kvcache-ai/mooncake
Mooncake 是一个面向大规模 LLM 推理和训练的 C++ 基础设施项目。它将预填充、解码和存储资源解耦，并提供高性能数据传输、分布式 KV 缓存存储及具备容错能力的专家并行通信。
★ 6.1K⑂ 1KC++
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
推理、部署与运行时
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3.3K⑂ 513Python
推理、部署与运行时
NVIDIA Container Toolkit：让容器访问 NVIDIA GPU
NVIDIA/nvidia-container-toolkit
为 Docker 等容器运行时配置 GPU 访问，适合把模型推理、训练和 CUDA 工作负载部署到 NVIDIA GPU 服务器。
★ 4.6K⑂ 589Go
LLM 与基础模型
gpt-oss：Open-weight language model tooling
openai/gpt-oss
ToolAI 对 openai/gpt-oss 的客观项目介绍。gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI
★ 20.3K⑂ 2.1KPython
推理、部署与运行时
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
多模态 AI
TRELLIS.2：从图片生成带材质的 3D 资产
microsoft/TRELLIS.2
微软的 3D 生成项目，提供图片转三维、PBR 纹理生成与 GLB 导出，适合具备 GPU 环境的资产制作流程。
★ 11.2K⑂ 1.4KPython
第 3 / 4 页 · 47 个项目