推理、部署与运行时
Hugging Face Transformers
huggingface/transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K⑂ 34.1KPython
ToolAI.io · GitHub 频道
推理、部署与运行时 · GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
vllm
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
★ 89.5K⑂ 21KPython
推理、部署与运行时
sglang
sgl-project/sglang
SGLang is a high-performance serving framework for large language models and multimodal models.
★ 32.2K⑂ 8.1KPython
推理、部署与运行时
OpenVINO
openvinotoolkit/openvino
用于在边缘到云环境中优化和部署 AI 推理的开源工具包。
★ 10.6K⑂ 3.3KC++
推理、部署与运行时
Xorbits Inference (Xinference)
xorbitsai/inference
一个强大且通用的库，旨在为语言、语音识别和多模态模型提供服务。它允许用户仅通过更改一行代码即可将 GPT 替换为任意 LLM，并通过统一的、生产就绪的推理 API 在云端、本地或本地服务器上运行模型。
★ 9.5K⑂ 853Python
推理、部署与运行时
Mooncake：以 KVCache 为中心的分布式 LLM 服务基础设施
kvcache-ai/mooncake
Mooncake 是一个面向大规模 LLM 推理和训练的 C++ 基础设施项目。它将预填充、解码和存储资源解耦，并提供高性能数据传输、分布式 KV 缓存存储及具备容错能力的专家并行通信。
★ 6.1K⑂ 1KC++
推理、部署与运行时
GPUStack
gpustack/gpustack
GPUStack 是一款开源 GPU 集群管理器，用于服务 AI 模型并按需提供可通过 SSH 访问的 GPU 实例。它可在本地部署、Kubernetes 和云环境中编排包括 vLLM、SGLang 和 TensorRT-LLM 在内的推理引擎。
★ 5.4K⑂ 604Python
推理、部署与运行时
llm-d：在 Kubernetes 上进行分布式 LLM 推理
llm-d/llm-d
llm-d 是一个开源服务栈，围绕 vLLM 和 SGLang 等模型服务器提供分布式编排、路由、缓存管理、自动扩缩容和批处理能力。它面向 Kubernetes 和现代硬件加速器上的大规模生产推理。
★ 4K⑂ 649Shell
推理、部署与运行时
FastDeploy
PaddlePaddle/FastDeploy
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddlePaddle
★ 3.7K⑂ 755Python
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
推理、部署与运行时
any-llm：面向 LLM 提供商的统一 Python 接口
mozilla-ai/any-llm
any-llm 是一个 Python SDK，可通过统一接口与多个 LLM 提供商通信。它支持以较少代码改动切换提供商和模型，并在可用时使用官方提供商 SDK。
★ 2.2K⑂ 211Python
推理、部署与运行时
llmgateway
theopenco/llmgateway
Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.
★ 1.6K⑂ 172TypeScript
第 1 / 2 页 · 24 个项目