推理、部署与运行时
vllm
vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
★ 89.5K⑂ 21KPython
ToolAI.io · GitHub 频道
GitHub 上的热门 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
TensorRT-LLM：Optimized LLM inference
NVIDIA/TensorRT-LLM
ToolAI 对 NVIDIA/TensorRT-LLM 的客观项目介绍。TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14.4K⑂ 2.7KC++
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 68⑂ 7Python
推理、部署与运行时
xLLM：面向多类 AI 加速器的高性能推理引擎
xllm-ai/xllm
xLLM 是一个 C++ 推理框架，支持 LLM、VLM、DiT 和 REC 模型。它面向多个 AI 加速器系列提供高吞吐、低延迟部署，并将服务层的调度与可用性职责同引擎层计算分离。
★ 1.5K⑂ 279C++
推理、部署与运行时
vLLM Ascend
vllm-project/vllm-ascend
一个由社区维护的硬件插件，使 vLLM 能够在受支持的 Ascend NPU 上运行模型推理与服务工作负载。
★ 2.7K⑂ 2.1KC++
智能体与多智能体
dstack
dstackai/dstack
一个与供应商无关的控制平面，用于在 GPU 云、Kubernetes 和本地基础设施上配置和编排训练、推理、开发及智能体工作负载。
★ 2.2K⑂ 249Python
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 314⑂ 35Rust
推理、部署与运行时
any-llm：面向 LLM 提供商的统一 Python 接口
mozilla-ai/any-llm
any-llm 是一个 Python SDK，可通过统一接口与多个 LLM 提供商通信。它支持以较少代码改动切换提供商和模型，并在可用时使用官方提供商 SDK。
★ 2.2K⑂ 211Python
推理、部署与运行时
tiktoken：Fast tokenization
openai/tiktoken
ToolAI 对 openai/tiktoken 的客观项目介绍。tiktoken is a fast BPE tokeniser for use with OpenAI's models
★ 19K⑂ 1.6KRust
推理、部署与运行时
Xorbits Inference (Xinference)
xorbitsai/inference
一个强大且通用的库，旨在为语言、语音识别和多模态模型提供服务。它允许用户仅通过更改一行代码即可将 GPT 替换为任意 LLM，并通过统一的、生产就绪的推理 API 在云端、本地或本地服务器上运行模型。
★ 9.5K⑂ 853Python
智能体与多智能体
Plano：面向智能体应用的原生 AI 代理服务器与数据平面
katanemo/plano
Plano 是一款使用 Rust 构建的原生 AI 代理服务器与数据平面，可集中处理 LLM 路由、智能体编排、可观测性和防护栏，使开发者能够专注于核心智能体逻辑，而非底层基础设施。
★ 7K⑂ 484Rust
推理、部署与运行时
Hugging Face Transformers
huggingface/transformers
一个面向文本、视觉、音频和多模态领域最先进机器学习模型的模型定义框架，同时支持推理和训练。
★ 163.3K⑂ 34.1KPython
第 2 / 4 页 · 46 个项目