推理、部署与运行时
xLLM：面向多类 AI 加速器的高性能推理引擎
xllm-ai/xllm
xLLM 是一个 C++ 推理框架，支持 LLM、VLM、DiT 和 REC 模型。它面向多个 AI 加速器系列提供高吞吐、低延迟部署，并将服务层的调度与可用性职责同引擎层计算分离。
★ 1.5K⑂ 279C++
ToolAI.io · GitHub 频道
推理、部署与运行时 · GitHub 上的开源 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
TensorRT
NVIDIA/TensorRT
NVIDIA® TensorRT™ is an SDK for high-performance deep learning inference on NVIDIA GPUs. This repository contains the open source components of TensorRT.
★ 13.2K⑂ 2.4KC++
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 314⑂ 35Rust
推理、部署与运行时
Paddle-Lite
PaddlePaddle/Paddle-Lite
PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎）
★ 7.3K⑂ 1.6KC++
推理、部署与运行时
ollama
ollama/ollama
帮助开发者在本地运行和管理大语言模型的工具。
★ 180.2K⑂ 17.7KGo
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 68⑂ 7Python
推理、部署与运行时
Model-Optimizer
NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
★ 3.3K⑂ 513Python
推理、部署与运行时
LocalAI
mudler/LocalAI
用于自托管多种模型和 AI 服务的本地推理引擎。
★ 48.9K⑂ 4.4KGo
推理、部署与运行时
ray
ray-project/ray
为机器学习训练、调参和模型服务提供分布式计算运行时。
★ 43.7K⑂ 8KPython
推理、部署与运行时
checkpoint-engine
MoonshotAI/checkpoint-engine
Checkpoint-engine is a simple middleware to update model weights in LLM inference engines
★ 982⑂ 100Python
推理、部署与运行时
jan
janhq/jan
支持在个人电脑上运行模型的本地 AI 对话应用。
★ 44.3K⑂ 3KTypeScript
第 2 / 2 页 · 23 个项目