推理、部署与运行时
xLLM：面向多类 AI 加速器的高性能推理引擎
xllm-ai/xllm
xLLM 是一个 C++ 推理框架，支持 LLM、VLM、DiT 和 REC 模型。它面向多个 AI 加速器系列提供高吞吐、低延迟部署，并将服务层的调度与可用性职责同引擎层计算分离。
★ 1.5K⑂ 279C++
ToolAI.io · GitHub 频道
GitHub 上的新 AI 项目
一个基于事实的 LLM、智能体、MCP、RAG 和 AI 开发项目索引；每个条目均包含许可证、设置、下载、截图及相关资源。
公开仓库数据
项目索引
推理、部署与运行时
memra
avifenesh/memra
一个从零开始使用 Rust 和 CUDA 构建的 LLM 推理引擎，专门针对 RTX 5090 (sm_120a) 和 H100 (sm_90a) 架构进行优化，在不依赖 ggml 等框架的情况下提供精确性约束的性能。
★ 312⑂ 35Rust
推理、部署与运行时
hal0
hal0ai/hal0
一个开源、自托管的家庭AI推理平台，旨在将Linux设备转变为兼容OpenAI的推理设备，并针对AMD Strix Halo硬件进行了原生优化。
★ 67⑂ 7Python
LLM 与基础模型
精选
DeepSeek-V3：Large language model research and inference
deepseek-ai/DeepSeek-V3
ToolAI 对 deepseek-ai/DeepSeek-V3 的客观项目介绍。An open-source project focused on large language model research and inference.
★ 104.3K⑂ 16.7KPython
LLM 与基础模型
精选
DeepSeek-R1：Reasoning model research and evaluation
deepseek-ai/DeepSeek-R1
ToolAI 对 deepseek-ai/DeepSeek-R1 的客观项目介绍。An open-source project focused on reasoning model research and evaluation.
★ 92K⑂ 11.7KPython
LLM 与基础模型
Qwen3：Open-weight multilingual language models
QwenLM/Qwen3
ToolAI 对 QwenLM/Qwen3 的客观项目介绍。Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud
★ 27.5K⑂ 2KPython
LLM 与基础模型
Qwen3-Coder：Code-focused language models
QwenLM/Qwen3-Coder
ToolAI 对 QwenLM/Qwen3-Coder 的客观项目介绍。Qwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team
★ 16.8K⑂ 1.2KPython
LLM 与基础模型
DeepSeek-Coder：Code generation models
deepseek-ai/DeepSeek-Coder
ToolAI 对 deepseek-ai/DeepSeek-Coder 的客观项目介绍。DeepSeek Coder: Let the Code Write Itself
★ 24.2K⑂ 2.9KPython
推理、部署与运行时
TensorRT-LLM：Optimized LLM inference
NVIDIA/TensorRT-LLM
ToolAI 对 NVIDIA/TensorRT-LLM 的客观项目介绍。TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way
★ 14.4K⑂ 2.7KC++
推理、部署与运行时
tiktoken：Fast tokenization
openai/tiktoken
ToolAI 对 openai/tiktoken 的客观项目介绍。tiktoken is a fast BPE tokeniser for use with OpenAI's models
★ 19K⑂ 1.6KRust
LLM 与基础模型
gpt-oss：Open-weight language model tooling
openai/gpt-oss
ToolAI 对 openai/gpt-oss 的客观项目介绍。gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI
★ 20.3K⑂ 2.1KPython
智能体与多智能体
NemoClaw：Agent runtime and deployment tooling
NVIDIA/NemoClaw
ToolAI 对 NVIDIA/NemoClaw 的客观项目介绍。Run agents like Hermes, LangChain Deep Agents, and OpenClaw more securely inside NVIDIA OpenShell with managed inference
★ 22.2K⑂ 3KPython
第 2 / 2 页 · 24 个项目