概览
DeepInfer 是支撑 DeepSeek 大规模线上服务的推理框架。这次开源的是离线推理部分,包含大规模部署需要的核心功能,目前只支持 DeepSeek-V4.1-Flash 一个模型。它把 DeepSeek 自研的算子库(FlashMLA、DeepGEMM、DeepEP 等)和注意力数据并行、带负载均衡的 MoE 专家并行、异步批调度、DSpark 草稿 token 解码组合在一起。 仓库 2026 年 10 月创建,一个月内获得约 2.5 万星,11 月初仍有提交,采用 Apache 2.0 许可。DeepSeek 说明它最初主要基于 vLLM 开发,也参考了 SGLang 和 TensorRT-LLM。它不是完整的线上服务:KV 缓存系统、预填充与解码分离部署、多副本负载均衡都不在这次开源范围内。
主要功能
- DeepSeek 生产算子:FlashMLA、DeepGEMM、DeepEP
- 注意力数据并行 / 均衡上下文并行,MoE 专家并行加 EPLB
- DSpark 草稿解码,按置信度安排校验
- 零开销异步批调度
- 批次不变推理与确定性采样
- 结构化输出:正则、JSON Schema、EBNF
要求、安装和快速入门
2. NVIDIA SM100 GPU 安装 CUDA 13;华为昇腾 950 安装 CANN 9.2。
3. 克隆仓库并指定平台:export DEEPINFER_ACCELERATOR=nvidia(昇腾用 ascend),运行时也要保留这个环境变量。
4. 运行 ./build.sh 从源码编译。
5. 运行 python examples/offline_inference.py。首次运行会把默认模型 deepseek-ai/DeepSeek-V4.1-Flash-1017 下载到 Hugging Face 缓存;已有本地副本时设置 DEEPINFER_HF_MODEL_DIR。
用法
模型兼容性与使用场景
本次开源只支持 DeepSeek-V4.1-Flash(默认权重 DeepSeek-V4.1-Flash-1017)。
许可证与风险说明
仓库 LICENSE 为 Apache 2.0。
Editorial source review: README, repository API metadata and LICENSE read; no install test.
发布与维护
Releases 区暂无正式版本,按上面的方式从源码编译。功能依据 README 和 examples 文档整理。