推理、部署与运行时

DeepInfer

deepseek-ai/DeepInfer

DeepSeek 自家线上服务用的高性能推理框架,开源版支持在 NVIDIA SM100 GPU 和华为昇腾 950 上离线运行 DeepSeek-V4.1-Flash。

★ 25.7K星级
⑂ 3.2KFork 数
247未解决的问题
Python语言
Apache-2.0许可证
Q82编辑评分

概览

DeepInfer 是支撑 DeepSeek 大规模线上服务的推理框架。这次开源的是离线推理部分,包含大规模部署需要的核心功能,目前只支持 DeepSeek-V4.1-Flash 一个模型。它把 DeepSeek 自研的算子库(FlashMLA、DeepGEMM、DeepEP 等)和注意力数据并行、带负载均衡的 MoE 专家并行、异步批调度、DSpark 草稿 token 解码组合在一起。 仓库 2026 年 10 月创建,一个月内获得约 2.5 万星,11 月初仍有提交,采用 Apache 2.0 许可。DeepSeek 说明它最初主要基于 vLLM 开发,也参考了 SGLang 和 TensorRT-LLM。它不是完整的线上服务:KV 缓存系统、预填充与解码分离部署、多副本负载均衡都不在这次开源范围内。

主要功能

  • DeepSeek 生产算子:FlashMLA、DeepGEMM、DeepEP
  • 注意力数据并行 / 均衡上下文并行,MoE 专家并行加 EPLB
  • DSpark 草稿解码,按置信度安排校验
  • 零开销异步批调度
  • 批次不变推理与确定性采样
  • 结构化输出:正则、JSON Schema、EBNF

要求、安装和快速入门

1. 准备 Linux、GCC 13 及以上版本,新建一个空的 Python 3.12 环境。
2. NVIDIA SM100 GPU 安装 CUDA 13;华为昇腾 950 安装 CANN 9.2。
3. 克隆仓库并指定平台:export DEEPINFER_ACCELERATOR=nvidia(昇腾用 ascend),运行时也要保留这个环境变量。
4. 运行 ./build.sh 从源码编译。
5. 运行 python examples/offline_inference.py。首次运行会把默认模型 deepseek-ai/DeepSeek-V4.1-Flash-1017 下载到 Hugging Face 缓存;已有本地副本时设置 DEEPINFER_HF_MODEL_DIR。

用法

从离线示例开始,按设备数量选择并行方式,例如 python examples/offline_inference.py --ep 8 在 8 张卡上做专家并行,或 --ep 2 --dp 8 再加上数据并行。需要固定输出格式时,给 SamplingParams 传 so_args,可约束为 JSON Schema、正则或 EBNF。需要可复现结果时(仅 NVIDIA),设置 DEEPINFER_BATCH_INVARIANT=1,让结果不随批次组合变化,再传固定的 seq_seed 实现确定性采样。examples 目录还有复现官方预填充和解码性能图的压测脚本。

模型兼容性与使用场景

本次开源只支持 DeepSeek-V4.1-Flash(默认权重 DeepSeek-V4.1-Flash-1017)。

许可证与风险说明

仓库 LICENSE 为 Apache 2.0。

Editorial source review: README, repository API metadata and LICENSE read; no install test.

发布与维护

Releases 区暂无正式版本,按上面的方式从源码编译。功能依据 README 和 examples 文档整理。

vllm

vllm-project/vllm

★ 89.5KPython

sglang

sgl-project/sglang

★ 32.2KPython

OpenVINO

openvinotoolkit/openvino

★ 10.6KC++

GPUStack

gpustack/gpustack

★ 5.4KPython