DeepSeek开源DeepInfer，交付分布式离线推理核心

DeepInfer是DeepSeek内部推理框架公开的模型执行与离线推理核心。首版包含C++调度器、Python引擎、模型与采样实现，提供Attention数据并行和均衡上下文并行、MoE专家并行及专家负载均衡，利用异步CPU/设备调度组织请求批次；支持DSpark推测解码及按置信度安排验证、滑窗注意力的有界状态回放，以及regex、JSON Schema和EBNF约束输出。NVIDIA路径还提供批次不变性与确定性采样。 首版支持DeepSeek-V4.1-Flash，硬件边界为NVIDIA SM100与华为Ascend950。文档要求Linux、GCC13及以上、Python3.12，并按设备准备CUDA13或CANN9.2等依赖。仓库提供build.sh构建脚本、离线推理及结构化输出例子，使用者需另备匹配模型权重、设备和分布式运行环境。本次核对固定首版源码与构建/调用入口，未在对应GPU/NPU环境执行部署或性能测试。 开源范围不含完整外部KV缓存系统、VE/Prefill/Decode服务分离部署及DP副本间的服务负载均衡；代码中的专家负载均衡不等于已经交付服务级请求均衡。不能据此直接获得完整线上托管服务，亦不把官方线上系统吞吐或成本宣传当作公开代码在指定环境的基准结果。项目代码采用Apache2.0，第三方依赖和子模块仍须遵守各自许可。 仓库容器在16日已转为公开；20日有实质初版代码和官方开源公告，因此本条按20日工程交付收录，不称20日首次创建或首次转公开。