开源项目

vLLM 使 DeepSeek-V4.1-Flash 可在八张 A100 上运行

[Model][DSv4.1] DeepSeek-V4.1 on A100 (SM80) and H100 (SM90)

AI 基础设施模型推理推理加速分布式推理模型部署

概述

vLLM 为 DeepSeek-V4.1-Flash 增加 A100 与 H100 的 CuTe DSL 解码路径,改变该模型的实际设备选择。原 A100 缺少部分 FlashMLA、DeepGEMM 与 FP8/FP4 指令,无法运行原服务路径;新实现支持八张 A100、TP8 与 DSpark 投机解码。官方同时在八张 H100 上验证,并与 GB300 主干参考比较 GSM8K、GPQA、AIME 和长上下文检索结果,报告 H100 特定 AgentX 配置的交互速度收益。其他 GPU 沿用现有路径;测试涉及多个代码修订,性能结论应按原文硬件和版本复现。