HyperDFlash：具有门控残差减少功能的超连接对齐模块 推测解码

我们推出 HyperDFlash，这是一个专为 DeepSeek-V4 的超连接 (HC) 量身定制的块并行 推测解码 框架。尽管 DeepSeek-V4 的原生多词元预测 (MTP) 模块在初始词元起草方面表现强劲，但其草稿准确性在后续位置急剧下降，因为未经验证的中间词元的错误累积会损害草稿接受率。尽管原始的 DFlash 方法支持高效的单通道块绘图，但它无法无缝适应 HC 范式，因为 DeepSeek-V4 的多路径残留流会导致与传统绘图设计的固有特征不一致。为了解决这种架构不匹配的问题，我们针对 HC 残余流提出了两种专用的、模型对齐的优化。首先，我们采用崩溃前的残差状态作为唯一的条件信号，保留完整的多路径结构信息，并更好地将绘图器与目标的本地预测路径对齐。其次，我们用轻量级门控残差减速器替换重型通用线性压缩器，其参数直接继承自目标模型的内置 hc_head 模块。该设计产生输入感知路径聚合，参数减少三个数量级，同时保持精确的架构对齐。我们通过应用于 LM-head 的目标 KL 蒸馏 损失进一步增强 模型训练，规范针对目标分布的预测，以提高早期草稿质量。数学推理、代码合成和会话基准测试方面的大量实验表明，HyperDFlash 的性能始终优于本机 MTP 基线和普通 DFlash 适配，在平均接受草稿长度和解码加速方面实现了显着提升。这些结果验证了 HC 对齐、门控还原和针对高性能 推测解码 的目标 蒸馏。