论文

当并行绘图器遇到并行推测解码时

When Parallel Drafter Meets Parallel Speculative Decoding

模型推理投机采样

摘要

DSpark 式的并行起草者使推测性解码变得非常有效,但他们的起草阶段在每轮的关键路径上仍然是串行的。并行推测解码(PSD)将起草与验证重叠,但现有方法必须提前猜测接受的前缀和奖励词元:错误的猜测会将整个批次恢复为串行起草。我们提出了 DPara,一个 PSD 框架,它重用有效的并行起草器,同时保证每一轮的骨干验证重叠,从而完全消除这种概率回退。当目标验证时,DPara 的扩散骨干网会预先计算每个接受边界的草稿表示,而奖金则未指定;然后,轻量级自回归头将显示的验证结果与匹配的预先计算的表示相结合,几乎立即发出下一轮的草稿词元——将主要骨干网与验证完全并行,只留下可忽略不计的头成本序列。在 Qwen3-8B 和 Qwen3-14B 上跨七个数学、编码和聊天基准测试的实验表明,DPara 相对于自回归解码实现了 3.21\times$ 和 3.52\times$ 的平均加速,超越了最强的串行和并行推测解码基准。