论文
从链到树:半自回归的父条件绘图 推测解码
From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding
摘要
仅当起草的延续通过目标模型验证时,推测解码 才会加速 LLM 推理。 DSpark 等半自回归起草者通过一个主干向前预测整个词元块,并使用轻量级马尔可夫头对其进行细化。然而,DSpark 将此块解码为单链,因此早期的不匹配会使剩余后缀无效并限制大草案块的好处。我们证明 DSpark 已经学习的条件结构可以支持多个父级一致的延续,而无需重新训练或额外的骨干通道。我们引入了父条件绘图树(PCTree),它使用预训练的马尔可夫头为每个具体父项分别对替代子项进行评分,并将固定的验证预算分配给最可能的路径。这将 DSpark 的线性草图转换为树,同时保留其单通道并行骨干网。在 Qwen3-{4B,8B,14B} 和九个基准测试中,相对于匹配的 DSpark,在 $B{=}7$ 下测得自回归 (AR) 解码的加速增益范围从 $3.1\%$ 到 $29.5\%$。在 $B{=}16$ 的 Qwen3-4B GSM8K 上,PCTree 将平均接受长度从 $9.41$ 增加到 $11.16$,三轮平均 AR 加速从 $6.14{\times}$ 增加到 $6.60{\times}$。这些表明,父条件分支可以通过仅推理更改将半自回归起草器中已有的条件能力转变为端到端推理增益。