论文

并行草稿,深度条件:用于推测解码的相邻因果注入

Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding

模型推理投机采样

摘要

并行推测性起草在一个骨干通道中生成多个候选者,但独立的词元选择可能会产生不一致的延续,从而缩短可接受的前缀。现有的方法大多将条件解码留给骨干网之后的轻量级模块,这限制了前驱信息流向后继信息。我们对 DFlash 的分析表明,早期位置已经在浅层中形成了可恢复的预测,并且准确的相邻前身在较早进入时对后继者有更多帮助。因此,我们提出 DSpine,一种在整个主干网络中进行因果调节注入的起草器:在每一层,门控相邻注入将每个前任的预测特征写入其后继特征,因此因果调节链在网络深度上展开,同时所有位置并行更新。从目标模型的输出嵌入构建的统一传输空间将分层注入与前驱条件解码相结合,并且分层输出嵌入监督促进了浅层中预测特征的形成。融合内核和转换缓存在 SGLang 中并行高效执行。在七个数学、代码和聊天基准测试中,DSpine 在 Qwen3-4B 和 Qwen3-8B 上的两个温度下均实现了最长的接受长度。在 Qwen3-8B 温度为零时,它将七个基准平均值从 DFlash 的 3.77 提高到 4.82 (+27.8%);在 SGLang 服务测试中,它的吞吐量平均比 DFlash 高 23.3%。