GRAFT：具有目标提取边缘评分的自适应基于 DLM 的草图树构建

基于树的 推测解码 通过验证多个草案路径来提高标准 推测解码 的平均接受词元，并且现有的树构建器通常通过父条件扩展来构建这些路径，其中每个子词元都是根据其父路径生成的。这种结构与 DFlash 等扩散语言模型 (DLM) 起草者不兼容，后者在一次前向传递中生成所有未来位置分布。 DDTree 通过将每个未来位置分布中的高概率标记视为候选节点并在固定节点预算下选择连续位置之间的边来弥补这一差距。然而，它的边缘选择仅依赖于词元概率，而没有对父子兼容性进行建模，因此目标兼容的词元可能会附加到错误的父级；此外，其固定预算忽略了吞吐量最优树大小随解码状态的变化。我们提出了 GRAFT，一种基于 DLM 的 推测解码 的草稿树构建框架。 GRAFT 引入了目标提取边缘评分 (TDES)，它从目标模型跟踪中提取父子偏好，以选择目标兼容的边缘；以及状态感知预算分配 (SABA)，它通过平衡预期草案增益和验证成本来设置每轮树预算。在多个模型和任务中，Graft 比自回归解码实现了 $2.13\times$--$6.36\times$ 端到端加速，同时每轮增加不到 $0.5$\,ms 的开销，大约是 $1.4\%$ 的目标模型验证延迟。