DARTree：使用自回归草图树进行推测扩散解码

推测解码 通过并行验证多个草案词元来无损加速自回归语言模型。基于扩散的起草者通过并行预测整个词元块进一步减少提案延迟，但它们的位置分布是边际的，而不是以沿每个草案路径选择的词元为条件。现有的循环校正将因果信息合并到单个草稿链上，而基于扩散的树结构扩大了候选覆盖范围，而无需沿着各个分支进行此校正。我们引入了 DARTree，一种 无需训练 推测解码 方法，它将预训练的 AR 校正头从链扩展到树。 DARTree 首先通过在单个批次中对每个深度的所有节点进行扩展和评分来构建固定宽度的候选树，然后仅应用最佳优先剪枝来选择验证树，从而将 AR-head 推理与顺序堆操作解耦。在七个数学、代码和聊天基准测试中，DARTree 在所有四种模型温度配置中实现了最高的平均接受长度和加速，每轮验证最多接受 12.97 个词元，在相同设置下比 DFlash 多 98.6%，比 Domino 多 27.9%，并且与本地测量的自回归解码相比，无损加速高达 9.73$\times$。