使用块扩散草图树加速 推测解码

推测解码 通过使用轻量级起草器来提出多个未来词元，然后目标模型并行验证这些词元，从而加速自回归语言模型。 DFlash 表明，块扩散绘图器可以在单次前向传递中生成整个绘图块，并实现最先进的 推测解码 性能，优于 EAGLE-3 等强大的自回归绘图器。然而，Vanilla DFlash 每轮仍然只验证一个草拟轨迹，这可能会限制其接受长度。我们引入 DDTree（扩散草图树），这是一种直接根据块扩散草图器的每个位置分布构建草图树的方法。在固定节点预算下，DDTree 使用简单的最佳优先堆算法，根据草稿模型输出定义的代理来选择最有可能与目标模型匹配的延续。使用仅祖先注意掩码在单个目标模型前向传递中有效地验证生成的树。由于 DDTree 构建于 DFlash（推测解码 的领先草案模型）之上，因此这些成果使 DDTree 跻身 推测解码 的领先方法之列。