Bastion：具有树形结构块扩散绘图功能的预算意识 推测解码

块扩散绘图器最近已成为 推测解码 的强大替代方案，通过在单个并行步骤中预测多个未来词元分布。然而，由于这些并行预测是从位置边际而不是完全条件序列中采样的，因此提交单个贪婪路径通常无法捕获目标模型的首选轨迹。为了解决这个问题，我们提出了 BASTION，一个具有预算意识的 推测解码 框架，具有基于树的扩散起草功能。与依赖静态树拓扑的现有方法不同，BASTION 通过平衡草稿质量和硬件约束来动态构建依赖于查询的树。我们的框架集成了三个协同组件：（1）通过路径置信度估计预期接受长度的接受代理，（2）校准硬件感知屋顶线模型的在线延迟估计器，以及（3）自适应最佳优先扩展，不断增长树，直到边际收益不再证明增量验证成本合理。 BASTION 是 无需训练，保留目标模型的分布，并且不需要针对每个设置进行调整。在不同的基准和 GPU 架构中，BASTION 比标准自回归解码实现了高达 6.61 倍的加速，比最先进的块扩散基线高出 39%。