Tsubame：用于基于扩散的推测解码的树重播

上下文感知动态树根据草案路径概率分配推测解码预算，调整其深度和分支以适应当前上下文。然而，在随机解码下，我们发现这种结构优势并不总是能够补偿随机采样与高级验证相结合的接受增益，并且这种动态树在某些设置中可能落后于采样链。这些树从候选者本身生长出其拓扑，因此提交用于验证的词元通常是在构建过程中选择的确定性高分词元。这种耦合不是固有的：一旦拓扑固定，其节点可以通过采样重新填充，从而允许动态树保留其结构优势，同时还受益于随机采样和高级验证。基于扩散的绘图器使这一点变得实用，因为它们的并行输出或轻量级条件校正允许在已知完整拓扑后以廉价的方式重新生成候选对象。我们介绍 Tsubame，一种用于基于扩散的绘图器的两遍树推测解码框架。第一遍使用草稿路径分数规划并冻结上下文感知拓扑；第二个重放固定拓扑，对填充其节点的词元进行采样以形成候选树以进行验证。我们证明 Tsubame 在兼容的采样和验证策略下是无损的。三个基于扩散的起草者、六个数据集和多个候选预算的实验表明，Tsubame 提高了确定性树的接受长度和吞吐量，包括扭转其相对于采样链的劣势的设置。