扩散语言模型的自适应多步前瞻解码

掩码扩散语言模型 (DLM) 通过迭代优化掩码标记来实现并行文本生成，为自回归解码提供了一种有前途的替代方案。最近基于前瞻的解码方法通过在提交词元更新之前探索未来的解码状态来提高准确性和效率的权衡。然而，现有方法主要依赖于浅层一步前瞻，它优化了即时信息增益，但对于较长范围的解码轨迹来说可能不是最优的。同时，我们发现对更深的前瞻的简单扩展也是无效的，因为固定深度前瞻轨迹扩展引入了额外的计算并且无法适应异构中间解码状态。因此，在这项工作中，我们提出了 AdaLook，一种用于 DLM 解码的自适应前瞻框架。 AdaLook 根据候选分数方差动态确定是否继续前瞻轨迹扩展，并在中间前瞻轨迹扩展状态需要额外探索时进一步启用分支扩展。这种设计避免了不必要的深度前瞻轨迹扩展，同时允许解码器从信息丰富的中间状态重新触发前瞻。对各种基准和模型的实验表明，AdaLook 比现有的单步超前解码方法实现了更好的准确度-解码步骤权衡。