ALoDLM：自适应循环扩散语言模型

扩散语言模型 (DLM) 通过并行预测多个token来实现快速生成，但其实际采用仍然受到相对于同等大小的自回归 (AR) 模型的持续质量差距的限制。我们将这种差距归因于计算难度不匹配：在部分观察到的序列中，一些未知的token很容易预测，而另一些则需要更多的计算。然而，现有的 DLM 在每个去噪步骤中对所有未知位置应用统一的计算深度。我们引入了 ALoDLM，它用token自适应潜在递归代替了统一计算。在每个去噪步骤中，ALoDLM 都会迭代地细化潜在表示并根据token难度分配计算。准备提交的token作为离散上下文反馈，而未解析的token通过额外的循环传递保留并进一步细化其潜在状态。为了联合学习token预测和计算分配，我们将token明智的计算计划制定为潜在变量，并导出条件负证据下界（NELBO）。我们以 1.7B 和 8B 参数尺度训练 ALoDLM。在 11 个基准测试中，ALoDLM 在两个尺度的平均基准得分上均优于所有评估的 DLM 和相应的 AR 基线。 ALoDLM 还保留了快速并行解码，在优化的推理引擎下评估的自回归和扩散模型之间产生了强大的质量效率权衡。