路径相关的去噪：扩散语言模型中阶次崩溃的非保守领域视角

扩散语言模型（DLM）提供了自回归生成的结构替代方案：去噪可以以任意顺序或并行更新标记，而不是沿着固定的从左到右的链。在实践中，快速 DLM 解码仍然对顺序非常敏感，并且经常会漂移到类似自回归的轨迹。我们将这种紧张关系归因于兼容性。在每个反向时间步骤中，DLM 都会针对未解析的标记提供局部去噪条件。当这些局部条件组合成阶数不变的伪关节时，任意阶去噪变得明确。我们通过定义顺序引起的伪关节和局部去噪循环来形式化这一观点：通过交换一对未解析的位置获得的两个伪关节之间的对数比。在兼容条件下，该循环为零，并且全局订单缺口分解为沿相邻互换的局部循环之和。我们进一步将不兼容驱动的路径依赖与并行更新中的条件依赖误差以及特定于订单的估计误差分开。当 DLM 解码真正无序时，生成的框架提供了用于测试的仅推理诊断。