从接口到推理：从任意阶模型导出任意阶推理

许多离散推理任务（例如代码生成）本质上是非因果的：程序员在高级结构和局部细节之间移动，我们将这个过程称为任意顺序推理。对于缺乏原生任意顺序接口的自回归语言模型，填充和下一次编辑预测等非因果能力需要手工设计的机制。我们可以设计原生支持任意顺序推理的模型吗？掩蔽扩散模型最近成为引人注目的候选者，因为它们的任意顺序训练目标自然提供了任意顺序预测接口。然而，该接口不会自动产生任意顺序推理。我们证明这种界面推理差距源于位置不确定性：固定画布、词元级 模型可能知道应该出现什么语义组件，但不知道将其放置在哪里。有鉴于此，我们提出了两种互补的方法：（1）基于插入的掩模扩散，建立在 FlexMDM（Kim 等人，2025）的基础上，通过插入放松固定位置承诺，从而能够跨非连续区域生成。 (2) 潜在空间掩码扩散将预测转移到更粗糙的语义片段，从而能够搜索潜在生成顺序。根据经验，我们训练了用于 Python 编码的 7B FlexMDM 和用于 GSM8K 的 125M LatentMDM，并表明这两种方法都会诱导不同的任意顺序推理行为并提高下游性能。我们在 https://github.com/SeunggeunKimkr/genuine-any-order 发布了我们的代码库。