多圈反射掩模在掩模扩散模型中引发推理

虽然自回归 (AR) 模型的推理通常通过思想链推理和反思来执行，但它们对先前输出的细化仍然依赖于完全顺序生成，即使只需要本地编辑也是如此。相比之下，掩模扩散模型 (MDM) 中的掩模机制自然支持对先前输出的显式本地编辑，允许选择性细化，而无需丢弃先前的答案并从头开始生成另一个答案。虽然此属性更符合人类通过迭代局部细化纠正错误的方式，但现有的 MDM 不支持多轮掩蔽和去噪。我们提出反射掩蔽 (RM)，它通过轻量级 后训练 在 MDM 中引发这种内在推理能力。 RM 提供本机测试时间扩展，其中 MDM 根据不断变化的上下文迭代地重新访问和修改其先前的输出。为了利用 AR 推理等先前回合的见解，我们进一步引入了历史参考，这是一种无参数机制，可在修订期间利用中间去噪状态。我们的方法不需要进行架构更改，并且可以轻松应用于现有的 MDM。在不同的任务和模式中，包括文本生成、数独和图像编辑，反射遮蔽始终优于标准的基于遮蔽的基线，并表现出很强的通用性，将 RM 定位为 MD​​M 推理的基本原语。