掩蔽扩散模型的简单自调节适应

掩蔽扩散模型 (MDM) 通过在吸收掩蔽过程下迭代去噪来生成离散序列。在标准屏蔽扩散中，如果词元在反向更新后仍然被屏蔽，则模型会丢弃该位置的干净状态预测。因此，仍然屏蔽的位置必须单独从屏蔽标记中重复推断。这种设计选择限制了跨步骤的细化。为了解决这一限制，本文提出了一种简单但有效的 MDM 后训练 适应方法，该方法根据模型自身之前的干净状态预测来调节每个去噪步骤。由此产生的方法称为自条件掩模扩散模型 (SCMDM)，需要最小的架构更改，不会引入循环潜在状态路径，不依赖辅助参考模型，并且在采样期间不会添加额外的降噪器评估。这是与部分自调节方法的重要区别，部分自调节方法需要从头开始使用昂贵的 模型训练。特别是，论文表明，部分自我调节，包括常用的从头开始训练自我调节模型的 50% dropout 策略，在 后训练 体系中并不是最优的。相反，一旦模型自行生成的干净状态估计变得信息丰富，则对细化的专门化优于混合条件和无条件目标。 SCMDM 在多个领域进行了评估，显示出相对于普通 MDM 基线的持续改进，OWT 训练模型的生成困惑度降低了近 50%（42.89 至 23.72），同时离散图像合成质量、小分子生成以及基因组分布建模保真度的增强也得到了显着改进。