通过注意力和训练动力学了解掩蔽扩散模型中的逆转咒缓解

自回归语言模型（ARM）遭受反转诅咒：在得知“$A$ is $B$”之后，它们经常在反向查询“$B$ is $A$”上失败。基于掩码扩散的语言模型（MDM）以更弱的形式表现出这种失败，但根本原因仍不清楚。一种常见的解释是将这种缓解归因于任意顺序的训练目标。然而，在训练期间观察“[MASK] is $B$”并不一定教会模型处理反向提示“$B$ is [MASK]”。我们表明，缓解措施源于架构结构及其与训练的相互作用。在单层 Transformer 编码器中，权重共享通过使前向和反向注意力分数正相关来耦合两个方向。在相同的设置中，我们进一步表明相应的梯度是对齐的，因此最小化前向损失也减少了反向损失。对受控玩具任务和大规模扩散语言模型的实验支持这些机制，解释了为什么 MDM 部分克服了强 ARM 中持续存在的故障模式。