不要重新训练，对齐：通过表示对齐将自回归 LM 调整为扩散 LM

扩散语言模型 (DLM) 最近展示了补充标准自回归 (AR) 模型的功能，特别是在非顺序生成和双向编辑方面。尽管最近的工作表明预训练的自回归检查点可以转换为扩散语言模型，但现有的方法主要通过目标和注意力级别修改的持续去噪训练来传输参数。相反，我们询问在 AR 到 DLM 转换期间是否可以显式保留通过下一个标记预测学习的内部表示几何形状。我们假设 AR 预训练学到的大部分语义结构可以跨代顺序迁移，因此 DLM 训练应该被视为重新学习解码路径而不是重新学习语言表示。为了研究这个问题，我们引入了 REPR-ALIGN，这是一种表示对齐目标，它采用双向掩模扩散模型来重用来自相同架构的预训练 AR 模型的表示。具体来说，我们使用余弦相似度将 DLM 的隐藏状态与每一层的冻结 AR 模型对齐，同时优化标准掩模去噪目标。这种简单的对齐方式，没有适配器，也没有超出注意力掩模的架构变化，在我们的设置中产生高达 4 倍的训练加速，并且在低数据情况下特别有效。我们的结果表明，语言表示可以跨代顺序转移，并且表示对齐为训练扩散语言模型提供了一种简单有效的技术。代码可在 https://github.com/pengzhangzhi/Open-dLLM 获取。