基于表示的掩模扩散模型

掩蔽扩散模型 (MDM) 已成为语言建模的引人注目的范例，提供高效并行文本生成的功能。然而，现有的并行采样方法通常独立更新多个屏蔽标记，并忽略屏蔽标记之间复杂的相互依赖关系。这种独立的更新机制缺乏全球协调，可能导致输出不一致。为了解决这个限制，我们提出了基于表示的掩模扩散模型（RMDM），这是一个利用文本表示显式编码全局语义并帮助更精确地并行更新词元的框架。具体来说，我们首先使用预训练的编码器将文本编码到连续语义空间中，并学习可逆变换，将表示分布归一化为高斯先验，从而促进生成过程中的高效采样。以这种潜在语义表示为条件，我们训练一个掩码扩散模型来学习条件文本分布，其中该表示充当全局语义指导来协调并行词元更新并忠实地近似目标分布。经验结果表明，RMDM 显着提高了生成质量，特别是在激进的少步采样制度中。