离散扩散中频率之前的支持

离散扩散模型对于语言建模的竞争越来越激烈，但仍不清楚它们的去噪目标如何组织学习。尽管这些目标针对完整的数据分布，但我们表明，精确的逆过程会在粗略的支持信息和更精细的频率信息之间产生层次结构。对于均匀和吸收（又名掩蔽）扩散，我们证明，在最终去噪步骤的小噪声状态下，每个单标记反向编辑都会分解为一个主导尺度，这取决于它是否朝向数据支持（例如，语法上有效的句子）移动，以及一个更精细的系数，确定相同尺度内的相对概率。因此，恢复有效性结构只需要学习反向概率的正确数量级，而恢复数据频率则需要系数级估计。这种分离是依赖于机制的：统一扩散呈现出有效性改进、有效性保持和有效性恶化编辑的三分法，而吸收​​扩散则将其主导顺序质量放在有效性改进的动作上。掩码语言扩散模型和合成常规语言任务的实验支持这些预测：支持本地化出现早于支持内频率排名，并且均匀扩散和吸收扩散之间的对比与预测的速率分离相匹配。总之，我们的结果表明离散扩散模型在数据频率之前学习数据支持。