通过图上的随机游走了解掩模扩散中的并行采样器

在本文中，我们建议使用图上的随机游走作为可验证的沙箱来研究掩蔽扩散模型（MDM）中的不同并行采样策略。我们使用固定图中的随机游走样本来训练 MDM。图或转换核从未明确地向模型显示，并且在序列中发挥潜在结构的作用，尽管它是可控的并且可用于定量评估。因此，该框架具有类似数独的有效性检查：验证输出是否是有效的游走，并根据游走估计马尔可夫核以测量分布保真度。使用简单的图，我们从理论上证明，通过广泛使用的分数（例如最低熵）进行的并行揭露并不总是比随机并行采样器更好；性能很大程度上取决于底层图的结构。我们开发了一种新的随机游走二分采样器，它在序列长度上采用对数步长，并且在完美训练下可证明是精确的。对各种图行走任务的实验表明，即使在实践中，不同的并行采样器对于不同的图也更好。我们对预训练 OpenWebText MDM 的初步实验表明，二分式采样器甚至可以改善语言生成的速度与质量权衡。总之，这些结果将图随机游走作为诊断和设计掩蔽扩散模型的并行采样器的机械基准。