D5P4：面向并行离散扩散解码多样性的划分行列式点过程

离散扩散模型是文本生成自回归方法的有希望的替代方案，但其解码方法仍未得到充分研究。自回归模型的标准解码方法（例如波束搜索）并不直接应用于迭代去噪，并且现有的扩散解码技术对批量分集提供有限的控制。为了弥补这一差距，我们引入了一种用于离散扩散的通用波束搜索框架，该框架可以并行生成候选对象并支持模块化波束选择目标。作为注重多样性的实例，我们提出了 D5P4，它将选择步骤制定为行列式点过程上的 MAP 推理。 D5P4 利用可扩展的贪婪求解器，保持多 GPU 兼容性，并以接近零的计算开销实现模型概率和目标多样性之间的明确权衡。自由形式生成和问答实验表明，D5P4 在保持有竞争力的生成质量的同时，提高了强基线的多样性。