集合扩散：在自回归和扩散之间插入词元顺序以实现快速灵活的解码

相对于自回归 (AR) 模型，离散扩散模型的质量稳步提高。然而，这些模型通常仅限于固定长度的生成，并且不支持键值 (KV) 缓存。块扩散通过从左到右生成词元块来部分桥接扩散和 AR，但其固定大小的顺序块限制了解码灵活性和并行性。在这里，我们提出了一类新的语言模型——集合扩散，它由（i）对灵活位置、灵活长度的标记集进行因式分解的似然参数化和（ii）在每个推理步骤后支持 KV 缓存更新的集合因果扩散架构组成。通过对词元集而不是固定大小的块进行因式分解，可以在任意顺序的集合中对词元进行解码，包括滑动窗口集，从而实现更快的推理并支持任意顺序的解码。与先前的扩散语言模型相比，集合扩散在数学推理、摘要和无条件生成方面实现了更好的速度与质量权衡，同时提供了比块扩散更强的填充性能。我们在项目页面上提供代码、模型权重和博客文章：https://m-arriola.com/setdlms/