时钟扩散：高效的半自回归连续扩散语言模型

最近关于离散数据连续扩散的研究已经证明其性能与可比较的离散扩散模型相当。然而，这些连续对应物缺乏作为语言模型实际使用所必需的关键特征，即可变长度生成和对键值缓存的支持，并且它们仍然落后于自回归和离散扩散质量的前沿。在这项工作中，我们解决了这些限制。为此，我们引入了模型参数化，该模型参数化使用位置相关的噪声表来定义半自回归 (SAR) 连续扩散语言模型 (DLM)。与高效的训练和采样算法一起，我们将此框架称为“时钟扩散”，并且我们提出了我们方法的两种特殊情况：块和滑动窗口生成。然后，我们定义了 ClockDLM，这是一个基于滑动窗口时钟扩散的高斯 DLM 系列，它在 OpenWebText 上实现了最先进的扩散似然界限，甚至击败了高性能的块 SAR 离散扩散模型。在 TinyGSM 上训练的 ClockDLM 也大大优于 GSM8K 基准上的连续基线，并且匹配并超过了类似的 SAR 离散扩散模型。最后，在参数化的基础上，我们提出了更高效的采样器，称为 Cache Grab，它采用了离散扩散中的加速推理技术，例如提交概率超过置信阈值的词元和自推测解码，进一步提高了模型的质量和效率。