FastDiSS：序列到序列生成的少步匹配多步扩散语言模型 - 完整版

自我调节对于连续扩散语言模型的成功至关重要，因为它允许模型纠正以前的错误。然而，它的能力恰恰在扩散对部署最具吸引力的情况下下降：用于快速推理的几步采样。在这项研究中，我们表明，当模型只有几个去噪步骤时，不准确的自调节会导致很大的近似差距；这种错误会在去噪步骤中叠加，并最终影响样本质量。为了解决这个问题，我们提出了一种新颖的训练框架，通过扰乱自调节信号以匹配推理噪声来处理学习过程中的这些错误，从而提高对先前估计错误的鲁棒性。此外，我们引入了 词元级 噪声感知机制，可以防止训练饱和，从而提高优化水平。跨条件生成基准的大量实验表明，我们的框架超越了标准连续扩散模型，同时提供了高达 400 倍的推理速度，并且与其他一步扩散框架相比仍然具有竞争力。