标准化轨迹模型

基于扩散的模型将采样分解为许多小的高斯去噪步骤——当生成被压缩为一些粗略的转变时，这种假设就会被打破。现有的几步方法通过 蒸馏、一致性训练或对抗性目标来解决这个问题，但在此过程中牺牲了可能性框架。我们引入归一化轨迹模型（NTM），它将每个反向步骤建模为具有精确似然训练的表达条件归一化流。在架构上，NTM 将每个步骤中的浅层可逆块与整个轨迹上的深度并行预测器相结合，形成一个可从头开始训练或可从预训练的流匹配模型进行初始化的端到端网络。其精确的轨迹似然进一步实现了 self-蒸馏：根据模型自己的分数训练的轻量级降噪器可以通过四个步骤生成高质量的样本。在文本到图像基准测试中，NTM 只需四个采样步骤即可匹配或优于强大的图像生成基线，同时独特地保留生成轨迹上的精确可能性。