缓存加速扩散模型的轨迹一致校准

扩散 Transformer 需要在迭代采样期间重复进行降噪器评估，从而导致推理计算成本高昂。基于缓存的加速通过在去噪步骤中重用中间表示来降低成本，但可能会引入表示偏差并降低生成质量。在本文中，我们分析了这些偏差，并表明有效的校准应考虑重复使用引起的直接失配以及早期校正引起的后续轨迹偏移。为了应对这一挑战，我们提出了轨迹一致校准（TCC），这是一种 无需训练 方法，可将缓存表示校准为其全计算对应物。具体来说，TCC 不是根据单个未校正的缓存轨迹来估计所有校准先验，而是使用离线迭代过程，以便每个先验都考虑到由先前校准引起的轨迹偏移。 PixArt-alpha 和 DiT-XL/2 上的实验表明，TCC 在基于缓存的代表性加速方法中持续改进 FID，同时保留其底层重用策略。值得注意的是，在基于 FORA 的代表性 PixArt-alpha 缓存加速设置中，TCC 将 FID 从 29.83 降低到 27.35，略微超过了全计算基线。