论文

不同意加速:关闭扩散特征预测的循环

Disagree to Accelerate: Closing the Loop on Diffusion Feature Forecasts

模型推理推理加速

摘要

无需训练 特征预测通过在跳过的去噪步骤中预测特征来加速扩散采样。最近的工作主要集中在设计更强大的预测器。然而,预测误差在各个步骤之间变化很大,并且开环缓存在每个跳过的步骤中完全信任预测。当加速变得激进时,这种固定的信任就会被打破。缺少的问题不仅是如何更好地预测,而且是什么时候以及在多大程度上信任预测。我们证明可以从缓存本身观察到可靠性。当特征轨迹平滑时,两种预测一致;而当预测变得困难时,两种预测则不同。他们的分歧在于廉价的运行时信号,并且不需要额外的降噪器评估。基于该信号,我们推出了 RACER,一种具有两种响应的 无需训练 闭环控制器。它不断地将不确定的预测缩小到最后计算的特征。在风险最高的步骤中,RACER 会刷新该功能,并通过跳过稍后计划的评估来偿还增加的评估。我们推导出收缩的确定性误差界限,并根据经验评估其在加速状态下的有效性和紧密性。在相同数量的降噪器评估下,RACER 在 DrawBench、VBench 和 COCO 上改善了 SD3.5-Large、FLUX.1-dev、Wan2.1-14B 和 HunyuanVideo 的最强开环基线。在 SD3.5 上,我们进一步表明 RACER 在同等质量下采样速度更快。 RACER 也概括了预测设计。例如,它恢复了泰勒基地损失的大部分质量。这些结果表明,可靠的扩散加速还取决于如何使用预测。代码可在 https://github.com/LiZaiyuan0619/RACER 获取