ZEUS：仅使用二阶预测器加速扩散模型

去噪生成模型可提供高保真度生成，但由于采样期间需要许多迭代降噪器调用，因此仍然受到推理延迟的瓶颈。 无需训练 加速方法通过稀疏模型架构或缩短采样轨迹来减少延迟。当前的 无需训练 加速方法比必要的更加复杂：高阶预测器在激进的加速下放大了错误，并且架构修改阻碍了部署。除了 2 倍加速之外，跳步会造成结构稀缺——每个局部窗口最多进行一次新的评估——使计算输出及其后向差异成为唯一的因果信息。基于此，我们提出了 ZEUS，一种使用二阶预测器预测降低的降噪器评估的加速方法，并通过避免背靠背外推的交错方案稳定激进的连续跳跃。 ZEUS 基本上增加了零开销，没有特征缓存，也没有架构修改，并且它与不同的主干网、预测目标和求解器选择兼容。在图像和视频生成过程中，ZEUS 相对于最近的 无需训练 基准不断提高速度保真度性能，在保持感知质量的同时实现高达 3.2 倍的端到端加速。我们的代码位于：https://github.com/Ting-Justin-Jiang/ZEUS。