论文

从局部失配到全局影响:面向高效扩散的缓存复用策略优化

From Local Mismatch to Global Impact: Optimizing Cache Reuse Policy for Efficient Diffusion

模型推理推理加速

摘要

扩散模型在视觉生成中取得了主导性能,但承受着可观的推理开销。尽管基于缓存的加速已成为有前景的方案,现有策略依赖局部相似性启发式,而我们发现这与最终生成质量显著不对齐。这种偏差源于误差沿去噪轨迹的非均匀传播与累积。为此,我们提出 Global-Impact Cache(GCache)。我们首先建立了误差传播上界的严格理论刻画。考虑到该上界对复杂、高度非凸的扩散模型可能过于保守,我们进一步用 Bernstein 形式重参数化传播指数,并把缓存策略搜索重构为双层优化问题。具体而言,GCache 在内层目标中寻找最优复用策略,同时在外层目标中使误差加权函数与生成质量损失对齐。该框架有效调和了理论严谨性与经验性能,学会把算力优先分配到对视觉保真度影响最大的地方。大量实验表明,GCache 在视频与图像生成上均持续优于先前的缓存策略。值得注意的是,在最先进的 Wan2.1 视频扩散模型上,GCache 在保持 2.17 倍加速的同时显著提升生成质量,将 LPIPS 从 0.1095 降至 0.0316。

从局部失配到全局影响:面向高效扩散的缓存复用策略优化:论文配图
图4:Wan 2.1 上视频生成结果的定性比较。GCache 始终保持与原始视频更高的对齐度,而 ERTACache 出现明显的物体和运动错位。红框标示物体错位,蓝框标示运动错位。放大观看效果最佳。