论文
预算受限的步进级扩散缓存
Budget-Constrained Step-Level Diffusion Caching
摘要
步骤级缓存通过利用去噪步骤之间的时间冗余来加速扩散模型。现有方法使用基于阈值的启发法做出每步缓存决策,而不直接优化最终输出质量。因此,它们的推理延迟因输入而异,并且在部署时难以控制。在这项工作中,我们提出了 BudCache,它颠倒了这个公式:我们提前确定计算预算并搜索最能保留最终输出的缓存策略,而不是让每步错误阈值决定运行时成本。为了解决步骤选择的组合复杂性,我们将模拟退火与确定性爬山相结合。这种离线搜索可以在几分钟内识别高质量的缓存策略,并且在推理过程中不会引入在线搜索或阈值开销。当计算预算非常紧张时,我们进一步引入缓存感知调度对齐,它使时间离散化适应所选的缓存策略,以减少缓存引起的轨迹不匹配。在 FLUX.1-dev 和 Wan2.1 上的实验表明,在相同的推理预算下,BudCache 比启发式缓存基线实现了更好的生成质量。代码可在 https://github.com/Westlake-AGI-Lab/BudCache 获取