DPCache 用全局路径规划调度扩散缓存

摘要

扩散模型在图像和视频生成方面表现突出，但多步迭代采样的高计算开销仍限制实际部署。缓存方法通过跨时间步复用或预测特征，提供无需训练的有效加速途径。不过，现有方法使用固定或局部自适应调度，未考虑完整去噪轨迹的结构，容易产生误差累积及视觉伪影。我们提出DPCache，将扩散采样加速建模为全局路径规划问题。DPCache通过小规模校准集构建路径感知成本张量，量化给定前一个关键时间步时跳过后续时间步的路径相关误差，再以动态规划选择总路径成本最低、同时保留轨迹保真度的关键时间步序列。推理只在这些关键时间步执行完整计算，其间输出利用缓存特征高效预测。在DiT、FLUX和HunyuanVideo上的实验表明，DPCache以很小质量损失获得显著加速。在FLUX上，实现4.87倍加速时，ImageReward比既有加速方法高0.031；实现3.54倍加速时，甚至比完整步数基线高0.028，验证了路径感知全局调度的有效性。代码将发布于https://github.com/argsss/DPCache。

DPCache 用全局路径规划调度扩散缓存：DPCache概览。（a）校准阶段运行完整的T步去噪过程，构建三维路径感知成本张量PACT，量化以前一关键步为条件跳过中间时间步的累积误差。 — 图2：DPCache概览。（a）校准阶段运行完整的T步去噪过程，构建三维路径感知成本张量PACT，量化以前一关键步为条件跳过中间时间步的累积误差。（b）动态规划利用PACT选择最优K步采样序列（K<T）；DP表保存最小累积成本，路径表支持回溯。（c）推理时仅在预选关键步计算并缓存特征，其他时间步的特征由预测器生成。