OnlineCache：学习具有纠错功能的动态缓存策略，以实现高效的扩散推理

扩散模型彻底改变了生成任务，但由于迭代去噪而导致高延迟。虽然基于缓存的策略通过重用中间特征来加速推理，但它们在很大程度上依赖于静态的、与样本无关的调度。我们认为，这种僵化忽略了本文中经经验验证的两个事实：（i）生成难度因提示而异，需要自适应资源分配——复杂的输入需要更多的计算，而简单的输入需要更少的计算； (ii) 错误敏感性随时间步长波动，其中静态策略可能缓存高错误步骤或浪费低错误步骤的计算。因此，我们提出了 OnlineCache，这是一个动态缓存框架，可以共同学习何时缓存以及如何纠正近似错误。我们利用策略梯度来训练轻量级网络以实现自适应速度质量权衡，并结合可学习的校正器来减轻缓存引起的错误。两个模块在双层优化框架下联合优化，策略针对全局生成质量，校正器最小化局部误差。我们的方法自动跨样本和时间步分配计算资源，从而提高整体生成质量。大量的实验证明了明显的优越性。在 FLUX.1-dev 模型上，OnlineCache 在保持生成保真度的同时实现了近 3 倍的加速。在 DiT 和 CogVideoX 上，它同样可以在不影响质量的情况下提供有竞争力的加速；在所有场景中，它始终优于现有的基于缓存的加速基准。