沙丘社区
论文

MORCA：强化学习调度视频扩散缓存复用

MORCA: Offline-to-Online Reinforcement Learning for Adaptive Cache Reuse in Video Diffusion Acceleration

Yuxiang Xiong, Ruiyan Wang, Wenqiang Wang, Teng Hu, Songhang Shen, Bohao Feng, Hongqian Deng, Ran Yi
模型推理模型训练应用与实践强化学习推理加速内容创作

摘要

扩散Transformer (DiT) 在视频合成方面取得了显着的性能，但其迭代去噪过程存在较高的推理延迟。为了解决这个问题，通过利用去噪过程中的步骤间冗余，缓存已成为一种有效的加速策略。现有的动态缓存方法通常会估计缓存重用在每个去噪步骤中引入的误差（步骤误差）来指导缓存决策，而我们关心的是缓存重用会在最终生成的视频中造成多少质量损失（终端误差）。我们表明，步骤错误并不直接对应于终端错误，并且潜在信息有助于捕获它们的关系，从而通知缓存决策。此外，现有的基于阈值的方法无法提供精确的加速控制，难以满足用户指定加速目标的实际需求。为了解决这些限制，我们引入了 MORCA，这是一个通过离线到在线强化学习进行训练的缓存调度框架，可以在以下情况下做出潜在感知的重用/重新计算决策： 用户指定的加速目标。对跨多个目标加速比的不同视频生成模型进行的广泛实验表明，在可比较的计算预算下，MORCA 比最先进的缓存方法实现了更好的生成保真度。代码可在 https://github.com/x10ngyx/MORCA。 获取

MORCA：强化学习调度视频扩散缓存复用：论文原图
图 2：MORCA 概述。底部：学习调度程序在每个去噪步骤中做出重用/重新计算决策。左上：调度程序受预算限制且具有潜在感知能力。目标加速映射到所需的重用步骤总数，该总数与步骤错误代理和步骤统计、潜在特征以及从去噪状态提取的当前重用计数一起被馈送到调度程序中进行决策（第 3.2 节）。右上：调度程序通过使用 IQL 的离线到在线强化学习进行优化（第 3.3 节）。