Pyramid Forcing：用于高质量长视频生成的 Head-Aware Pyramid KV 缓存策略

自回归视频生成可以实现流式传输和开放式长视频合成，但仍然会遭受累积错误导致的长期性能下降。现有的 KVCache 策略通常应用统一的历史帧保留，隐含地假设注意力头之间具有同质的历史依赖关系。我们重新审视历史帧注意力，并揭示了三种不同的头部类型：锚头需要广泛的远程上下文，波头表现出周期性的时间依赖性，而面纱头则专注于初始帧和相邻帧。基于这一发现，我们提出了 Pyramid Forcing，这是一种头部感知的金字塔 KVCache 框架，可以离线识别头部类型，分配特定于行为的缓存策略，并通过高效的不规则缓存注意力支持异构缓存长度。自强迫和因果强迫实验表明，金字塔强迫持续提高了 VBench-Long 上的长视界生成质量，将 60 秒自强迫得分从 77.87 提高到 81.21，同时增强了运动动态、视觉保真度和语义一致性。项目：https://if-lab-pku.github.io/Pyramid-Forcing/。