LongLive-RAG：长视频生成的通用检索增强框架

自回归 (AR) 视频扩散可以实现可变长度合成，但长视野生成通常会遭受累积错误和身份漂移的困扰。为了提高效率，现有方法通常在生成过程中采用滑动窗口注意力。这创建了一个不可逆的生成轨迹：一旦活动窗口积累了外观错误，后续生成只能以这种退化的轨迹为条件，并逐渐远离。我们通过将长视频生成表述为检索增强生成（RAG）问题来解决这一限制。我们不只依赖最近的窗口，而是将之前生成的潜在变量视为动态的、可搜索的历史记录。我们提出了 LongLive-RAG，一种用于 AR 视频生成的通用检索框架。在每个新块中，LongLive-RAG 使用查询嵌入来检索相关的历史潜在变量。这个轻量级检索步骤相对于生成仅增加了很小的开销，并且让生成器在非本地上下文上而不是仅在最近的窗口上进行条件。为了使检索更具辨别力，我们引入了窗口时间增量损失，它抑制冗余的局部相似性并鼓励嵌入捕获有意义的时间变化。这些组件一起有助于减少滑动窗口注意力引起的错误累积。跨多个 AR 主干和生成长度的实验表明，长视频质量得到了改善，并且 VBench-Long 的平均排名也得到了提高。据我们所知，在开放式 AR 长视频生成方法中，LongLive-RAG 是第一个将自生成潜在历史记录作为内容可寻址检索记忆的方法。代码可在 https://github.com/qixinhu11/LongLive-RAG 获取。