论文

内存强制:流视频生成的可关注的中地平线历史

Memory Forcing: Attendable Mid-Horizon History for Streaming Video Generation

摘要

自回归视频扩散可以实现因果视频流,而无需双向传递整个剪辑,但现有的几步系统通常仅在固定大小的 KV 缓存中保留开头和最新的帧。一旦事件离开这个窗口,后面的帧就无法再关注它,我们将这种失败称为中视界遗忘。我们提出了内存强制,这是一种几步流式传输方法,可以在不增加缓存大小的情况下保留丢失的历史记录。其存档和工作区将缓存划分为接收器、存档和工作区域,在固定内存下保留各种中间事件以及最近的运动。由于绝对时间索引会漂移到训练范围之外,Bank-aware RoPE 会在注意时间重新分配索引,以便每个 Bank 保持可区分性。在 1.3B 时,记忆强制领先于较长的剪辑,在报告所有四种长度的方法中显示从 5 秒到 60 秒的最小下降,并通过离开和返回保留主题和场景。相同的设计可扩展到 Wan2.2 5B,从而生成物理上更合理、更真实、更动态的视频,并且对于我们来说 知识,这条强制线上的第一个公开的5B模型。