论文

ID-Forcing:测试时分布内强制生成长视频

In-Distribution Forcing for Long Video Generation at Test Time

模型推理KV Cache

摘要

现代自回归(AR)视频扩散模型擅长短程视频生成,但长视频生成仍因漂移而困难——颜色与纹理偏移、运动动力学衰减。既有工作主要依赖KV条件化:选择或修改缓存的KV条目以缓解漂移。但我们观察到仅KV条件化不够——它假设缓存的KV条目保持在分布内。该假设在训练地平线之外失效:rollout期间没有任何东西约束KV条目的构建,产生KV出处问题——缓存条目自身变得分布外。为此我们提出分布内强制(ID-Forcing),把KV缓存与KV条件化都对齐训练配置的测试时框架;其关键机制自缓存从源头阻断OOD KV条目:每块的缓存不关注先前KV条目,使滚动窗口严格保持分布内。因此ID-Forcing把短程模型无缝扩展到分钟级视频生成。大量评估显示:本方法在标准视频生成基准上保持竞争力,同时在缓解漂移上大幅超越先前工作——由我们的漂移指标与用户研究共同验证。