论文

Cycle-World:通过反向预测循环一致性减轻长期视频世界模型中的误差累积

Cycle-World: Mitigating Error Accumulation in Long-term Video World Models via Reverse-Prediction Cycle Consistency

应用与实践内容创作

摘要

自回归扩散模型已经实现了高质量的视频生成,但其顺序性质本质上会受到错误累积的影响。在长视域视频合成中,微小的预测偏差随着时间的推移而复合,不可避免地导致不受约束的生成漂移、结构崩溃和严重的视觉退化。为了解决这个问题,我们提出了 Cycle-World,这是一种专为稳定且时间一致的长视频生成而设计的新颖框架。我们的方法通过在训练和推理阶段强制执行严格的时间可逆性来解决错误漂移。从理论上讲,我们证明前向生成漂移可以受到循环一致性目标的严格限制。在训练过程中,我们集成了一个高效的反向预测模型,将因果约束隐式嵌入到前向生成器中,迫使其生成紧密贴合自然视频流形的可逆序列。在推理时,我们将这个冻结的反向模型重新用作运行时校正器。通过基于梯度的循环指导,它迭代地细化生成的潜在表示,在将累积的错误提交到历史背景之前主动抑制它们。 VBench 基准测试的大量实验表明,Cycle-World 的双相协同作用可显着减轻误差漂移,在 60 秒合成中实现最先进的整体生成质量和长范围时间一致性。