论文

LaMo:视频生成中物理真实感的自监督潜在运动先验

LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation

模型训练预训练

摘要

现代视频生成器可以生成视觉上引人注目的剪辑,但仍然难以实现物理和运动的一致性,限制了它们作为可靠的世界模拟器的使用。现有的补救措施通常依赖于外部模拟器、教师模型或精选的物理数据。我们探索一个互补的自我监督方向:从已用于训练视频扩散模型的未标记视频中提取运动线索。我们提出了 LaMo,它在当前潜在和提示条件下制定了先于帧到帧潜在变化的潜在运动。该先验通过两个轻量级读数来暴露:在训练期间用作运动漂移损失的宏观运动漂移,以及在采样期间用作运动先验指导的学习微运动场。这两个组件均可与现有视频传播主干网即插即用,无需更改架构或 I/O。在 VideoPhy 和 VideoPhy2 上,LaMo 改进了 CogVideoX 主干,并优于最近使用外部监督的物理感知基线。在 VBench 上,它保留了整体生成质量,同时改进了与运动相关的尺寸。这些结果表明,未标记的视频包含有用的运动监督,可提高现代视频扩散模型中的物理保真度。