CausalMotion：结构化物理推理作为 无需训练 视频生成的关键帧和轨迹指导

基于扩散的视频生成的最新进展显着提高了视觉质量和短期时间一致性。然而，现有的方法仍然难以制作具有物理一致性和因果合理动态的视频，特别是在涉及长视距交互的场景中。这种限制是由于视频扩散模型主要隐式学习物理一致性，而视觉语言模型可以直接模拟物理定律。基于这个想法，在这项工作中，我们提出了 \textbf{CausalMotion}，一个 无需训练 框架，它通过结构化中间表示将显式物理推理注入视频生成中。我们的关键思想是通过利用视觉语言模型将文本提示分解为一系列因果一致的关键帧和以对象为中心的运动轨迹，从而将推理与生成分离。然后将这些表示对齐并集成为软约束，以在推理过程中指导预训练的视频扩散模型。这种设计可以对对象动态和因果转换进行显式建模，而无需额外的训练或监督。大量的实验表明，我们的方法不断提高物理合理性和时间一致性，特别是在动态密集的场景中，同时保持高感知视频质量。