论文

HiPhy:物理上合理的多原理视频生成的分层对齐

HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation

模型训练强化学习

摘要

视频生成模型已经实现了卓越的视觉保真度,并且具有成为通用世界模拟器的强大潜力。尽管取得了这些进展,他们仍然无法生成符合物理定律的视频。在现实环境中,多个物理原理必须在同一个视频中协同工作,这个问题变得更加明显。例如,“当蒸汽从锅中升起时,气球向上漂浮”需要浮力和流体动力学才能连贯且同时展开。然而现有的方法在很大程度上忽略了多原则交互,只关注每个视频的单一原则。我们提出了 HiPhy(分层物理对齐),这是一种强化学习框架,通过双层目标将视频生成建立在物理定律的基础上:局部执行各个物理原理的时间动态,并全局确保整个场景的物理和语义一致性。为了支持多原理生成,我们构建了一个 50K 提示数据集,并引入了提示基准 MultiPhyBench,涵盖各种同时发生的物理事件。我们的实验表明,HiPhy 显着优于先前的方法和基线,在各种基准测试中显着改善了物理常识和语义对齐,在涉及多个并发物理原理的场景中收益最大,而在这些场景中,竞争方法退化最严重。