ACWM-Phys：研究动作条件视频世界模型中的广义物理交互

动作条件世界模型（ACWM）在视频预测和决策方面展现出了强大的前景。然而，现有的基准在很大程度上仅限于以自我为中心的导航或狭窄的、特定于任务的机器人数据集，仅提供对广义世界理解所需的丰富物理交互的有限覆盖。我们推出了 ACWM-Phys，这是一个新的基准，用于在干净、可控的模拟环境中以及精心设计的动作空间中评估不同物理动力学下的动作条件预测。 ACWM-Phys 包含涵盖刚体动力学、运动学、可变形物体相互作用和粒子动力学的训练和评估数据。为了评估插值和泛化，我们设计了分布内和分布外协议，并在交互模式或场景配置中控制变化。通过在完全可控的模拟器中构建基准，ACWM-Phys 能够实现精确的数据收集、可重复的评估以及对符合物理规律的世界建模的模型功能的系统分析。通过 ACWM-DiT 的系统实验，我们发现 OoD 泛化不仅取决于物理机制，还取决于有效的任务复杂性：模型在视觉上简单、具有清晰几何结构的低维交互上很好地泛化，但在可变形接触、高维控制和复杂的关节运动上表现较差。这表明该模型仍然严重依赖视觉外观模式，而不是充分学习底层物理原理。消融表明，交叉注意力改善了高维动作调节，因果 VAE 优于逐帧编码器，更大的动作空间更难建模，但可以通过提供更丰富的控制信号来提高泛化能力。这些发现指导了符合物理规律的世界模型的设计。