LaWM：通过视觉观察实现长视野物理一致性的最少动作世界模型

从视觉观察中学习预测世界模型是体现人工智能的核心问题，可应用于基于模型的强化学习和机器人规划。现有的潜在世界模型通常生成具有不受约束的神经转换函数的未来状态，而现代视频生成系统通常优先考虑感知合理性或通过辅助损失、外部指导或单独的动态模块引入物理结构。因此，长期的部署可能仍然缺乏控制真实动力学的物理原理的基础，从而导致复合误差、能量漂移和物理不一致的未来。我们提出了最小动作世界模型（LaWM），这是一个潜在的世界建模框架，可在学习的视觉潜在空间中实施最小动作原理：未来的采样轨迹由学习的拉格朗日动作函数控制，而不是仅由无约束的转换预测器产生。我们的主要技术实现是潜在变分积分器：LaWM 将观测值编码为学习的广义坐标，在连续潜在状态上学习潜在离散拉格朗日，构造离散动作函数，并通过求解相应的离散积分条件来推进预测。因此，物理结构不仅仅用于评分、规范或约束完整的轨迹；它定义了潜在的转换规则本身。由于这种转变是由离散变分原理引起的，因此 LaWM 为长视野视觉预测提供了结构保留偏差。在物理干净的合成动力学和具体机器人交互基准中，LaWM 提高了视频生成和世界模型基线的物理不变性、背景一致性、运动平滑度以及外观和几何预测指标。