感觉运动世界模型：通过逆动力学感知行动

对行动的感知表明，对世界的表征不应仅由视觉保真度来塑造，而应由其与行动的相关性来塑造。与此同时，潜在的 JEPA 式世界模型主张从高维观察中学习紧凑的预测状态，以促进对未来状态的预测，但这些模型的端到端训练并非易事，因为如果我们的唯一目标是构建易于预测的潜在状态，表示可能会崩溃。我们引入了感觉运动世界模型（SMWM）：通过逆动态正则化进行端到端训练的潜在世界模型。这个单一的正则化器解决了这两个问题：它防止表示崩溃并引起动作对齐的表示。通过强制潜在状态保留有关转换背后的动作的信息，它使模型偏向于环境的可控自由度，同时丢弃不可控的干扰因素。这会产生从离线、无奖励轨迹训练的稳定的潜在世界模型，无需冻结编码器、指数移动平均值或复杂的潜在正则化器。根据经验，SMWM 学习紧凑、可解释的潜在空间，并在简单的 2D 和 3D 控制任务中实现有竞争力的规划性能。