FlowMo-WM：具有物体动量和隐藏环境漂移的世界模型

机器人学习中的世界模型通过视觉观察和行动预测未来状态，使代理能够推理其控制的后果。然而，许多动作条件模型是在运动由即时控制主导的环境中进行评估的，而水上水面车辆和其他现实世界的物体在惯性下继续移动，并被隐藏的环境漂移（例如水流或风）所取代。我们提出了 FlowMo-WM，这是一种端到端可训练的视觉世界模型，可以推断以对象为中心的运动状态以及与图像动作历史中的隐藏漂移相关的预测性长历史上下文，而无需直接监督流场。 FlowMo-WM 将图像动作历史分解为短历史潜在状态（经过训练以总结以对象为中心的运动）和较长历史背景（经过训练以总结缓慢变化的外源影响）。零上下文残差转换将潜在采样轨迹期间动作条件的基本动态与上下文相关的漂移效应分开。在具有不同隐藏流、扰动和随机车辆动力学的模拟水生表面车辆环境中，FlowMo-WM 比代表性的动作条件潜在世界模型提高了长视野滚动精度。预测时间上下文消融（其中推断的上下文在采样轨迹期间被归零或打乱）表明，环境上下文对于隐藏漂移下的稳定预测非常重要，而冻结线性探针则表征了学习因子中编码的信息。