论文

超越单一潜在空间:用于长期规划的双潜在世界模型

Beyond a single latent space: a dual-latent world model for long-horizon planning

模型架构新型架构

摘要

尽管短期预测准确,但潜在世界模型常常难以进行长期规划。递归rollout会累积错误,而高维潜在空间中的距离集中会削弱目标辨别力。我们引入了双潜在世界模型(Dual-WM),它通过不同的状态表示和动态模型将本地执行和长期规划分开。低级模型预测动作条件转换,而高级模型使用学习的宏观动作来规划更长的时间跨度。我们还提出了带有加权rollout的长视野表示学习(LoRe),它在两个层面上监督自我生成的预测。递归误差传播的分析激发了指数层权重,在两个时间尺度上具有单独的衰减率。在规划过程中,高层模型会生成潜在的子目标,低层模型将其细化为行动以实现精确执行。我们在五个目标条件视觉控制任务上从头开始评估 Dual-WM,对照任务方面最强的基线,无需参与者引导建议。当目标偏移量为 50 和 100 个环境步骤时,平均成功率分别从 75.9% 增加到 84.4%,从 61.4% 增加到 69.5%。在偏移量 100 时,Dual-WM 在所有五项任务上都优于这些基线,并且比 LeWM 的平均成功率提高了 30.8 个百分点。消融和支持分析为目标评估提供了更多信息表示,并在递归预测下提供了更大的一致性。这些结果凸显了分离时间角色和跨多个视野进行训练以实现可靠的潜在规划的价值。我们的核心实现可在 https://github.com/DeLin1001/Dual-WM-Official. 获取