使用潜在世界模型的分层规划

世界模型是通过规划实现零样本具身控制的一条有前途的途径。然而，现有的世界模型规划者在长期、多阶段的任务上遇到了困难：预测误差复合，而朴素搜索在规划范围内呈指数级增长。层次结构通过将任务分解为更短、更容易处理的子问题来缓解这两个问题。然而，先前的分层方法要么将控制摊销到特定于任务的策略（分层强化学习）中，要么假设低维状态和已知动态（经典分层 MPC）。我们提出了带有潜在世界模型（HWM）的分层规划，这是一种直接在仅通过下一个潜在预测训练的视觉世界模型上进行分层模型预测控制（MPC）的架构和规划范例。 HWM 在共享潜在空间内学习多个时间尺度的世界模型，因此长视野模型的预测通过潜在匹配充当短视野模型的子目标，无需特定于任务的奖励、技能学习或分层策略。为了保持长范围搜索易于处理，HWM 学习了一个动作编码器，将原始动作块压缩为潜在的宏动作。在现实世界的 Franka 操作中，HWM 以 70% 的成功率解决了单个目标图像的拾取和放置问题，而单级规划的成功率为 0%。在模拟推动操作和迷宫导航中，HWM 持续提高了长期任务的性能，同时所需的规划计算量减少了 3 倍。