超越下一步：用于长期规划的可变长度潜在世界模型

最近，世界模型已经成为通过学习预测模型来构建智能体的有前途的范例，这些预测模型根据观察和行动来估计未来的环境状态。特别是，JEPA 风格的潜在世界模型通过学习紧凑表示空间中的动作条件动态，为像素空间预测提供了一种有效的替代方案。然而，现有的潜在世界模型通常依赖于一步预测，并且必须递归地推出以进行长期规划，这会导致复合错误以及训练目标和下游规划任务之间的不匹配。为了解决这个限制，我们提出了可变长度潜在世界模型（VLWM），这是一个学习预测以可变长度的动作序列为条件的未来潜在状态的框架。 VLWM 不是仅对一步转换进行训练，而是直接对时间扩展的动态进行建模，从而允许同一预测器评估不同范围内的行动计划。我们进一步引入了逐步扩大行动视野的课程训练策略，稳定了从短期动态到长期预测的优化。在测试时，我们设计了适合 VLWM 的规划方法，以更好地利用其可变长度预测能力。长视野控制任务的实验表明，VLWM 显着改善了潜在空间世界模型，在不同数据集上比最先进的 LeWM 平均提高了 13%，尤其是在需要扩展规划的任务上取得了很大的进步。这些结果表明，VLWM 为改进潜在世界模型中的长期预测和规划提供了一个简单而有效的范例。