AdaJEPA：自适应潜在世界模型

潜在世界模型可以通过预测紧凑潜在空间中的未来状态来根据高维观察进行规划。然而，这些模型通常在测试时保持冻结状态：当它们的预测变得不准确时，规划可能会失败，特别是在测试时分布变化的情况下。为了解决这个问题，我们提出了 AdaJEPA，这是一种自适应潜在世界模型，它在模型预测控制 (MPC) 的闭环内执行测试时间自适应。训练后，AdaJEPA 计划并执行第一个动作块，使用观察到的下一状态转换作为自监督适应信号，并使用更新的模型重新计划。这种闭环更新不断地重新校准世界模型，无需额外的专家演示。在一系列实现目标的任务中，AdaJEPA 大大提高了规划的成功率，每个 MPC 重新规划步骤只需一个梯度步骤。