是什么决定了联合嵌入预测世界模型物理规划的成功？

摘要

AI 领域一个长期存在的挑战是开发能够解决广泛物理任务并泛化到新的、未见任务和环境的 Agent。近来一种流行的做法是先从状态-动作轨迹训练世界模型，再将其与规划算法结合解决新任务。规划通常在输入空间中进行，但最近一类方法引入了在世界模型学习到的表征空间中优化的规划算法，其承诺是抽象掉无关细节能带来更高效的规划。在这项工作中，我们将这一族模型刻画为 JEPA-WM，并研究使此类算法奏效的技术选择。我们对若干关键组件进行综合研究，目标是找到该族内的最优方案。我们使用模拟环境和真实世界机器人数据开展实验，研究模型架构、训练目标和规划算法如何影响规划成功率。我们综合研究结果提出一个模型，在导航和操控任务上都优于两个成熟基线 DINO-WM 和 V-JEPA-2-AC。代码、数据和检查点可在 https://github.com/facebookresearch/jepa-wms 获取。

是什么决定了联合嵌入预测世界模型物理规划的成功？配图 — 图1：左为JEPA-WM训练，编码器将视频及可选的本体感知观测转为表示，与动作一起输入预测器，并跨时间步并行预测下一状态表示。右为JEPA-WM规划：采样动作序列，展开预测轨迹，计算各轨迹的规划代价并迭代改进动作采样。为便于阅读，图中省略动作编码器和本体感知编码器。