EpicWorldModel：利用潜在世界模型进行探索驱动的规划

摘要

基于联合嵌入预测架构 (JEPA) 的潜在世界模型在设计上是确定性的。虽然在完全可观察的场景中取得了成功，但当过去的观察和行动导致多种可能的未来可能性（例如由于遮挡）时，这种范式就会崩溃。我们引入了 EpicWorldModel，这是一个针对部分可观测性下具有固有不确定性的环境和任务训练随机 JEPA 的框架。当条件历史中不存在与目标相关的场景内容时，我们联合训练 EpicWorldModel 预测器及其潜在表示空间，以使用流匹配目标直接预测多个潜在的未来状态。我们证明，流预测方差，由于其与预测熵上限的关系，可以作为规划的有用探索指导。通过将这种不确定性信号纳入基于交叉熵方法 (CEM) 的规划中，我们的方法可以平衡目标达成与探索最有可能存在被遮挡目标的不确定区域。我们通过一系列潜在规划实验证明了 EpicWorldModel 的有效性，这些实验在各个任务中具有最佳或同等性能，显示成功率比 LeWorldModel 最高提高22%。

EpicWorldModel：利用潜在世界模型进行探索驱动的规划的原论文方法或结果图 — 图 1：机器人被要求导航到最初位于其视野之外的冰箱。确定性世界模型会根据训练数据记住冰箱的位置，并在推理时产生幻觉，即使真实位置不同。相反，随机模型维持合理未来的分布，从而实现不确定性感知规划。深灰色框图像表示观察输入；彩色框表示预测的未来。我们只展示了 $t$ 的四种可能性和 $t+1$ 的单一选择的结果。在实践中观察并生活在共同学习的表示空间中。