论文

用于图像目标导航的具有单调规划成本的潜在世界模型

Latent World Models with Monotone Planning Costs for Image-Goal Navigation

模型训练监督微调与指令调优

摘要

使用潜在世界模型进行图像目标导航不仅需要准确的未来预测,还需要可靠地对候选动作序列进行排序的规划成本。我们将成本定义为预测的未来嵌入与目标嵌入之间的余弦距离,并表明不良的成本排序可能会误导基于采样的规划者,例如交叉熵方法(CEM)。为了解决这个问题,我们提出了一个基于冻结的 DINO 系列编码器的潜在世界模型,并通过两个互补的目标对其进行训练。自回归预测轨迹损失缩小了训练和多步骤计划预测轨迹之间的差距,而单调成本排序(MCR)损失则直接鼓励日益扰动的行动序列以获得更高的计划成本。我们还研究了基于 InfoNCE 的动作对比训练,发现时间排列负数会扭曲潜在几何并降低规划性能。在 GNM 导航数据集上,我们的方法优于导航世界模型 (NWM)、DINO-WM、OmniVLA 和 NoMaD,实现了最先进的图像目标导航性能,同时与相同编码器 DINO WM 基线相比,将方向误差减少了 2.7 倍。我们还在物理机器人上部署了零射击模型,让它在看不见的室内和室外环境中遵循目标导向的路径。