论文
可预测但不可规划:潜在世界模型的 RC-aux
Predictive but Not Plannable: RC-aux for Latent World Models
摘要
潜在世界模型可以实现准确的短期预测,同时仍然会产生与规划不一致的潜在空间。一个关键问题是时空不匹配:这些模型通常是通过局部预测监督进行训练的,但部署用于潜在空间中的长期目标导向搜索,其中欧几里德距离可能无法反映有限行动预算内可以达到的目标。我们提出了可达性校正辅助目标(RC-aux),这是对免重建潜在世界模型中这种不匹配的轻量级校正。 RC-aux 保持世界模型主干不变,并沿两个轴增加与规划一致的监督。沿着时间轴,多水平开环预测训练模型超越一步一致性。沿着空间轴,预算条件可达性监督与时间硬否定一起鼓励潜在空间区分最终可达的状态和当前规划范围内可达的状态。在测试时,学习到的可达性信号也可以被可达性感知规划者用来支持目标导向且在可用预算下可实现的轨迹。我们在 LeWorldModel 上实例化 RC-aux 并在持续训练和从头开始匹配设置下对其进行评估。在目标条件像素控制任务和 LIBERO-Goal 扩展中,RC-aux 以适度的额外成本改进了 LeWM 式规划。这些结果表明,使用潜在世界模型进行规划不仅取决于预测准确性,还取决于学习的表示是否对下游搜索所需的时间和几何结构进行编码。代码可在 https://github.com/Guang000/RC-aux 获取。