论文
超越搜索的潜在几何:在世界模型中摊销规划
Latent Geometry Beyond Search: Amortizing Planning in World Models
摘要
现代基于视觉的世界模型可以将观察结果表示为紧凑但富有表现力的潜在流形,但在这些空间中快速目标导向的规划仍然具有挑战性。这就提出了一个核心问题:学习的表示何时会简化控制,而不仅仅是实现预测?我们在预训练的 LeWorldModel 中研究这个问题,其潜在几何形状经过正则化以实现平滑性和均匀性。我们的主要见解是,在这种几何结构下,规划可以摊销为潜在的逆动态映射,而不需要在线搜索。因此,我们用轻量级目标条件逆动态模型(GC-IDM)取代迭代规划,该模型将当前潜在状态、目标潜在状态和剩余视野直接映射到下一个动作。根据经验,在涵盖导航、接触丰富的操作和连续控制的四个基准环境中,我们的控制器在八个环境协议设置中的七个中匹配或超过了 CEM,同时将每个决策的成本降低了 100-130 倍。对测试时间规划器(CEM、MPPI、iCEM 和基于梯度的方法)的更广泛扫描表明,此结果并不特定于特定优化器。这些发现表明,通过测试时间规划恢复的大部分结构已经本地编码在潜在表示中。更广泛地说,我们的结果表明,充分结构化的潜在空间可以将部分规划负担从在线优化转移到学习推理。我们的代码可在 https://github.com/hdnndh/Latent-Geometry-Beyond-Search-Amortizing-Planning-in-World-Models 上公开获取。