Hydra：具有离散潜在规划和连续流程匹配执行的导航世界行动模型

世界模型让机器人想象可能的未来，但利用这种能力进行实时控制会受到表示不一致的瓶颈：生成模型和规划器在解耦流形上运行，因此规划器没有可搜索的共享结构，而是必须将每个候选者解码回高维像素空间以对其进行评估。这个解码步骤是物理硬件实时控制的主要障碍。在本文中，我们提出了 Hydra，一种离散的世界行动模型，它通过在模型内部移动规划器（采样器和评估器）来缩小这一差距。 Hydra 在视觉状态、物理姿势和控制动作上建立了一个统一的潜在流形，然后通过特定于模态的矢量量化瓶颈将该流形压缩为运动动力学意图和视觉状态的离散词汇表。因为候选对象现在是直接从这个共享流形中抽取的，所以采样是根据模型自己对观察的理解而不是建议的盲目进行的，并且评估在离散空间内本地发生：候选对象按照运动学感知成本进行排名，而无需解码到像素。我们将其称为离散潜在规划（DLP）。由于仅对离散意图进行规划无法提供物理驱动所需的平滑、连续的命令，Hydra 将 DLP 与条件流匹配配对，将每个选定的意图映射到连续轨迹以进行执行。在两个物理机器人平台上进行评估后，Hydra 在目标导向规划方面优于最先进的世界模型，同时匹配或超过领先的反应性基础策略的闭环执行能力。