记忆作为计划：基于记忆的规划的世界行动建模

主流机器人策略通常采用马尔可夫公式，但许多复杂的现实世界操纵任务本质上是非马尔可夫的，需要超出当前观察范围的长视野记忆。现有的记忆机制通常依赖于语言摘要、不断增长的视觉窗口或其组合，因此可能会丢失细粒度的视觉证据或面临历史覆盖率和执行效率之间的权衡。我们引入了 MaP-WAM，一种“记忆即计划”框架，它将依赖记忆的世界行动模型分解为基于记忆的计划和计划条件执行，并使用长期多模态情景背景作为计划时间证据，而不是根据完整的历史反复调节执行者。 MaP-WAM 将记忆表示为包含语言指令和稀疏视觉上下文的完整片段记录，并将这种情景记忆转换为包含下一个片段级语言计划和相应视觉指导的紧凑计划。世界动作进度 (WAP) 模型通过在推理时联合预测动作块和相应的执行进度，在未知的持续时间内执行每个计划，通过计划观察对齐来校准预测进度以实现自适应段转换和闭环上下文更新。 MaP-WAM 保持执行器上下文长度固定，而结构化注意力进一步在规划和执行中实现键值缓存。 MaP-WAM 在 RMBench 上实现了最先进的性能，成功率为 83.3%，在真实机器人任务上取得了 78.0% 的成功率，同时随着任务历史记录的增长，执行器推理延迟保持大致恒定。