MemoryWAM：使用持久内存进行高效的世界动作建模

现实世界中强大的机器人操作不仅需要了解当前的观察结果，还需要记忆和动力学建模。世界行动模型（WAM）通过联合建模视觉预见和基于当前和历史观察的行动来拥有这些功能，使它们成为机器人操纵的有前途的范例。然而，现有的 WAM 面临着一个基本的权衡：具有有效推理的方法通常仅以最近观察的有限窗口为条件，因此在非马尔可夫环境中举步维艰，而保留长期历史的方法会产生随着序列长度而大幅增长的时间和空间成本。为了应对这一挑战，我们引入了 MemoryWAM，一种具有高效持久内存的世界动作模型。 MemoryWAM 使用混合内存设计，结合了最近的帧、事件边界锚帧和总结长期历史的紧凑要点标记。定制的注意力机制可以检索详细的短期上下文和压缩的长期上下文，支持依赖于内存的决策，同时减少推理延迟和 GPU 内存使用。在模拟和现实世界中的长期、依赖于内存的操作任务中，MemoryWAM 的性能优于强大的视觉语言动作 (VLA) 和 WAM 基线，同时保持良好的计算效率。