MEMORA：来自自我中心视频的具体动作记忆用于推理和规划

具身代理会随着时间的推移积累经验。我们研究如何将积累的经验形成为未来推理和行动的持久记忆。我们将具身动作记忆（EAM）定义为在具身经验上形成和使用记忆的能力，以及该过程产生的持久记忆状态。我们引入 MEMORA，这是一个通过形成-整合-检索生命周期和多存储世界内存架构实例化 EAM 的框架。 MEMORA 将经验组织到特定于参与者的环境、实体、活动和推断知识存储中：在线编辑随着新证据的到来修改记忆，而离线整合将重复的经验抽象为可重用的例程、习惯和偏好。我们使用 MEMORA-Bench 评估 MEMORA，MEMORA-Bench 是一个 45 小时第一人称的视频套件，可测量回顾性记忆 忠实性 和前瞻性基于记忆的规划。在四个开放权重答案模型中，MEMORA 在评估的内存接口中实现了最强的聚合规划性能，其在分布外规划方面的收益最大。在这些任务中，MEMORA 将机器人扎根计划得分提高了 16.6%，这表明在经历中形成和巩固的记忆可以支持规划直接观察到的事件之外的新目标。物理机器人演示进一步表明，仅由人类第一人称的视频形成的记忆可以根据参与者特定的对象和偏好来制定高级机器人计划。项目网站：https://github.com/yuzihaowashu/MEMORA