MessyMem：用于移动操作的边做边学的记忆

部署在许多房间和访问中的移动机械手应该随着经验的增加而改进：在发现柜子被锁或在抽屉里找到物体后，机器人应该重用这些知识，而不是从头开始每项任务。然而，当今的机器人通常将每项任务视为新任务：紧凑的场景表示忽略了交互衍生的知识，原始视频历史难以查询，VLM 规划器在推理时进行推理，而无需持续更新机器人所知道的内容。我们推出了 MessyMem，这是一种持久内存系统，使移动操纵器能够从经验中学习并在未来的任务中重用这些知识。它维护对象和位置的空间基础 3D 场景图，通过交互学习的属性和结果对其进行增强，并链接视觉观察以进行细粒度回忆。我们在模拟和真实的移动操纵器上评估 MessyMem。在超过 3 个小时的连续 25 项任务模拟中，MessyMem 实现了 80.0% 的任务进度，比最强的消融高出 14.8 个百分点，比最强的外部基线高出 28.9 个百分点，同时从数千个存储的关键帧和过去一个多小时内检索与任务相关的证据。