还记得你做了什么吗？：学习部分可观察对象操作的行为记忆

长期、接触丰富的操纵本质上是部分可观察到的。这是因为单一的视觉观察很少能够捕获机器人的完整动作上下文，包括之前的尝试、交互或进度。因此，由于缺乏记忆，标准的视觉运动策略或视觉语言动作模型很容易在此类任务中陷入困境。为了解决这个问题，我们引入了压缩动作记忆策略（CAMP），该策略基于机器人自身的动作历史作为信息丰富的自我监督信号的洞察力，使策略能够学习强大的、紧凑的历史表示。在我们的方法中，我们训练一个记忆模块来维护过去动作的压缩表示，迫使它对机器人过去所有交互的潜在行为记忆进行编码，然后可以用来更好地了解未来的动作。这使得我们的方法能够隐式跟踪广义任务进度并从失败的尝试中学习，而无需任何额外的监督或外部监督。我们通过四个真实机器人设置和两个新颖的模拟基准来评估 CAMP：Memory-T-Bench 和 Memory-Manip-Bench。据我们所知，通过展示相对于最先进基线的实质性进展，CAMP 是第一个在纯粹通过学习记忆来完成接触丰富的部分可观察操作任务上取得巨大成功的策略。