工作空间模型：通过显著性监督学习轻量机器人记忆

复杂的机器人操作任务经常需要对过去的事件和动作进行长期记忆。由于对完整历史记录的调节使策略容易产生虚假相关性并降低性能，因此许多策略内存方法都涉及通过昂贵的 VLM 循环查询来压缩历史信息，以仅处理任务显着信息。在本文中，我们提出了一种替代方法，在训练期间进行计算密集型 VLM 查询，以学习可以在部署时高效查询的轻量级潜在内存。我们的表示，我们称之为 \textbf{workspace token}，是通过以下方式进行训练的：(1) 使用 VLM 来识别完成任务所需的当前和历史信息，然后 (2) 使用集合重建解码器损失将这些信息提取到工作空间词元中。在模拟和硬件中，我们表明工作区词元可以用作部署期间观察的直接替代品，使策略能够解决需要记忆信息的任务，而无需进行 VLM 循环推理。有趣的是，我们发现工作空间词元不仅更轻量级，而且还能带来更好的策略性能。