RoboMemArena：全面且具有挑战性的机器人记忆基准测试

记忆是机器人智能的关键组成部分，因为机器人必须依靠过去的观察和行动才能在部分可观察的环境中完成长期任务。然而，现有的机器人记忆基准仍然缺乏记忆形成的多模式注释，提供有限的任务覆盖范围和结构复杂性，并且仍然仅限于模拟而没有现实世界的评估。我们通过 RoboMemArena 解决了这一差距，这是一个包含 26 个任务的大规模基准测试，每个任务的平均轨迹长度超过 1,000 步，并且 68.9% 的子任务依赖于内存。生成管道利用视觉语言模型（VLM）来设计和组合子任务，通过原子函数生成完整的轨迹，并提供与内存相关的注释，包括子任务指令和本机关键帧注释，同时配对的真实世界内存任务支持物理评估。我们进一步设计了 PrediMem，这是一个双系统 VLA，其中高级 VLM 规划器管理具有最近和关键帧缓冲区的存储体，并使用预测编码头来提高对任务动态的敏感性。 RoboMemArena 上的大量实验表明，PrediMem 的性能优于所有基线，并提供了对复杂内存系统的内存管理、模型架构和缩放法则的见解。