论文

当内存说谎时:VLM 代理中空间内存陈旧性的实证研究

When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents

智能体系统Agent任务评测

摘要

记忆增强型 VLM 代理作用于持久的空间知识,但随着环境的变化,这些知识会悄悄地变得陈旧。我们询问,当智能体必须协调自信的记忆主张与相互矛盾的观察结果时会发生什么,以及当前的模型是否能够在冲突变成安全相关错误之前捕获冲突。使用动态 FrozenLake 测试台,我们将过时检测任务与下游导航任务配对,跨三个闭源模型和三个开放权重 VLM,在文本和图像输入下运行(1,800 次检测运行,以及在共享 50 种子规模的四个 LLM 导航器上运行 12,000 个文本模式导航片段)。出现了三个发现。首先,文本可解性并不意味着视觉基础:从文本可靠地标记陈旧条目的模型仍然在相同的网格上将视觉 F1 从 0.887 降低到 0.067,并且最弱的模型不断做出忽略图像的流畅、自信的决策。其次,在没有审核的情况下使用过时的内存是一种安全责任:在我们的主要 GPT-4o 设置中,信任原始内存的代理的死亡次数是完全没有内存的同一代理的两倍多。第三,审计有帮助,但并不能缩小差距:透明的读取时间过滤器消除了文本模式下的大部分安全成本,但即使是 Oracle 过时的标签也不会为当前网格大小带来进一步的显着收益,并且当可视化审计不可靠时,过滤不会产生一致的好处。这些结果将空间记忆陈旧性视为一种安全故障模式,并将记忆观察冲突下的可靠视觉基础和动作选择隔离为记忆增强智能体面临的核心挑战。