论文

MemTrapBench:LLM记忆使用中认知陷阱的基准测试

MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

模型评测上下文与知识记忆基准与评测资源Agent记忆

摘要

记忆已成为大语言模型的关键组件,使其能够保留信息并从长期交互中学习。然而,现有记忆基准主要评估信息是否被正确提取、存储和检索,却在很大程度上忽视了检索到的记忆如何重塑模型推理并影响当前任务的表现。我们识别出记忆诱发的认知陷阱:即使是忠实记录且语义相关的记忆,也可能扭曲模型的推理或信念,并降低当前任务的性能。为系统评估这些失败模式,我们引入 MemTrapBench,它涵盖两种认知陷阱:推理固着(Reasoning Fixation)与信念扭曲(Belief Distortion)。跨两个模型家族和五个代表性记忆框架的实验表明,MemTrapBench 具有挑战性:所有被评估的记忆策略都表现不如无记忆设置,即使最强的方法也出现超过 10% 的下降。为缓解这些认知陷阱,我们提出 AdaptiveMem,一个简单而有效的推理时方法,指示 LLM 避开记忆陷阱。AdaptiveMem 在 MemTrapBench 上缓解了认知陷阱,同时在各记忆框架的标准记忆基准上保持或提升了性能。

MemTrapBench:LLM记忆使用中认知陷阱的基准测试:论文配图
图1:记忆并不总是你所需要的。(a)在没有记忆的情况下,Gemini-3-Flash-Preview为该查询找到了阶乘解法。图中检索到的记忆包含用基本算术求解的有效且相关的示例,但它使模型固着于同一运算模式,无法考虑阶乘。(b)在Gemini-3-Flash-Preview上,与无记忆设置相比,使用完整交互历史记忆降低了全部四个Memory Trap场景的性能。