论文
MemTrapBench:LLM记忆使用中认知陷阱的基准测试
MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use
摘要
记忆已成为大语言模型的关键组件,使其能够保留信息并从长期交互中学习。然而,现有记忆基准主要评估信息是否被正确提取、存储和检索,却在很大程度上忽视了检索到的记忆如何重塑模型推理并影响当前任务的表现。我们识别出记忆诱发的认知陷阱:即使是忠实记录且语义相关的记忆,也可能扭曲模型的推理或信念,并降低当前任务的性能。为系统评估这些失败模式,我们引入 MemTrapBench,它涵盖两种认知陷阱:推理固着(Reasoning Fixation)与信念扭曲(Belief Distortion)。跨两个模型家族和五个代表性记忆框架的实验表明,MemTrapBench 具有挑战性:所有被评估的记忆策略都表现不如无记忆设置,即使最强的方法也出现超过 10% 的下降。为缓解这些认知陷阱,我们提出 AdaptiveMem,一个简单而有效的推理时方法,指示 LLM 避开记忆陷阱。AdaptiveMem 在 MemTrapBench 上缓解了认知陷阱,同时在各记忆框架的标准记忆基准上保持或提升了性能。
