MemProbe：用认知实验范式诊断智能体记忆

代理记忆系统越来越多地用于维护长期的用户偏好、任务状态和不断变化的事实，但当前的评估经常将记忆行为压缩为最终答案准确率。我们介绍 MemProbe，这是一个受认知科学启发的框架，用于诊断智能体记忆中的稳定性与可塑性权衡。该框架的灵感源自认知记忆研究的核心见解：记忆是通过干扰、来源可靠性、强化和重新激活来重建和塑造的。 MemProbe 将这种见解转化为四种可重复使用的实验范式（干扰、错误信息、巩固强度和重新巩固窗口），这些范式可以操纵记忆何时应该更新、保留或被视为不确定。它将正确性进一步分解为行为概况，揭示系统如何更新、保存、归因及按时间组织信息。我们在 56 集诊断套件中实例化这些范例，并在统一协议下评估六个增量记忆系统。结果表明，具有相似总分的系统表现出不同的行为特征。 MemProbe 提供了这样一个诊断镜头，将总体性能转变为可解释的记忆维护情况。代码可在 https://github.com/jq-ding/MemProbe 获取。