STALE：LLM 特工能知道他们的记忆何时不再有效吗？

人们越来越期望 大语言模型 (LLM) 智能体保持连贯、长期的个性化记忆，但当前的基准主要衡量静态事实检索，忽视了新证据出现时修改存储信念的能力。我们确定了一种关键且未被充分探索的故障模式，即隐式冲突：后来的观察使早期的记忆在没有明确否定的情况下无效，需要上下文推理和常识推理来检测。为了严格评估此功能，我们引入了 STALE，这是一个包含 400 个经过专家验证的冲突场景（跨三个探测维度的 1,200 个评估查询）的基准，涵盖 100 多个日常主题，上下文高达 150K 个词元。我们提出了一个三维探测框架，用于测试状态解析（检测先前的信念是否已过时）、前提抵抗（拒绝错误地预设陈旧状态的查询）和隐式策略适应（在下游行为中主动应用更新的状态）。对前沿 LLM 和专门记忆框架的系统评估揭示了检索更新证据和对其采取行动之间存在普遍差距，即使是评估最好的模型也只能达到 55.2% 的总体准确度。模型通常接受嵌入在用户查询中的过时假设，并且它们很难识别用户状态某一方面的变化何时会使相关记忆失效。为了建立状态感知记忆的初始基线，我们进一步提出了 CUPMem，这是一种通过结构化状态整合和传播感知搜索来加强写入时修订的原型，表明显式状态裁决是稳健代理记忆的一个有前途的方向。