有用的记忆在被LLM持续更新后会出错

从过去经验中学习受益于两种互补的记忆形式：情景痕迹——发生了什么的原始轨迹——以及将众多情景提炼为可复用、类图式经验教训的固化抽象。近期的智能体记忆系统追求固化形式：LLM将过去的轨迹改写成文本记忆库，并随新的交互持续更新，承诺无需参数更新即可获得自我改进的智能体。然而我们发现，当今LLM生成的这类固化记忆，即使在源自有用经验时也常常出错。随着固化的推进，记忆效用先升后降，甚至可能跌破无记忆基线。更令人惊讶的是，即使从真值解答中进行固化，GPT-5.4在一组它此前无记忆时已解决的ARC-AGI问题上有54%失败。我们将这种退化归因于固化步骤而非底层经验：相同的轨迹在不同更新安排下会产生性质不同的记忆，而仅保留那些轨迹的情景式对照，仍与我们测试的固化方法相当。在一个暴露Retain、Delete和Consolidate动作的受控ARC-AGI Stream环境中，智能体默认保留原始情景，其准确率是被迫固化对照的两倍；完全禁用固化（仅情景管理）与这一自动机制相当。在实践上，鲁棒的智能体记忆应将原始情景视作第一等证据，并显式地对固化进行门控，而不是在每次交互后都触发它。展望未来，可靠的智能体记忆将需要能够在不覆写其所依赖证据的前提下进行固化的LLM。