KEEPER：比较长程Agent记忆目标与错误持续传播

摘要

递归文本记忆可能把早期错误带入后续更新，但仅凭任务表现并不能证明记忆可靠。我们把“自一致性偏差”定义为输入记忆中已有错误陈述的持续存在。我们提出KEEPER，在共享递归接口下沿信息内容和更新敏感性两个维度比较四种辅助目标，研究不同监督目标与Agent表现的关系。在所测条件中，奖励相关预测在离线强化学习前后都取得最高任务表现，优于联合监督。对一条基线轨迹的陈述级分析记录到，即使出现纠正性观察，错误仍然持续。分析表明，在评价任务结果之外，还应测量错误持续性与有效信息保留。

KEEPER：比较长程Agent记忆目标与错误持续传播：论文配图 — 图1：辅助记忆监督与评估概览。（a）监督初始化：记忆生成器fθ在教师强制下，结合参考记忆pt∗编码更新上下文。奖励保留（RP）、预测保留（PP）和语义锚定（SA）监督表示ht或其投影qt的信息内容，ϕ为固定文本编码器；更新稳定性（US）惩罚qt对扰动后的传入记忆p̃t−1的敏感性。比较单独行为克隆（BC）、BC加各单项目标、以及BC加全部四项目标。（b）所有条件共用递归推理，此时辅助目标不启用。生成记忆既保留有效事实，也保留从pt−1继承的错误主张（自洽偏差），并由此误导策略；因此同时评估错误持续性与有效事实保留。编号标记对应三个评估层次：表示、生成记忆和决策。