论文

模型升级后Agent记忆还能用吗?记忆可迁移性的受控研究

Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability

模型评测上下文与知识记忆鲁棒性、公平性与可信度评测Agent记忆

摘要

模型升级很常见,记忆迁移却不然。即便保留同一记忆库,Agent仍可能遗忘:新模型会不同地解释旧笔记,混用嵌入版本可能破坏检索,缺少原始证据则可能无法修复。我们比较四种保存相同历史的方法:长上下文逐字读取LC-RAW、分块检索增强RAG、模型压缩自然语言笔记NOTES,以及固定模式知识图谱KG-fixed。研究使用48份带随机答案码的合成历史、精确评分,以及两个不到100亿参数的开放权重模型。固定结构迁移较稳定,更换写入模型后KG-fixed准确率仅变化+0.0004±0.0020。NOTES则与模型高度耦合,按迁移方向不同,准确率变化分别为+9.91或−13.28个百分点。RAG中,50/50混合索引的部分嵌入迁移仅提升4.96个百分点,而完整重新嵌入提升11.90个百分点,大部分潜在收益被丢失。诊断分解将NOTES准确率缺口的80%(0.467±0.014)归于初始构建中的信息损失,将RAG缺口的81%(0.364±0.012)归于检索失败。仅依靠存储笔记修复时,48个案例均未达到90%的性能恢复目标;保留原始历史后,在一个测试迁移方向上34个案例成功恢复。结果强调,应按具体迁移方向测试,严格隔离嵌入空间,并保留用于记忆修复的原始历史。

模型升级后Agent记忆还能用吗?记忆可迁移性的受控研究:论文配图
图 1:四种记忆格式的比较。每种格式保留不同的信息并引入不同的升级风险。