论文

检索记忆中的时间有效性:消除人工智能代理在不断发展的知识中出现的过时事实错误

Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge

摘要

检索增强生成(RAG)使代理能够访问积累的知识,但没有时间模型。当事实发生变化(例如,函数被重命名或 API 重组)时,RAG 会检索具有几乎相同嵌入相似性的陈旧值和当前值。然后,智能体要么放弃,要么提供被取代的事实。我们证明这是一个结构性问题:在校准数据集上,余弦相似度以 AUROC 0.59(接近机会)区分矛盾的事实和重复的事实,因为矛盾通常比改写的重复项更嵌入到原始数据。我们推出了 MemStrata,一种保持时间有效性的检索记忆。它存储像 RAG 这样的事实,保留静态召回,但是当事实的值相互矛盾时,确定性(主体、关系、客体)取代规则会在双时态账本中淘汰陈旧的值 - 没有相似性阈值,也没有 LLM 调用。在使用 7B 模型在本地运行的六个基准测试中,MemStrata 将 RAG 与静态知识联系起来,并在不断发展的知识上达到 0.95-1.00 的准确度(其中 RAG 达到 0.20-0.47)。核心结果是陈旧事实错误率:当需要回答时,RAG 在 15-40% 的时间内提供被取代的值; MemStrata 将其降低至约 0%,这是 RAG 无法避免的故障类别。 MemStrata 在检索延迟(约 2.1 秒)下实现了这一目标,而 LLM 重新排序基线的检索延迟约为 16-18 秒。我们发布了知识演化下的记忆工具、数据集和无标记评估协议。