错误上下文中的正确记忆:长期检索的可采纳性验证
The Right Memory in the Wrong Context: Verifying Retrieval Admissibility in Long-Term Agent Memory
摘要
长期-记忆智能体可以检索当前请求不允许的相关信息,因为它属于另一个主体、违反策略或反映不兼容的生命周期状态。 召回率 和最终答案的准确性并没有揭示这一点:一条路线可能会因为缺少所需的证据而显得安全,而正确的答案可能会在不可接受的及时暴露之后出现。我们引入了一个检索可接受性验证框架,该框架为每个记忆查询对分配三种状态之一(可接受、不可接受或未解决),将匹配的所需证据 召回率 的路由与未解决案例的边界进行比较,并通过即时暴露跟踪记忆 ID,同时将暴露与目标级别披露联系起来。我们在单独的非混合人群上评估其阶段。对来自两个公共长期记忆基准(RHELM 和 MemOps)的冻结排名进行事后重新分析,涵盖 3,767 个查询。所有发布的锚点都位于受信任的查询命名空间内;在命名空间内分数不变的情况下,命名空间外过滤不能降低其排名。 Top-20 锚点 召回率 从 0.432 增加到 0.533,80% 召回率 可行性从 0.237 增加到 0.311,精确相似度评估下降 98.3%。在冻结的 72 例开发诊断中,发布的元数据引用保留了所需的证据,而纯文本验证程序都没有检测到 1% 所需锚点错误拒绝限制下的违规行为。在 1,523 个配对的基准测试本机案例中,命名空间路由与三个读取器的判断准确度增益 0.053-0.068 相关; 召回率 也发生了变化,因此此比较是观察性的。在 16 个受控暴露场景中,只有四个读者特定的 95% 置信区间之一排除了相关不可接受的文字披露的零(+0.156,95% CI [0.031,0.312])。结果会激发候选人支持、可采性、及时曝光和答案披露的单独验证。