论文

CPB:共享记忆如何把重复声明错当独立证据

A Benchmark and Diagnostic Study of Epistemic Admission in Shared Agent Memory

智能体系统上下文与知识记忆Agent任务评测Agent记忆

摘要

评估共享代理记忆中的主张准入具有挑战性,因为重复的主张可能会被误认为独立证据。智能体可以复制或解释检索到的信念,而承认错误的主张会使后续智能体暴露在该信念中。为了研究这个问题,我们引入了相关提升基准(CPB),它评估候选声明是否应该被接纳到共享记忆中。CPB-Static 从具有固定黄金操作的公开注释来源构建了一个冻结测试分割。 CPB-Live 在共享存储上运行多代理团队,记录所有写入和检索,并跟踪每个场景定义的源沿袭。单独的消费者独立依据该存储回答。我们评估了四个代理家族的八项准入政策。我们的结果表明,对源进行重复数据删除的策略会拒绝许多真实的声明和错误的声明,而保留答案覆盖范围的策略则承认几乎与不受限制的共享一样多的错误声明。与其他应答策略的 0.22--0.47 相比,对声明的源类型进行控制可将错误采用率降低至 0.06--0.09。一旦一个无可争议的错误信念进入记忆,消费者就会在所有模型家族97%—99%的探测中中断言它。没有任何非神谕政策始终拒绝逐字副本、释义和宣布权威的释义中的虚假主张。这些发现揭示了在无法获取来源谱系的情况下准入策略的局限性。

CPB通过记忆准入动作、来源谱系折叠与在线传播,检验重复声明的影响。
图1(图注摘要):CPB通过记忆准入动作、来源谱系折叠与在线传播,检验重复声明的影响。