论文

CoMemBench:跨多Agent工作流拓扑的协作内存边界基准测试

CoMemBench: Benchmarking Collaborative Memory Boundaries across Multi-Agent Workflow Topologies

智能体系统上下文与知识记忆Agent HarnessAgent任务评测Agent记忆

摘要

多Agent工作流程要求在Agent之间共享与任务相关的信息,而不相关、陈旧、未经验证或不兼容的信息必须保持隔离。我们将这种以任务为条件的信息范围称为协作记忆边界。工作流拓扑确定哪些中间工件适用于哪些下游工作人员以及它们何时不再有效,从而提供用于共享和隔离的结构应力维度。现有的内存基准主要评估保留和检索,而多Agent基准则强调协调和端到端完成,而拓扑条件内存边界在很大程度上无法测量。我们引入了 CoMemBench,这是一个基于执行的基准,用于跨多Agent工作流拓扑的协作内存共享和隔离。它从基于源的依赖关系图构建跨四个领域的 800 个复合工作流程,并具有节点本地规范、可验证的工件切换、本机评估器和匹配的隔离挑战。 CoMemBench 衡量工作流程完成情况、验证的节点进度、所需切换的可靠性、隔离鲁棒性和词元成本。实验揭示了共享与隔离的权衡:更广泛的上下文可以提高信息可用性,但会削弱隔离性,而系统排名会随着拓扑和工件违规而变化。

CoMemBench:跨多Agent工作流拓扑的协作内存边界基准测试:图1:以拓扑为条件的记忆边界。仓库工作流包含五种依赖模式,每一种都会改变下游Agent需要哪些产物、不得接收哪些产物,或必须把哪些产物视为已被取代。
图1:以拓扑为条件的记忆边界。仓库工作流包含五种依赖模式,每一种都会改变下游Agent需要哪些产物、不得接收哪些产物,或必须把哪些产物视为已被取代。