论文
CoMemBench:跨多Agent工作流拓扑的协作内存边界基准测试
CoMemBench: Benchmarking Collaborative Memory Boundaries across Multi-Agent Workflow Topologies
摘要
多Agent工作流程要求在Agent之间共享与任务相关的信息,而不相关、陈旧、未经验证或不兼容的信息必须保持隔离。我们将这种以任务为条件的信息范围称为协作记忆边界。工作流拓扑确定哪些中间工件适用于哪些下游工作人员以及它们何时不再有效,从而提供用于共享和隔离的结构应力维度。现有的内存基准主要评估保留和检索,而多Agent基准则强调协调和端到端完成,而拓扑条件内存边界在很大程度上无法测量。我们引入了 CoMemBench,这是一个基于执行的基准,用于跨多Agent工作流拓扑的协作内存共享和隔离。它从基于源的依赖关系图构建跨四个领域的 800 个复合工作流程,并具有节点本地规范、可验证的工件切换、本机评估器和匹配的隔离挑战。 CoMemBench 衡量工作流程完成情况、验证的节点进度、所需切换的可靠性、隔离鲁棒性和词元成本。实验揭示了共享与隔离的权衡:更广泛的上下文可以提高信息可用性,但会削弱隔离性,而系统排名会随着拓扑和工件违规而变化。
