MAS-PromptBench：提示优化何时能改善多Agent系统？

多代理系统 (MAS) 为代理 AI 提供了一条可扩展的前进路径，包括多个基于 LLM 的代理，每个代理都分配了一个系统提示和在管理代理间协调和输出聚合的工作流程中的位置。因此，系统提示形成了一个关键且可访问的优化表面：它们指定代理的角色和行为，无需模型微调即可实现系统级改进。尽管即时优化已显示出单个 LLM 的巨大潜力，但将其扩展到 MAS 会带来明显的挑战，特别是呈指数级增长的搜索空间。目前尚不清楚即时优化是否、何时以及在多大程度上提高了 MAS 性能，以及这种增益对系统配置的敏感度如何。在这项工作中，我们系统地研究了任务、工作流程、通信协议和团队规模各异的各种 MAS 设置中的系统提示优化，对两个自然扩展最先进的单代理方法的提示优化器进行了基准测试。结果揭示了其在暴露开放挑战的同时释放显着收益的潜力，描述了及时优化在不同的 MAS 设置中何时以及有多大的帮助。