Graph-of-Agents：一种基于图的多智能体LLM协作框架

摘要

随着LLM与基准测试的“动物园”不断壮大，编排多个模型以提升任务性能的需求从未如此迫切。尽管Mixture-of-Agents（MoA）等框架试图协调LLM，但它们往往在以下方面存在不足：（1）选择相关智能体；（2）促进智能体间的有效通信；（3）高效整合响应。在本工作中，我们提出Graph-of-Agents（GoA），一种用于建模多智能体LLM通信的新型基于图的框架。我们的方法从节点采样开始，利用汇总每个模型的领域、任务特化方向及其他特征的模型卡片（model cards），仅选择最相关的智能体。接着，我们通过让所选智能体的响应相互评估以确定相关性排序，从而在它们之间构建边。随后执行从高相关智能体到低相关智能体的定向消息传递以增强后者的响应，再通过反向消息传递精炼高相关智能体的原始响应。最后，通过基于图的池化（如最大池化或平均池化）聚合更新后的响应，生成单一的统一答案。我们在多样的多领域基准（MMLU、MMLU-Pro、GPQA）和领域特定基准（MATH、HumanEval、MedMCQA）上评估GoA，智能体池由横跨多个领域的6个LLM组成。令人惊讶的是，GoA仅使用3个被选中的智能体即取得更优性能，超越了同时使用全部6个智能体的近期多智能体LLM基线。通过采用图结构，GoA借助结构化消息传递同时具备可扩展性与有效性——使其成为应对不断壮大的LLM动物园带来的挑战的有力候选。代码已发布于：https://github.com/UNITES-Lab/GoA。

Graph-of-Agents：一种基于图的多智能体LLM协作框架：论文配图 — 图 1：当前的多代理 LLM 流程和我们提出的方法。(a) 给定跨越不同领域（例如生物医学 + 数学 + 代码）的查询，(b) 从大量 LLM 中选择和组织代理以形成有效的多代理系统仍然是一个重大挑战。 (c) 当前的混合代理（MoA）方法集成了所有可用的代理，聚合它们的响应，并将组合输出转发到下一层。然而，它缺乏对更大代理池（例如 10 或 100）的通用性，并且遭受沉重的层内通信开销。 (d) 相反，我们提出的代理图（GoA）通过基于图的结构解决了这一挑战。在 GoA 中，仅选择相关代理的子集来形成图的节点，通过定向消息传递（从更相关的代理流向不太相关的代理）促进层内通信。通过利用这种图结构，GoA 实现了更大的可扩展性，并实现代理之间更有效的通信，从而形成更强大和适应性更强的框架。