论文

DATS:按任务难度和成本选择多智能体代码协作拓扑

Learning How Much to Collaborate: Difficulty-Aware Topology Selection for Multi-Agent Code Generation

智能体系统Agent 协作

摘要

用于代码生成的多代理系统采用单一通信拓扑进行部署,针对每个问题选择一次。这是错误的粒度。通过评估来自 APPS、HumanEval+ 和 LiveCodeBench 的 614 个问题的五种拓扑,我们发现分层协作相对于单个代理的优势从最简单的三分之一问题的 pass@1 点的 2.4 点增长到最难的三分之一问题的 21.1 点,而其词元成本仍然高出约十倍。我们提出了难度感知拓扑选择器(DATS),它预测每种拓扑解决问题的概率,并选择一个最大化预测成功减去成本的拓扑。它的预测器是一个图网络,它将五个拓扑视为连接顺序的节点而不是独立标签,比平面多标签头值 1.7 分。由于成本损失是无需重新训练即可重新校准的单个标量,因此路由器在同等支出下进行比较:在这种预算匹配协议下,六种成本感知方法跨越 21.6 个百分点,并且一旦校准到它,两个领先 DATS 的基线就会落后。固定为始终分层成本的 40%,DATS 达到 77.7% pass@1,而 73.6%(始终分层)和 74.3%(最强学习竞争对手),所有 11 个成对 McNemar 比较均经过 Holm-Bonferroni 校正。 4.1 点的增益在跨越 14 点能力的 4 个主干网中保持不变,并且用图网络或预训练编码器替换 39 个可解释的特征最多将准确性改变 1.3 点,但从来没有显着。对 400 个数学推理问题的跨领域研究再现了这一效果,差距从 2.5 分扩大到 20.9 分。