论文
共享前缀、改善信用分配:多Agent推理的自适应路由
Shared Prefixes, Better Credit: Adaptive Routing for Multi-Agent Reasoning
摘要
多代理推理(MAR)通过迭代的解决方案交换和细化来提高推理的可靠性。现有的自适应MAR方法通常从查询级别的标签或轨迹级别的回报中学习路由决策,但这种粗粒度的监督无法准确估计多步协作中个体操作者的状态条件下的实用性。我们提出TreeCredit,这是一种用于高效自适应MAR的共享前缀信用分配框架。其核心洞察是通过状态匹配的下游比较来估计操作者的实用性,而不是直接将轨迹级别的结果分配给前一个决策。TreeCredit通过从相同中间状态的候选操作者中扩展来构建共享前缀的合作树,并基于终端正确性和累计额外成本的总和为每个状态-操作者对分配优先级的后缀信用。这些结构化的信用转换为状态-局部的操作偏好,用于训练轻量级的两两状态路由器,动态选择在推理过程中可接受的操作者。在六个推理基准上的实验表明,TreeCredit显著提高了准确率,同时大幅降低了推理成本,比代表性MAR方法在准确率-成本权衡方面表现更好。
