AI模型可以互相指导吗？组织结构作为训练局限性的探讨

昂贵的人工智能模型能否有效地指导廉价的模型来解决软件工程任务？我们通过引入 ManagerWorker 来研究这个问题，这是一个双代理管道，其中昂贵的“管理器”模型（仅文本，无代码执行）分析问题、分派探索任务并审查实现，而廉价的“工作器”模型（具有完整的存储库访问权限）执行代码更改。我们对来自 SWE-bench Lite 的 200 个实例进行了评估，涉及五种配置，这些配置的管理器-工作人员关系、管道复杂性和模型配对各不相同。我们的研究结果揭示了多智能体方向的前景和局限性：（1）指导弱工作者（62％）的强经理与强模型词元使用量的一小部分的强单一智能体（60％）相匹配，表明昂贵的推理可以替代昂贵的执行； (2) 一个弱管理者指导一个弱工人（42%），其表现比单独的弱智能体（44%）要差，这表明指导关系需要真正的能力差距——没有实质内容的结构纯粹是开销； (3) 管理者的价值在于指导，而不仅仅是审查——最小的仅审查循环仅比基线增加 2 个百分点，而结构化探索和规划则增加 11 个百分点，这表明积极的指导才是使能力差距发挥作用的原因； （4）这些行为可以追溯到一个单一的根本原因：当前的模型被训练为整体代理，并将它们分成主管/工人角色，从而影响了它们的训练分布。该管道的成功在于围绕这种不匹配进行设计——使每个模型接近其训练模式（经理生成文本，员工使用工具）并将组织结构外部化为代码。这一诊断指出了具体的训练差距：授权、范围执行和模式切换是当前训练数据中缺少的技能。