CoCoDA：面向工具增强智能体的协同演化组合DAG

工具增强语言模型可以使用外部可执行技能来扩展小型语言模型，但是扩展工具库会带来一个双重挑战：随着新的可重用子例程的出现，库必须与规划器一起发展，而从不断增长的库中检索必须保持在固定的上下文预算内。现有的工具使用和技能库方法通常将工具视为平面或文本索引存储器，导致即时成本随着库大小而增长，并模糊可执行代码的类型化、组合结构。我们提出了 CoCoDA，一个通过单一代码本机结构（组合代码 DAG）共同进化规划器和工具库的框架。节点是原始或复合工具，边对调用依赖性进行编码，每个节点存储类型签名、描述、前置/后置条件规范和工作示例。在推理时，类型化 DAG 检索通过符号签名统一来修剪候选者，通过描述对幸存者进行排名，通过行为规范过滤它们，并通过示例消除歧义，从而在逐渐较小的候选集上保持昂贵的上下文具体化。在训练时，成功的轨迹被折叠到经过验证的复合工具中，而规划器则使用 DAG 诱导的奖励进行更新，该奖励根据复合材料的原始扩展大小进行积分。我们提供的理论结果显示了检索成本降低、亚线性检索时间、成形奖励下的组合优势、保守更新下的单调协同进化以及 DAG 良好形成性。在数学推理、表格分析和代码任务基准方面，CoCoDA 使 8B 学生能够在 GSM8K 和数学方面匹配或超过 32B 教师，并持续改进强大的工具使用和库学习基线。