论文
框架更新不等于框架受益:解耦自进化LLM智能体中的进化能力
Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
摘要
LLM智能体越来越多地被部署为围绕可编辑外部框架(harness)构建的系统,包括提示、技能、记忆与工具,它们在不改变模型参数的情况下塑造任务执行。框架自进化通过从执行证据更新这些框架来适配此类智能体。然而,模型在任务求解上的基础能力是否能预测其框架自进化能力仍不清楚:哪些模型能产出有用的框架更新,哪些又真正从中受益?我们分析两种框架自进化能力:(i) 框架更新(harness-updating),即从执行证据产生有用的持久框架更新的能力;(ii) 框架受益(harness-benefit),即在任务求解过程中从更新后的框架中受益的能力。我们的分析揭示两个发现。其一,框架更新能力在基础能力维度上是平的:不同能力层级的模型产出的框架更新带来惊人相似的收益;甚至Qwen3.5-9B的更新也产生与Claude Opus 4.6相当的收益。其二,框架受益能力在基础能力维度上是非单调的:弱层级模型从更新后的框架获益甚少,中层模型获益最多,强层级模型的获益少于中层。我们把弱层级的低收益归因于两种失效模式:弱层级模型可能无法激活相关的框架工件,或者激活了却不能忠实遵循。这些发现提示,应把能力预算投给任务求解智能体而非进化器,并在智能体训练中瞄准框架调用与长程指令遵循。我们的源代码在 https://github.com/A-EVO-Lab/a-evolve/tree/release/harness-evolution 公开。
