论文
HarnessCompass:引导自动Harness向通用且有效的代理Harness发展
HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
摘要
Harness设计通过塑造 大语言模型 (LLM) 在可执行环境中感知、推理和行动的方式,在代理性能中发挥着关键作用。最近的工作提出了自动工具演化,它迭代地改进了代理与环境交互的工具。然而,现有的方法往往过度适应进化任务,完全依赖于轨迹导出的信号,并联合优化Harness组件,导致组件之间的干扰。我们提出了 HarnessCompass,这是一种新型的自动Harness演化框架,围绕约束演化、主动反馈和组件优化而构建。 HarnessCompass 首先对进化实施全局约束,限制对与任务无关的Harness更改的修改,这些更改泛化到进化任务之外。然后,它通过代理关于Harness使用情况的主动第一人称反馈来增强轨迹衍生的证据,从而产生更丰富的进化信号。最后,它将不同Harness组件的优化解耦,然后将它们整合到统一的Harness中,从而减少组件间的干扰,同时保持组件的协同作用。在经过 GPT-5.4 验证的 SWE-bench 上,HarnessCompass 只需 5 次进化迭代即可将 Pass@1 从 54\% 提高到 66\%,在有效性和进化效率方面均优于 AHE。此外,进化的Harness可以有效地转移到保留任务和其他模型,表现出比先前的自动Harness进化方法更强的泛化性。