论文

Turbo Harness:实例自适应Harness优化

Turbo Harness: Instance-Adaptive Harness Optimization

智能体系统Agent Harness

摘要

自动搜索有效的工具是使Agent能够递归地自我改进的重要一步。现有的Harness优化通常会生成在任务实例之间统一应用的单个全局Harness。然而,平均效果良好的Harness可能并不适合所有情况。我们引入了 Turbo Harness,这是一个框架,可以通过重用原始优化过程中生成的信息来使全局优化的Harness适应每个实例。具体来说,Turbo Harness 回收在完成的全局Harness优化运行过程中产生的工件,并将它们总结成结构化的剧本。我们训练Harness编辑器利用先前的优化经验为全局Harness生成特定于实例的补丁。在推理时,编辑器使用实例和剧本来构建执行模型在其中运行的定制工具。通过数值实验,我们表明 Turbo Harness 在涵盖交互式代理任务、软件工程和长期终端任务的七个基准测试中始终优于现有的Harness优化基线。