论文

更聪明地验证,演化更进一步:通过行为感知验证实现高效Harness演化

Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification

智能体系统Agent Harness

摘要

Agent harness决定了语言模型智能体如何使用指令、工具和运行时组件,但适配这些harness需要代价高昂的验证。现有的“提议—验证”方法通常在固定任务集上为每个候选打分,把rollout浪费在不相关行为上,并让聚合分数掩盖具体的性能回退。我们提出HarnessLens,一个预算感知的自动化harness演化框架。HarnessLens联合探索任务空间与用户可配置组件,从执行轨迹中导出候选修改,并使用可归因证据门在行为相关任务上选择性地验证每个候选。在三个agent harness和四个基准上,HarnessLens将平均留出性能提升7.6%—13.6%,同时消耗的评估预算显著低于竞争基线。这些结果表明,带有显式归因的行为感知验证能够在受限交互预算下实现更可靠、更样本高效的harness演化。我们的代码见https://github.com/jhxu5214/HarnessLens。

更聪明地验证,演化更进一步:通过行为感知验证实现高效Harness演化:论文配图
图1:验证范式的比较:固定或随机批次会稀释候选特有的信号,而我们的行为感知批次能实现更清晰、更高效的验证。