论文
Agent Harness的价值来自哪里:规划信息与结果放行控制
How Do Agent Harnesses Create Value? Planning Information and Release Control in Stateful LLM Agents
摘要
Agent Harness提供规划指导、组织执行并检查完成情况。我们在τ²-bench的两组零售实验及一个航空试点中,研究这些组件对成功、错误接纳和成本的影响。主要对比将预写的任务专属计划(Fixed)与字数相同但打乱的策略文本(Sham)配对,以隔离指导内容的贡献。在265个匹配实验单元中,Fixed使判定程序验证的成功率提高7.17个百分点(按任务聚类自助采样的90%区间为1.15—13.36个百分点),收益集中在较复杂任务。一个只读终端验证器拒绝了61%被零售判定程序认定无效的回合,同时暂缓放行17%的正确回合,每回合额外成本不到一美分。哪个组件更重要取决于对错误接纳赋予的损失:低责任成本下规划收益占主导,高责任成本下验证器避免错误放行的收益占主导;独立验证器以完整规划加验证系统一小部分成本,获得了几乎全部避免错误放行的收益。