论文

HarnessFix:从失败执行轨迹诊断并修复Agent Harness

From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws

智能体系统Agent Harness

摘要

LLM Agent越来越依赖Agent Harness,即围绕基础模型的运行基础设施,负责执行环境、工具接口、上下文、生命周期编排、可观测性、验证与治理。已有自我改进与自动Harness演进方法使用运行监督、提示优化、工作流搜索或最终结果反馈,但常未定位失败轨迹中的责任证据及具体实现机制,导致修改范围过大、间接或不明确。HarnessFix提出以轨迹证据与诊断驱动Harness修复。它将原始执行记录与Harness实现材料编译为Harness感知轨迹中间表示(HTIR),规范碎片化证据,捕捉步骤级数据流与控制流,并将运行步骤与影响其行为的实现材料对应。随后将失败归因于相关步骤和材料,把重复诊断整理为面向修复的缺陷记录;再映射为限定范围的修复操作,按缺陷专属规范生成补丁,经过考虑回归风险的验证后接受修改。四项基准中,相对初始Harness的表现提高6.3%—18.4%,优于人工设计与自我演进基线。方法将失败轨迹作为结构化诊断证据,而不只是反馈信号。