论文
当Harness失去信号时：LLM Agent恢复的因果评估
When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents
摘要
大语言模型智能体依靠外部Harness在模型与环境之间传递信息并从执行错误中恢复，但恢复通常只用平均任务成功率评价。这隐藏着一个重要的紧张关系。 同一操作既可能挽救失败轨迹，也可能破坏原本会成功的轨迹。我们将恢复视为因果决策问题。 从相同执行状态出发，我们比较有无恢复操作的结果，区分挽救与损害，并研究恢复价值随时间的变化。随后提出因果干预路由器（CIR），以恢复前可获得的信息决定何时值得干预。在使用Qwen3-14B的长程ALFWorld任务上，CIR将成功率从70.33%提高至73.33%，增加3.00个百分点；所有具有正确观测的被评估轨迹均未受干预。额外对照显示，恢复收益不能仅由环境返回的新观测解释。这些结果提供了评估恢复并选择性应用的实用方法。