论文

交接债务:编码智能体接管中断任务时的重新发现成本

Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks

智能体系统Agent任务评测

摘要

编码代理基准测试评估单个不间断代理是否可以解决存储库问题。真正的软件工作更加混乱:任务被中断、重新分配、审查,并从另一个代理或工程师留下的部分状态恢复。我们通过移交债务来研究这个缺失的维度:当前任的工作不透明或不完整时所施加的重新发现成本。我们的接管协议在确定性切换点中断编码代理,冻结存储库,并在四种切换视图下评估后继代理:仅存储库状态、原始跟踪、摘要注释和结构化注释。在 75 个源任务中,该协议为每个后继模型生成 181 个切换点任务和 724 个接管运行。在三个后继模型中,相对于仅存储库接管,上下文承载切换将中值代理事件减少了 20-59%,累积提示词元减少了 42-63%。解决率效应较小且依赖于模型,但效率增益是一致的。这些发现表明,编码代理评估不仅应该报告任务是否得到解决,还应该报告另一个代理恢复该工作的成本。

交接债务:编码智能体接管中断任务时的重新发现成本:论文配图
图 1:移交债务评估架构。前驱在中断之前生成存储库状态和轨迹证据。在检测到的切换点,检查点存储库保持固定,而后继者接收四个切换视图之一。最终状态通过官方 SWE 基准验证和效率指标进行评分,包括代理事件和提示令牌。