论文

交接税:LLM智能体中延续非原生轨迹

The Handoff Tax: Continuing Non-Native Trajectories in LLM Agents

模型评测模型行为与机制分析

摘要

编码智能体执行跨越数十次模型调用、工具使用和代码编辑的长时任务。随着任务推进,用户面临实际的成本-质量权衡:在廉价模型吃力时升级到更强模型,或在困难推理完成后降级到廉价模型。每次切换都要求接收方延续由另一个模型产生的非原生轨迹。我们研究这种交接如何影响质量和成本,以及接收方继承的轨迹信息量如何改变结果。使用来自Claude和GPT系列的低成本低能力(LC)与高成本高能力(HC)模型对,我们改变交接方向、时机和接口,在保留代码仓库状态的前提下比较完整轨迹传递、压缩和轨迹移除。在两个模型家族中,完整轨迹升级挽回的LC到HC质量差距不足一半,却带来可观的成本溢价。我们将这种成本-质量损失称为交接税(handoff tax)。相比之下,降级提供了有利的成本-质量点。有趣的是,偏好接口也随方向而反转:减少LC模型轨迹信息可提升升级质量,而移除HC模型轨迹则降低降级质量。

交接税:LLM智能体中延续非原生轨迹:论文配图
图1:交接税。(a) 当较便宜模型(LC)表现吃力时,用户升级到高成本模型(HC);或当困难推理看似完成时,降档到更便宜的模型。(b) 交接时,接收方继承另一模型的轨迹。我们探究这如何影响成本与质量,以及改变所传递轨迹信息如何塑造这一影响。