论文

多步骤工具增强代理中的结合漂移

Binding Drift in Multi-Step Tool-Augmented Agents

智能体系统Agent任务评测

摘要

工具增强的语言模型代理通过外部系统执行多步骤工作流,解析一个实体一次,然后在后续步骤中对其进行操作。先前的研究表明,在单步操作中,代理会选择正确的工具,但 24-26% 的情况下会将其绑定到错误的实体。我们研究实体绑定随着时间的推移会发生什么:它们是否保持正确,默默地漂移到不同的实体,或者,如果从一开始就是错误的,传播和复合?我们将绑定漂移(在步骤 1 中正确,随后错误)形式化为与错误传播(在步骤 1 中错误,结转)不同,并在不相交的工作流程集上对它们进行评分,以便两者不能混为一谈。在受控的多步骤测试台(200 个工作流程、580 个实体绑定评分步骤、4 个企业域、8 个从小到前沿的模型后端)中,我们发现:(1) 在受控错误注入下,实体锁(直观的“保留第一个绑定”修复)将错误操作从 907 放大到 2,746(3.0 倍;引导 95% CI [2.8, 3.3]),因为它忠实地将播种的错误实体带入后续的每一步; (2) 在受影响最严重的模型 (Claude Opus 4.5) 上放大达到 8.5 倍; (3) 实用的基于 LLM 的重新验证器(单个廉价的第二模型调用重新读取原始指令)将错误操作减少了 79%(0.21 倍;CI [0.18,0.25]),将差距缩小到预言机上限(0.20 倍)的 1 个百分点以内; (4) 在自然(非注入)环境中,基线代理在 18% 的合格工作流程上发生漂移,每步错误率在各个步骤中不断上升。持久性和重新验证是不可互换的:消除漂移的防御可能会恶化传播,而实用的重新验证器几乎与预言机恢复相匹配。