论文

工具使用模型中的内部干预:选对目标不等于复用正确条件

From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models

模型评测智能体系统Agent 工具调用模型行为与机制分析鲁棒性、公平性与可信度评测

摘要

激活干预能够让语言模型给出目标答案,但模型能否在其他计算中使用预期条件?我们在Qwen3.5-27B的工具使用任务中研究这一问题,任务由时间或权限决定资格和选择。在32个新构造的世界中,两种针对具体案例写入残差流的方法,将熟悉目标选择的正确次数分别从35/128提高到119/128、从33/128提高到114/128。然而,在同一选择任务中重新组合熟悉事实与标识后,这些收益消失,对先前获奖励标识的选择反而增加。收益可以跨输出格式保持,却几乎不能改善对候选是否具备资格或应否被选中的独立判断。内部编辑仍可改变某条来源事实对判断的影响:在预先指定的次要比较中,早期层来源修补在使用该来源的64个判断中改变50个,而不使用该来源的64种情况中只有1个不利变化。这种选择性作用并不保证完整行动正确。总体而言,结果区分了目标选择控制、对条件敏感的判断与完整行动正确性。评估被编辑的内部状态如何被使用,而不只是训练答案,能够揭示这些差异。

2610.31686论文原图
图1:同一干预后的3条独立续跑。权限示例取自已验证案例,使用易读别名。写入器把所选候选改为s,但单独重启的s资格查询仍回答false;文本更新与Natural B回答true。选中输出不会输入任何查询。图描述实验协议,并非推断出的神经依赖图。