论文
工具使用模型中的内部干预:选对目标不等于复用正确条件
From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models
摘要
激活干预能够让语言模型给出目标答案,但模型能否在其他计算中使用预期条件?我们在Qwen3.5-27B的工具使用任务中研究这一问题,任务由时间或权限决定资格和选择。在32个新构造的世界中,两种针对具体案例写入残差流的方法,将熟悉目标选择的正确次数分别从35/128提高到119/128、从33/128提高到114/128。然而,在同一选择任务中重新组合熟悉事实与标识后,这些收益消失,对先前获奖励标识的选择反而增加。收益可以跨输出格式保持,却几乎不能改善对候选是否具备资格或应否被选中的独立判断。内部编辑仍可改变某条来源事实对判断的影响:在预先指定的次要比较中,早期层来源修补在使用该来源的64个判断中改变50个,而不使用该来源的64种情况中只有1个不利变化。这种选择性作用并不保证完整行动正确。总体而言,结果区分了目标选择控制、对条件敏感的判断与完整行动正确性。评估被编辑的内部状态如何被使用,而不只是训练答案,能够揭示这些差异。
