论文

当代理看起来相同时:量化 蒸馏 引起的工具使用行为的相似性

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

模型评测评测方法与指标

摘要

模型蒸馏是LLM智能体快速进步的主要驱动力,但它常常导致行为同质化。许多新兴智能体具有几乎相同的推理步骤和失败模式,这表明它们可能是少数主导教师的提炼回声。然而,现有的指标无法区分任务成功所需的强制行为和反映模型自主偏好的非强制模式。我们提出了两个补充指标来隔离非强制性行为模式:用于言语对齐的 \textbf{响应模式相似度(RPS)}和用于建模为有向图的工具使用习惯的 \textbf{动作图相似度(AGS)}。根据 Claude Sonnet 4.5(思考)在 $τ$-Bench 和 $τ^2$-Bench 上评估来自 8 个提供商的 18 个模型,我们发现家庭内模型对在 AGS 中的得分比跨家庭对高 5.9 个百分点,Kimi-K2(思考)达到 82.6\% $S_{\text{node}}$ 和 94.7\% $S_{\text{dep}}$,超过了 Anthropic 自己的 Opus 4.1。受控的 蒸馏 实验进一步证实了 AGS 将教师特定的收敛与一般改进区分开来。 RPS 和 AGS 捕获不同的行为维度(Pearson $r$ = 0.491),为代理生态系统中的行为收敛提供补充诊断信号。我们的代码可在 https://github.com/Syuchin/AgentEcho 获取。