Agent技能可能有害：LLM智能体技能诱发失败的实证研究

Agent技能是为LLM智能体扩展可复用指导的事实机制。一项技能可以塑造智能体的任务执行，包括规划、工具使用、问题求解和验证。先前工作报告了智能体技能的混合结果：一些技能提高任务成功率，另一些则没有效果、增加token使用和执行时间，甚至降低成功率。本文对技能诱发的智能体失败进行了全面分析，将任务失败和成本回归归因到具体已加载的技能。我们引入一个差分分析框架，通过将目标技能引导的运行与解决了相同任务、或更廉价解决相同任务的无技能或语义匹配技能参照运行进行比较，将失败或回归归因到某项技能。我们在SkillsBench和SWE-Skills-Bench上实例化该框架，得到307例技能诱发的失败，包括125例功能性失败和182例效率回归。我们还构建了SkillTriage，一个分类学指导的归因工具，对成对案例进行规范化、提取差分证据并生成分诊报告。我们的主要发现包括：（1）技能诱发的功能性失败很少由明显无关的技能引起；相反，看似相关的技能往往使智能体错误地实现或遗漏任务所需的实现要素。（2）技能诱发的效率回归无法仅用提示词长度解释。（3）过度流程（Excessive Procedure）中最大的来源是过度验证和繁重的实现流水线，分别贡献67例和30例。这表明技能常常把验证清单和构建配方变成强制性工作。基于这些发现，我们为更安全、更具成本感知的技能复用提出研究课题和工具改进方向。