当Skills帮不上忙时：进攻性网络安全中基于工具的智能体程序性知识的负面结果

摘要

Agent Skills是在推理时加载进LLM智能体的结构化程序性知识包，据广泛报道，其在不同领域平均可将任务通过率提升16.2个百分点。然而同样的基准也显示出很大方差：84个任务中有16个在引入Skills后出现负向变化。社区尚未清晰阐明Skills何时有用、何时只是冗余开销的干净机制。我们重新分析一项近期发表的、共180次运行的受控研究，该研究考察基于MCP的自主夺旗（CTF）智能体在四种丰富度递增的文档条件（591、12865、17253与36001 token）下的表现，并表明这些条件几乎精确对应No-Skills、Experiential-Skills、Curated-Skills与Comprehensive-Skills消融。在进攻性网络安全这一现有Skills基准未深入覆盖的领域，Skills的边际收益崩塌。无Skills与全Skills条件之间的差距仅8.9个百分点（$p = 0.71$，$χ^2$检验；$p = 0.25$，Cochran--Armitage趋势检验；六组成对比较中有五组的Cohen's $h$低于$0.2$的小效应阈值）。我们认为缺失的变量是环境反馈带宽。当智能体的工具层返回严格的、经模式校验的低延迟观测时，环境本身就提供了通常需要Skills来供给的程序性纠正信号。因此，精选Skills的边际收益大幅缩减，某些情况下（例如我们的时序侧信道设定）甚至会主动降低性能。我们给出一个可证伪的假说，勾勒其对复合AI系统的设计启示，并将发布再分析流水线以支持复现。

当Skills帮不上忙时：进攻性网络安全中基于工具的智能体程序性知识的负面结果 — 图 1. 按条件划分的技能增益（高于无技能基线）。蓝色条：本研究在 15 项攻击性安全基准上的四个记录条件（ p = 0.71 p=0.71 、 χ 2 \chi^{2} ；p = 0.25 p=0.25 、Cochran-Armitage 趋势检验；六个成对 Cohen 的 h h 值中有五个低于 0.2 0.2 ）。绿色条：选定的 SkillsBench 领域增益供参考（Li 等人，2026）（HC = 医疗保健 + 51.9 +51.9 pp；MF = 制造业 + 41.9 +41.9 pp；Avg = 跨域平均值 + 16.2 +16.2 pp；SE = 软件工程 + 4.5 +4.5 pp）。我们的综合条件 (+ 8.9 +8.9 pp) 位于 SkillsBench 最低增益域的范围内，并且远低于跨域平均值，与反馈带宽假设（第 4 节）一致。比较技能增益高于无技能基线的百分比的条形图。显示了两组条形图：绿色条形代表选定的 SkillsBench 领域收益（医疗保健 +51.9 个百分点，制造 +41.9 个百分点，跨域平均 +16.2 个百分点，软件工程 +4.5 个百分点），蓝色条形代表本研究在 15 个挑战进攻性网络安全基准上的四个条件（体验 +4.4 个百分点，策划 +6.6 个百分点，综合 +8.9 个百分点）。蓝色条聚集在绿色参考条的低端，蓝色条件之间的所有差异在统计上都不显着。