智能体技能演变：修订如何影响编码智能体

智能体技能，即告诉LLM编码智能体项目如何工作的 SKILL.md 文件，像代码一样进行修订，但修订对智能体的作用尚不清楚。从 3,159 个技能的 2,608 个第一/最后修订对中，我们描述了技能如何演变以及它们如何与智能体的Harness的配置一起变化。然后，我们专注于规则更改，即添加或删除我们可以自动检查的规则的修订，例如“运行 allium check”。我们测量了它们对单一答案中的 21 个模型和沙箱中的四个智能体的影响，以及它们对其中 20 个模型和四个智能体的成本。大多数修订 (55%) 会更改规则或过程，并且修改技能更改Harness文件（例如 CLAUDE.md）的提交比相同大小的其他提交更频繁。在 16 个开放权重模型中，添加的规则将单个答案的合规性平均提高了 +0.41。在四个智能体中，智能体采取所需行动的比率平均上升了+0.23（+0.16至+0.36），而对于盲评员评估的三个智能体来说，最终正确率平均上升了+0.10（+0.06至+0.14）。增益主要来自旧技能未提及的命名命令或路径的规则。只有当智能体决定需要它时，真正的工具才会加载技能的主体。在这种设置下，四个智能体平均保持约一半的动作增益 (51%)，三个开放模型约为 38%。修订版将 18-19% 的token输入添加到单个答案中，并且智能体回合没有可检测到的成本，而加载技能的主体会将回合的token平均提高 50%。