论文
技能问题:从优化代码智能体的SKILLs仓库知识中获得的经验
Skill Issue: Lessons from Optimizing Repository SKILLs for Coding Agents
摘要
代码智能体越来越多地从SKILLs文件中获取仓库知识,这些文件是版本控制的纯文本.md文件。近期工作通过优化文档以匹配基准来自动综合这些文件。而一个空仓库没有基准,先前工作构建的合成任务规模较小,有能力的智能体在无文档情况下即可完成,从而无法体现效果。我们挖掘了更难的任务——仓库中被合并的拉取请求,但被在单一冻结基提交处撤销;并根据同一智能体在有文档和无文档情况下的表现差异来评分。在三个Kotlin仓库中,GEPA找到的文档平均使该评分提升4.9个百分点,而SkillOpt找到的文档评分保持不变,略高于初始值0.1个百分点。GEPA的提升效果与先前使用相同优化器的成果一致,且在单个仓库提供的数据规模下,该提升无法与智能体运行间的波动区分,要明确该效果需更多任务,而单个仓库的历史数据不足以提供如此多任务。这些文档本身内容更易读:一位仓库维护者表示,其中包含的洞见只有通过实际参与项目开发才能获得。