论文
SkillMOO:软件工程代理技能的多目标优化
SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering
摘要
代理技能越来越多地用于为软件工程 (SE) 任务配置 编码智能体,但当前实践将它们视为静态的、手工制作的资产,或仅根据通过率演变。这是不够的:一项技能可以提高任务成功率,同时大幅提高词元成本,或引入误导性指导。我们认为 SE 代理技能包可以被视为多目标搜索对象,并提出了 SkillMOO,这是一个通过 LLM 提出的编辑和 NSGA-II Pareto 选择对通过率和推理成本来演化技能包的框架。在所有 16 项 SkillsBench SE 任务中进行评估后,SkillMOO 在 12 项非零通过任务中的 11 项中取得了最高通过率排名,同时与静态捆绑包相比,成本降低了高达 31.7%,通过率提高了高达 21 个百分点。对 38 个技能编辑的分析表明,修剪和替换主导着成功的操作,为技能包设计提供了可行的原则。因此,当前在没有成本意识验证的情况下部署技能的做法使得更好的技能配置尚未探索,从而激发了新型成本意识、基于搜索的技能工程。