SkillEval：将Agent技能质量分解为可解释信号

Agent技能提供可复用的程序性知识，帮助智能体解决专门任务。随着其使用不断扩大，评估技能质量愈发重要。现有评估通常通过测试技能能否提升特定下游任务表现来衡量技能质量。然而，可复用技能可能适用于多个任务场景，下游评估主要反映技能与被评估任务的兼容性，只提供技能质量的部分视图，且无法指出技能的哪个方面应予改进。我们发现SKILL.md文档的一般属性对技能质量有重要作用。为评估这些属性，我们提出SkillEval，一个可解释的文档级技能评估框架。SkillEval用固定且可检查的评分方向评估每项属性，产生可解释的分数；它还测量并降低无关文档特征（如长度和格式）的影响，使每个分数更精准地捕捉其目标语义属性。具体而言，SkillEval从受控正负技能对中，在模型隐藏表示空间学习每项质量属性的可解释方向，并通过将新技能的表示投影到这些固定方向上进行评分。我们在受控质量测试中用SkillEval评估技能，结果表明它能可靠区分不同质量的技能。此外，SkillEval分数与下游任务表现高度吻合，可作为技能能否帮助智能体完成任务的早期信号。我们进一步探索用SkillEval诊断技能文档的薄弱点并指导针对性修订，修订后的技能在目标属性上得到改善，并在下游任务上取得更高的通过率。