论文

技能价值多少?Agent技能的结构感知Shapley估值

What Is a Skill Worth? Structure-Aware Shapley Valuation of Agent Skills

模型评测智能体系统Agent Skills评测方法与指标

摘要

智能体技能正在通过自动化反馈循环进行优化,产生长结构化成果,其内部价值仍不清楚。我们研究技能评价:在固定智能体和任务分布下,为固定的技能单元(规则、示例、脚本和启发式)分配信用。技能评价不同于数据或提示范围的评价,因为技能单元是结构化的:它们可能依赖于其他单元,属于文档层次结构,触发智能体行为,并消耗有限的提示上下文。我们引入SkillSV,一种结构化Shapley风格框架,用于技能评价。SkillSV将技能编译成单位、依赖关系和层次结构,使只有有效的替代品技能才能被评估。它使用配对删除和长度无关填充来分离内容价值与上下文成本,并用噪声智能体评估结果中的抽样预算估计器来估算最终值。在四个智能体基准测试中,我们评估SkillSV的可信度、行动性及其解释:它恢复了单元间的交互,保留了整体技能提升,并引导安全剪枝和压缩。

技能价值多少?Agent技能的结构感知Shapley估值:论文配图
图 1:为什么固定估值会错误地评估座席技能,以及 SkillSV 如何解决这个问题。