论文

SkillShapley:面向LLM智能体技能步骤归因的边界自适应Shapley估值

SkillShapley: Boundary-Adaptive Shapley Valuation for Skill Step Attribution in LLM Agents

智能体系统Agent任务评测Agent Skills

摘要

Agent skill是使语言智能体能够执行编码、文档处理等长程序化任务的关键外部指令。现有Agent skill主要通过人工编写或智能体执行轨迹创建,对每一步在特定任务上对整体技能表现的贡献理解有限;也就是说,量化Agent skill中单个步骤的贡献仍是一个未解问题。为解决该问题,我们首先将技能步骤归因建模为基于Shapley值的贡献估计问题,进而提出SkillShapley,一个面向Agent skill的步骤级归因框架。值得注意的是,受两个关键经验洞察驱动——离散化基准奖励造成陡峭的性能悬崖、步骤之间的交互基本是加性而非协同的——SkillShapley分两阶段运行:它先识别信息丰富的联盟区域,再自适应采样能够产生可复用边际证据的新联盟。在广泛使用的SkillsBench技能上的实验表明,我们的SkillShapley能够高效且有效地识别高价值或低价值的技能步骤,为Agent skill创建提供了若干关键启示。

SkillShapley:面向LLM智能体技能步骤归因的边界自适应Shapley估值:论文配图
图1:用于预算化技能步骤归因的 BAES 概览。左面板展示语义指令块如何定义技能变体并进入评估缓存。中面板展示预热阶段,该阶段在联盟规模上广泛采样。右面板展示自适应阶段,该阶段利用累积的缓存,在效应不确定、覆盖欠采样且缓存邻居较多的高优先区域附近选择下一个变体。