论文
SkillShapley:面向LLM智能体技能步骤归因的边界自适应Shapley估值
SkillShapley: Boundary-Adaptive Shapley Valuation for Skill Step Attribution in LLM Agents
摘要
Agent skill是使语言智能体能够执行编码、文档处理等长程序化任务的关键外部指令。现有Agent skill主要通过人工编写或智能体执行轨迹创建,对每一步在特定任务上对整体技能表现的贡献理解有限;也就是说,量化Agent skill中单个步骤的贡献仍是一个未解问题。为解决该问题,我们首先将技能步骤归因建模为基于Shapley值的贡献估计问题,进而提出SkillShapley,一个面向Agent skill的步骤级归因框架。值得注意的是,受两个关键经验洞察驱动——离散化基准奖励造成陡峭的性能悬崖、步骤之间的交互基本是加性而非协同的——SkillShapley分两阶段运行:它先识别信息丰富的联盟区域,再自适应采样能够产生可复用边际证据的新联盟。在广泛使用的SkillsBench技能上的实验表明,我们的SkillShapley能够高效且有效地识别高价值或低价值的技能步骤,为Agent skill创建提供了若干关键启示。
