论文

SkillApt:从成对执行证据中学习是否启用智能体技能

SkillApt: Learning When to Activate Agent Skills from Counterfactual Evidence

智能体系统Agent Skills

摘要

大型语言模型代理越来越多地检索可重用的技能并将其注入活动上下文中。然而,检索到的技能在当前执行状态下可能是相关的,但却是不必要的、成本高昂的,甚至是有害的。我们提出了 SkillApt,一个检索后激活框架,用于决定是否应该实际加载检索到的技能。 SkillApt 从匹配的WITH/WITHOUT 运行中构建执行证据,并使用类似历史状态的结果为每个候选技能做出加载/放弃决策。在冻结确认性 SRA-Bench 评估中,SkillApt-E 实现了与 BM25 Top-1 相同的观测准确度(0.838 vs. 0.838),同时将技能激活率从 100% 降低到 31.5%,平均词元使用率降低 74.3%。进一步的诊断表明,技能效用及其激活边界的可学习性在不同的基础模型中有所不同。这些结果表明,技能检索和技能激活应被视为单独的决策:检索确定哪些技能可能相关,而 SkillApt 确定在当前状态下是否值得使用它。