论文

超越仅按任务匹配:结合反事实评估的个性化技能路由

Beyond Task-Only Matching: Personalized Skill Routing with Counterfactual Evaluation

智能体系统Agent 工具调用Agent Skills

摘要

可重用技能存储库的快速扩展使得技能路由成为大语言模型 (LLM) 代理的关键功能。现有方法将路由视为仅任务语义匹配。然而,当具有不兼容约束的用户发出相同的请求时,这种假设将任务相关性与技能适用性混为一谈:仅任务路由器可以选择不适合请求用户的语义上合理的技能。为了揭示这种失败模式,我们将 \textit{个性化技能路由} 制定为配置文件条件检索,其中相关性共同取决于任务和用户配置文件。我们首先引入一个配置文件反事实基准,其中任务保持固定,而用户配置文件的变化会导致参考技能的变化。我们进一步构建了配对反事实监督,并提出了 SkillFeed,这是一种渐进式检索和重新排序框架,首先建立任务技能对齐,然后学习配置文件条件歧视。通过检索身体层面的证据并对语义相似但配置文件冲突的候选者进行重新排名,SkillFeed 可以识别满足任务要求和用户限制的技能。在 SkillFeed-Bench 上,SkillFeed 获得了 75.1% 的 top-1 检索准确率,比相应的预训练路由基线提高了 23.1 点。添加配置文件调节可以使用户配置文件更改参考技能的查询提高 35.1 点。这种对比表明,当用户配置文件改变技能适用性时,其影响最为重大。我们的网站可公开访问:http://www.aiskillfeed.com。

超越仅按任务匹配:结合反事实评估的个性化技能路由:论文配图
图1:个人化技能建议的积极性实例。同一任务“计划上海之旅”, 被送往学生的预算旅行计划员和商务旅行者奢侈的旅行计划员。目标技能随用户配置的变化而变化。