论文
技能不是文档:LLM 代理技能路由的查询条件兼容性
Skill Is Not Document: Query-Conditioned Compatibility for LLM Agent Skill Routing
摘要
大语言模型 座席越来越依赖可重用的技能,使技能检索成为座席系统的关键前端组件。然而,技能检索不是普通的文档检索:有用的 top-$K$ 结果必须包含单独相关的技能,这些技能也形成当前查询的可执行集。现有的基准和训练流程在很大程度上监督成对相关性,并丢弃当语言模型判断采样的技能组合不可信时产生的拒绝决策。我们引入了 R3-Skill,一个中英基准测试,它将这些拒绝保留为查询条件兼容性监督。 R3-Skill 包含四个语言方向的 10,246 个重复数据删除技能、41,592 个接受的查询和 32,828 个拒绝的注释;所有多技能测试标签均由多位专家独立审核,15,962 个可解析拒绝被组织成八类分类法。我们进一步提出了一个两阶段系统,由 R3-Embedding(一种用于大池召回的多正双编码器)和 R3-Reranker(一种使用分级 ListNet 监督训练的交叉编码器)组成。我们的分析表明,该信号与阶段相关,有助于跨编码器重新排名,但对测试的双编码器目标没有任何好处。在 R3-Skill 上,完整管道实现了 $75.39\%$ Hit@1、$81.97\%$ NDCG@10 和 $33.27\%$ Set-Compat,相对于最强的重新排名基线增加了 $36.6\%$。它还在 SkillRet 上获得了 83.87\%$ NDCG@10,证明了超越 R3-Skill 的转移。