论文
Skill2Query:利用技能结构生成用于代理技能检索的伪查询
Skill2Query: Exploiting Skill Structure to Generate Pseudo-Queries for Agent Skill Retrieval
摘要
伪查询生成可以缓解代理技能检索的监督瓶颈,但现有的文档级方法通常隐含了功能、参数和使用示例之间丰富的内部关系。因此,生成的查询可能与技能主题相关,但缺乏能力基础和参数一致性,这就提出了明确利用技能文档的内部结构是否可以产生更有效的检索信号的问题。因此,我们提出了 Skill2Query,这个框架首先将技能文档解析为技能知识图,然后通过风格模仿、查询模板生成和参数填充三个阶段的过程生成伪查询。生成的查询可用于离线索引扩充、在线查询扩展和 检索器 训练。四个基准(TheoremQA、LogicBench、ToolQA 和 CHAMP)用于评估具有跨多个下游应用程序的大规模技能候选池的 Skill2Query,包括技能检索、检索器 训练和端到端代理执行。使用跨不同领域的近 30K 技能,我们生成了 700K 类别多样化的伪查询。 Skill2Query 持续改进稀疏、密集和技能路由检索,在检索设置中,Recall@1 平均增益为 6.70 个百分点。 Skill2Query 生成的训练数据在评估的生成基线中也实现了最佳 Recall@1 和 nDCG@1。对多个 LLM 后端的进一步评估表明,改进的技能检索可以转化为更高的座席任务成功率。代码和资源可在 https://github.com/MatZaharia/Skill2Query 获取。