论文

代理工具检索的风险意识重排序

Risk-Aware Reranking for Agentic Tool Retrieval

智能体系统Agent 工具调用

摘要

工具检索确定哪些外部工具向 LLM 代理公开以执行用户查询或任务,从而使检索成为关键的预执行安全边界。与文档检索不同,工具检索公开了可执行的操作:对一项任务有用的工具可能对另一项任务来说是不必要的或有风险的。然而,现有的工具检索方法主要优化语义相关性,安全评估通常关注工具执行后的故障,而不是检索期间引入的风险。我们研究风险意识工具检索,其目标是检索有用的工具,同时减少接触高风险工具的风险。我们在冻结的第一阶段 检索器 之上提出了一个轻量级的重新排名框架。该框架分别对查询条件相关性和工具级暴露风险进行建模,通过控制安全性和实用性之间权衡的显式参数将它们组合起来,平滑 ToolGraph 上的分数,并可选择应用基于规则的安全约束。为了支持检索时安全评估,我们用五个顺序风险级别注释了 UltraTool 和 Seal-Tools 中的 6,108 个工具,并定义了衡量前 $k$ 结果中风险工具暴露程度的指标。 UltraTool 和 Seal-Tools 上的实验表明,我们的方法提高了相关性 - 相对于仅相关性 检索器 和重新排名基线的安全性权衡,规则过滤的变体为安全关键型部署提供了保守的操作点。这些发现表明,检索阶段过滤可以减少执行前向代理暴露的候选操作空间,补充下游工具使用保护措施。代码和补充材料可在以下网址获取:https://github.com/qli447/risk-aware-tool-retrieval-release。