论文

ToolChoiceConfusion:面向可靠LLM智能体的因果最小工具过滤

ToolChoiceConfusion: Causal Minimal Tool Filtering for Reliable LLM Agents

智能体系统Agent 工具调用

摘要

大型语言模型代理越来越依赖外部工具,但较大的工具菜单可能会增加错误的工具调用、过早的操作和词元成本,从而降低可靠性和效率。现有的工具选择方法通常会优化语义相关性,公开名称或描述与用户请求匹配的工具。我们认为相关性是不够的:工具可能与任务相关,但在当前步骤中仍然是不必要的或不成熟的。我们提出因果最小工具过滤(CMTF),这是一种通过因果充分性选择工具的免训练方法。 CMTF 使用轻量级前置条件效应合约来仅公开从当前状态向用户目标前进所需的最小下一步工具前沿。在多步骤工具使用任务中,我们将 CMTF 与全工具暴露、关键字检索、状态感知过滤和因果路径消融进行比较,衡量任务成功、错误工具调用、过早行动、工具暴露和词元成本。在包含 102 个任务、100 个工具、4 个 LLM 后端和 2448 个任务方法模型运行的主要基准测试中,CMTF 在总体成功方面匹配最强的因果基线,同时将可见工具从每步 100 个减少到一个,并且相对于所有工具暴露,将词元使用量减少了约 90%。

ToolChoiceConfusion:面向可靠LLM智能体的因果最小工具过滤:论文配图
图 3:按过滤方法计算的任务成功率。 CMTF 匹配最强的因果基线,同时大大优于语义和状态感知过滤。