论文
分数不是决定:LLM 代理中工具获取的成本感知停止
Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents
摘要
随着 LLM 代理越来越依赖于各种外部服务,例如搜索引擎、数据库和连接器,代理工具面临着基本的工具选择挑战:获取的工具太少会导致任务信息不足,而太多的工具会增加成本、上下文负载和隐私暴露。路由器和 检索器 可以按相关性对候选工具进行排名,但仅排名并不能确定有多少值得选择。现有方法未解决异构成本下的采购问题。我们将此决策制定为基于排名工具前缀的成本感知边际决策集中停止(CAM-DF),其中 CAM-DF-lite 作为紧凑的可解释变体。我们直接在现在停止和最佳继续之间的离线差距上进行训练:它的符号标记了决策,它的大小通过所涉风险的回报对每个错误进行加权。我们证明这个目标与停止目标是贝叶斯对齐的,并且仅评分规则在异构成本下不是最优的。我们评估了五个工具使用领域的 1,343 项任务。在 $τ$ 基准零售中,CAM-DF 在可部署方法中获得了最高的回报,在所有五个排名源和两个成本体系中,其收益都超过了预测阈值基线。我们的方法在异构成本和高成本压力下是最先进的,在排名较弱的情况下收益更大。在实时执行中,CAM-DF 为代理提供的工具比完全访问少了 37%,同时保持了相当的任务成功率。 CAM-DF 系列是一款轻量级预执行插件,可将现有工具排名转变为低成本采购决策,而无需 微调 底层 LLM。