论文

智能体弃权:智能体知道何时该停而不是行动吗?

Agentic Abstention: Do Agents Know When to Stop Instead of Act?

智能体系统Agent任务评测

摘要

LLM智能体被期望跨多轮行动——使用搜索、浏览界面与终端工具完成用户目标。但并非每个目标都良构或在可用环境中可实现。此时——可靠的智能体应认识到进一步交互不太可能有帮助——并弃权不再调用工具。我们定义智能体弃权——决定智能体在不确定性下何时应停止行动的问题。不同于通常作为单轮答/不答决策评估的标准LLM弃权——智能体弃权是序列决策问题:智能体每轮可回答、弃权或收集更多信息——而弃权的需要可能只在与环境交互后才明朗。我们在网络购物、终端环境与问答上研究该问题——在超2.8万任务上评估13个LLM智能体系统与2个智能体脚手架。结果表明主要挑战不仅是智能体能否弃权——还有何时弃权。一些智能体在该弃权时从不弃权——另一些仅在多次不必要交互后才弃权。该缺口在“指令看似可行直至环境揭示并非如此”的任务上尤其大(如无有效结果匹配指令)。我们进一步发现模型规模、推理与智能体脚手架以不同方式影响弃权——更大或更有能力的模型有时在及时弃权上表现更差。最后——我们介绍CONVOLVE——改进智能体弃权的上下文工程方法——把完整交互轨迹蒸馏为可复用的停止规则。在WebShop上——CONVOLVE在不更新模型参数的情况下大幅改进及时弃权——把Llama-3.3-70B的及时召回率从26.7提升到57.4。数据集与代码见 https://lhannnn.github.io/agentic-abstention。

智能体弃权:智能体知道何时该停而不是行动吗?:论文配图
图 1:这是网络购物场景中基于环境的放弃示例,其中代理仅在与环境交互后才发现任务不可行。我们展示了三种轨迹:(i)及时成功:智能体在有足够信息的情况下尽早弃权;(ii)延迟成功:智能体最终在不必要的工具调用的几个步骤后正确弃权;(iii)弃权失败:智能体对剩余回合发出不必要的工具调用,并且在 10 回合预算内没有弃权。