论文

迷失在请求中:沟通变异如何破坏邮件智能体

Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents

智能体系统Agent任务评测

摘要

邮件助手不应仅因用户换个说法就少干活。但多数基准对每个任务只用一个标准请求测试,这类鲁棒性基本未被测量。我们检验在所请求信息、可用证据与预期结果不变、而沟通风格或英语变体改变时,邮件助手是否保持可靠。我们沿五个沟通风格轴与四个基于规则的方言条件构建经验证的变体,在三个基准上评估:RAG管道与两个工具使用Agentic 智能体。间接请求降低全部三个基准的性能,正式请求降低两个智能体基准的性能。细看系统发现这些失败成因不同:冗长请求主要损害词法检索器,使相关邮件更难找到;间接与方言变体即使检索到相关邮件仍持续有害。在智能体设定下,间接与正式请求主要导致智能体漏掉所需动作,而非采取更多无支撑动作。结果表明成功响应不足以确立鲁棒性:评估应变异请求的表达方式,并单独度量智能体是否完成了被请求的工作。