用于会话 LLM 代理黑盒边界测试的挖掘工作流程图

当会话式 LLM 代理的内部工作流程失败时，例如在未确认的情况下完成交易，可能会造成现实世界的伤害。测试这些与状态相关的故障很困难，因为身份检查和确认门等关键边界隐藏在多轮对话先决条件后面，导致标准测试无法访问它们。我们推出了 AgentEval，这是一个黑盒测试框架，可以发现并强调这些状态边界。 AgentEval 与代理交互以挖掘 \emph{会话工作流程图}，即其行为模型。 AgentEval 不是盲目提示，而是使用此图的结构来枚举特定的防护和先决条件作为测试目标，在应用扰动之前重放到边界的对话路径。然后 AgentEval 执行每个测试，仅使用对话轮次来确定它是通过还是失败。我们将 AgentEval 与具有特权的白盒审核员进行基准测试，该审核员可以访问代理的底层源代码，而 AgentEval 永远不会看到这些源代码。在四个 $τ^3$ 替补代理上，AgentEval 成功生成了覆盖每个代理 $23$-$38$ 不同边界的测试；消融研究将收益归因于图表的结构：明显的边界为 23个，而仅提示基线为 12个，重复率和误报率较低。