未遂事件：代理工作流程中的潜在策略故障检测

业务流程自动化的代理系统通常需要遵守管理系统状态有条件更新的策略。基于 LLM 的代理工作流程中策略遵守情况的评估通常是通过将最终系统状态与预定义的 真值 进行比较来执行的。虽然这种方法可以检测到明确的策略违规，但它可能会忽略一类更微妙的问题，即代理绕过所需的策略检查，但由于有利的情况而达到正确的结果。我们将此类情况称为“未遂事件”或“潜在故障”。在这项工作中，我们引入了一种新颖的指标，用于检测代理对话跟踪中潜在的策略失败。我们的方法以 ToolGuard 框架为基础，将自然语言策略转换为可执行的保护代码，分析代理轨迹，以确定代理的工具调用决策是否充分知情。我们通过多个当代开放和专有的 LLM 作为代理，根据 $τ^2$ 验证的航空公司基准评估我们的方法。我们的结果表明，即使最终结果与预期的 真值 状态匹配，8-17% 的涉及变异工具调用的轨迹中也会出现潜在故障。这些发现揭示了当前评估方法中的盲点，并强调需要不仅评估最终结果，而且还评估导致最终结果的决策过程的指标。