基于洞察进行诊断：通过行为抽象结构化分析智能体失败

随着LLM智能体的激增，理解和诊断智能体故障的能力对于实现卓越的有效性和可信度至关重要。由于代理故障通常通过漫长而复杂的轨迹表现出来，手动大海捞针是站不住脚的。然而，传统的软件缺陷诊断技术很难解决LLM代理故障，而完全依赖LLM进行判断，诊断结果并不可靠。为了克服这些挑战，本文提出了 AGENTSCOPE，一种用于代理故障模式诊断的新神经符号方法。 AGENTSCOPE 的关键原则是根据代理行为的轨迹将其行为抽象为结构化表示。此外，AGENTSCOPE 引入了神经不变量的概念来指定代理行为属性。 AGENTSCOPE 利用 LLM 引导的推理来对抗神经不变量的结构化表示，以查明故障步骤及其在轨迹中的类型。我们展示了 AGENTSCOPE 在公开可用的代理故障数据集 (Who&When) 和我们创建的更全面的数据集 (AgentErrata) 上的有效性，其中 AGENTSCOPE 在故障定位和归因准确性方面显着优于当前最先进的技术。我们的工作表明，将结构化抽象与LLM指导推理相结合，可以对代理故障进行有效、可靠且可解释的诊断。