FALAT：通过依赖引导搜索追踪LLM智能体轨迹中的失败

基于LLM的智能体越来越多地通过涉及推理步骤、工具调用和智能体间通信的长轨迹来解决复杂任务。然而，当这些智能体失败时，往往不清楚是哪个智能体导致了失败，以及哪一步引入了决定性错误。这一归因问题之所以困难，是因为错误会在轨迹中传播：后面的动作看似不正确，但只是因为它们依赖于先前已被破坏的状态。因此，失败归因不能被当作独立的步级分类问题来处理。我们提出FALAT，一个用于LLM智能体轨迹失败归因的诊断框架。FALAT将归因构建为一个依赖引导的搜索问题。它首先构建对任务应如何求解的预期，并利用该预期识别轨迹中的可疑区域。随后它追踪决策、工具输出和智能体消息之间的依赖关系，把引入错误的步骤与只是继承或传播先前错误的步骤区分开来。最后，FALAT评估修正候选步骤是否足以恢复预期结果，从而既能定位责任智能体，也能定位决定性失败步骤。我们在Who&When基准上评估FALAT，该基准同时包含算法生成和人工制作的多智能体失败轨迹。结果表明，FALAT在责任智能体和决定性步骤归因上均持续改进。其最佳配置在算法生成轨迹上取得46.0%的步级准确率，在更具挑战性的人工制作轨迹上取得29.1%，优于专门的归因基线和使用独立LLM的直接提示。这些发现表明，依赖感知推理对于LLM智能体系统的可靠失败诊断至关重要。