论文

MASPrism:使用预填充阶段信号的多代理系统的轻量级故障归因

MASPrism: Lightweight Failure Attribution for Multi-Agent Systems Using Prefill-Stage Signals

AI 基础设施可观测性

摘要

基于 LLM 的多代理系统中的故障归因旨在识别导致执行失败的步骤。这项任务仍然很困难,因为单次执行可能包含许多代理操作和工具调用,故障证据可能会在原始错误之后出现许多步骤,并且现有方法通常依赖于昂贵的代理工作流程、重放或对合成故障日志的训练。为了应对这些挑战,我们提出了 MASPrism,这是一个轻量级框架,它使用来自小语言模型 (SLM) 的预填充阶段信号执行故障归因。 MASPrism 首先在预填充过程中提取 词元级 负对数似然和注意力权重,以识别类似症状的步骤和早期候选源,而无需解码。然后,它会重建重点诊断提示并执行第二次预填充,以对候选故障源进行排名。使用 Qwen3-0.6B 作为 SLM,MASPrism 在 Who&When 和 TRAIL 的四个评估子集中的三个上实现了最佳性能,将 Who&When-HC 的 Top-1 准确度比最佳基线提高了 33.41%。在 TRAIL 上,MASPrism 的性能优于强大的专有 LLM(包括 Gemini-2.5-Pro),相对改进高达 89.50%。 MASPrism 平均在 2.66 秒内处理每个跟踪,与单遍提示基线相比,实现了 6.69$\times$ 加速,且输出标记为零。这些结果表明,MASPrism 为长多代理执行日志中的故障归因提供了有效且实用的框架。