根本原因分析失败的地方：检索重新排序分解

摘要

识别数百个传感器中异常的根本原因对于防止复杂监控系统中的安全事故和代价高昂的停机至关重要。现有研究使用 top@k 准确度评估根本原因分析 (RCA) 方法。我们证明这个指标有一个根本性的盲点：它混淆了两种失败模式：检索失败（从未考虑真正原因）和重新排序失败（考虑了但排名太低）。在这项工作中，我们引入了检索重排序分解并审核了四个著名的基准来揭露这个盲点。我们的实验表明，在具有复杂故障的基准上，统计基线在 79-100% 的情况下对真正原因进行了错误排序，并且基于图的方法从未明显击败最佳统计基线，无论其因果图是在短故障窗口上、在检索到的保证包含原因的候选池上还是在多日正常操作数据上学习的。同时，在简单的基准测试中，错误在其根源上表现得很明显，检索几乎已解决（98-100%）。在分解的指导下，我们构建了一个两阶段管道，将多信号检索器与 LLM 重新排序器相结合，作为一种固定配置，匹配或超过所有六个基准套件上最佳基线的 top@1 精度（最多 +12 分），无需因果图或标记数据。当所有方法对相同的检索到的候选对象进行排序并保证存在真实原因时，添加简短的系统描述文档可以让重新排序器在每个基准测试中领先最佳基线 +7 到 +18 分。代码可在 https://github.com/cruiseresearchgroup/DecompRCA. 获取