论文
根因分析在真实遥测数据上能走多远
How Far Can Root Cause Analysis Go on Real-World Telemetry Data?
摘要
在生产微服务故障中识别根因需要对横跨指标、日志与追踪的大规模多模态遥测推理——一个对经典方法与基于LLM的方法都已证明棘手的问题。OpenRCA数据集集中体现这些挑战:大规模、多模态、缺乏详细领域知识,且所有既有方法在其上准确率持续偏低。我们证明经典因果发现方法与既有基于LLM的多智能体系统在该基准上都无法可靠识别根因,并提出结构化多智能体RCA管线:大幅超越既有LLM与经典基线,同时支持领域知识与无知识两种运行模式。为诊断失败源自何处,我们引入反向推理智能体:给定正确答案,识别抽取异常中的哪些信号支撑它、并判定阶段1是否能接触到这些信号——把每个失败分类为推理鸿沟(证据在但未用)或数据歧义(证据确实缺失)。该分析揭示:绝大多数失败中所需证据是存在的——瓶颈不在数据访问,而在智能体正确推理它的能力。我们进一步引入自动规则挖掘管线:系统性地从反向推理报告抽取判别规则,降低对人工知识整理的依赖。跨全部配置:模型推理能力与领域知识是主要约束——更强模型内嵌更多领域专长,显式知识注入可部分补偿。即使证据抽取完美,推理表现仍有实际上限:脚手架工程与更好的数据管线无法弥合该差距;进展需要模型层面的改进。
