超越故障定位：用于微服务根本原因分析的 LLM 代理的轨迹级研究

微服务自动根本原因分析 (RCA) 的现有评估主要通过端点正确性来评估诊断性能：方法是否本地化负责的服务。该标准可以进行比较，但不能揭示诊断的证据基础或将源与观察到的症状连接起来的故障传播路径，而现场可靠性工程师需要通过这两者来判断是否需要采取行动。因此，我们将 RCA 视为一个可观察的诊断过程。我们的轨迹级框架根据手动策划的服务级故障传播路径评估代理执行情况。它应用于公共微服务 RCA 基准，分析 3,500 个诊断轨迹，描述代理调查的位置以及他们如何使用检索到的遥测数据。我们发现答案正确性和诊断质量之间存在脱节：代理可能定位故障源但无法重建其传播。成功的调查停留在断层影响面上，根据检索到的证据采取行动，并随着搜索的深入而扩大查询范围。当决定性证据被遗漏、检索到的证据被误解或用不受支持的推论替代缺失的证据时，就会出现失败。我们将这种分类法实施为 DiagGuard，这是一种两阶段的纵深防御架构，其中在定位和验证之前对可用的观察结果进行基础调查，并根据这些观察结果审核诊断。在具有不同模型、基准测试和服务拓扑的独立环境中，DiagGuard 将 Acc@1 从 43.5% 提高到 52.5%。这些结果表明，轨迹级评估暴露了最终答案指标隐藏的局限性，并为改进自动化 RCA 提供了可行的指导。