论文
汇总排行榜隐藏了特定系统的获胜者：离线根本原因分析基准的报告协议审核
Pooled Leaderboards Hide System-Specific Winners: A Reporting-Protocol Audit of Offline Root-Cause Analysis Benchmarks
摘要
离线根本原因分析 (RCA) 基准通常通过跨多个子系统的单个汇总的前 1 准确度对方法进行排名，工程师经常将汇总的获胜者视为对自己子系统的推荐。我们审核了三个公共 RCA 基准系列（OpenRCA、RCAEval 和 PetShop）的读数，涵盖 11 个子系统和 778 个匹配的评分单元。为了对相同案例进行成对比较，主要分析保留了四种完全覆盖的方法或比较器：BARO、CD-1min 适配器、max-$|Z|$ 和每个服务警报计数。所有六个成对比较都显示了两个符号的子系统级效应，每个随机效应 95\% 预测区间都穿过零，并且案例级交互测试拒绝 6 对中的 5 对的可交换性。留一系统选择在 11 个保留子系统中的最多 5 个上选择得分较低的方法，遗憾的是在 RCAEval / Sock-Shop 上达到了 24.8 pp。我们发布了320行审计模块；给定匹配的 RCA 基准分数表，它会重新计算相同的每个子系统稳定性检查以及汇总分数。