聚合排行榜隐藏系统特定获胜者：离线根因分析基准的报告协议审计

# 报告协议审计：离线根因分析基准测试中的池化排行榜隐藏了特定系统的优胜者  
来源：https://arxiv.org/html/2606.29159  

## 池化排行榜隐藏了特定系统的优胜者：离线根因分析基准测试的报告协议审计  

林虎  刘婷  付玉卓  
电子信息与电气工程学院  
上海交通大学  
上海，中国  
{ring.hu, louisa_liu, yzfu}@sjtu.edu.cn  

###### 摘要  

离线根因分析（RCA）基准测试通常通过跨多个子系统的单一池化 top-1 准确率来对方法进行排名，工程师们往往将池化胜者视为适用于自身子系统的推荐方案。我们对这一解读在三组公开的 RCA 基准测试系列——OpenRCA、RCAEval 和 PetShop——上进行了审计，涵盖 11 个子系统和 778 个匹配的评分单元。为了在相同案例上保持成对比较，主分析保留了四种具有完整覆盖范围的方法或比较器：BARO、一个 CD-1min 适配器、max-|Z| 以及每服务告警计数。所有六组成对比较均显示出双向的子系统级效应，每个随机效应 95% 预测区间均包含零，并且案例级交互检验在 6 对中有 5 对拒绝了可交换性。留一系统外选择在最多 5 个（共 11 个）保留子系统上选择了得分较低的方法，在 RCAEval / Sock-Shop 上的遗憾值达到 24.8 个百分点。我们发布了一个 320 行的审计模块；给定一个匹配的 RCA 基准测试得分表，它会在池化得分之外重新计算相同的每子系统稳定性检查。  

## 1 引言  

参照图 1：池化排行榜可能隐藏子系统级排名。左图：所有 11 个审计子系统（778 个案例）上两个以 BARO 为中心的成对比较的池化 top-1 准确率。右图：相同比较按子系统分解，显示成对效应 Δs（以百分点 acc@1 表示，方向为 BARO 减去比较器）。两个比较在子系统间均出现符号反转：BARO 在池化上输给 max-|Z|，但在 Bank、High-Traffic 和 Online-Boutique 上得分更高；BARO 在池化上赢过告警计数，但在 Market-1、Telecom、Sock-Shop 和 Train-Ticket 上得分更低。两组反转集不相交，因此每子系统的不一致不能由一组固定的困难系统来解释。  

当离线 RCA 基准测试报告方法 A 优于方法 B 时，这一结论适用于哪个单元？大多数公开的根因分析基准测试用一个池化的 top-1 准确率来回答：来自多个子系统的所有案例被平均为一个数字，方法按此数字排名。然而，同一个数字常被用作推荐：池化胜者成为同一基准测试系列中特定子系统的默认选择。这种使用方式造成了估计目标的不匹配。RCA 方法的选择发生在子系统层面：工程师想知道某个方法是否适用于他们的服务图、遥测模式以及故障分布。池化得分回答的是一个不同的问题：该方法在整个套件上的平均表现如何？只有当方法差异在子系统间稳定时，这两个问题才会给出相同的答案。当方法差异因子系统而异时，池化得分仍然是正确的套件平均值——但它不再能告诉工程师应该为某个子系统选择哪种方法。  

我们在三个公开的离线 RCA 基准测试系列上审计了这一不匹配：OpenRCA（Xu 等人，2025（https://arxiv.org/html/2606.29159#bib.bib27））、RCAEval（Pham 等人，2025（https://arxiv.org/html/2606.29159#bib.bib19））和 PetShop（Hardt 等人，2024（https://arxiv.org/html/2606.29159#bib.bib8）），覆盖 11 个子系统和 778 个匹配的评分单元。我们应用了全覆盖包含标准：只有当某个方法在所有 778 个案例上都产生得分时，它才进入比较集。这防止了成对结论因不同方法间的缺失案例模式不同而受到影响。四种方法或比较器满足此条件：已发表的方法 BARO（Pham 等人，2024a（https://arxiv.org/html/2606.29159#bib.bib17））；一个基于我们的 OpenRCA 流水线构建的确定性 CD-1min 跨基准适配器；以及两个简单的跨基准比较器（max-|Z| 和每服务告警计数），我们在第 4.1 节（https://arxiv.org/html/2606.29159#S4.SS1）中定义。CIRCA（Li 等人，2022（https://arxiv.org/html/2606.29159#bib.bib13））和一个内部因果引导的 OpenRCA 适配器不满足此条件；我们将其保留为附录诊断。  

图 1（https://arxiv.org/html/2606.29159#S1.F1）展示了两个以 BARO 为中心的成对比较中的问题。与 max-|Z| 相比，池化的留一系统外选择在 11 个保留子系统中的 3 个上选择了得分较低的方法。与告警计数相比，它在 11 个保留子系统中的另外 4 个上选择了得分较低的方法。两组反转集不相交。如果一组固定的困难系统导致了反转，那么相同的子系统名称会重复出现。相反，失败的推荐会随着方法对的变化而改变，而池化将这种依赖性平滑为一个单一数字。更广泛的比较集也并不更稳定。所有六种方法对在子系统间都出现了符号反转，每个随机效应 95% 预测区间都包含零。留一系统外选择给出了相应的选择代价，在 RCAEval/Sock-Shop 上的遗憾值达到 24.8 个百分点。案例级交互检验在 6 对中有 5 对拒绝了可交换性。  

本文为离线 RCA 基准测试发布贡献了一个小型报告审计。从匹配的每案例得分开始，它报告了成对的子系统效应、随机效应异质性、预测区间和留一系统外选择遗憾。已发布的 320 行实现可将审计应用于任意匹配的得分表；这里我们将其用于三个公开的基准测试发布。本文其余部分围绕该审计组织：第 2 节（https://arxiv.org/html/2606.29159#S2）和第 3 节（https://arxiv.org/html/2606.29159#S3）定义背景和范围，第 4 节（https://arxiv.org/html/2606.29159#S4）给出协议，第 5 节（https://arxiv.org/html/2606.29159#S5）报告证据，第 6 节（https://arxiv.org/html/2606.29159#S6）阐述限制和建议。  

## 2 相关工作  

#### 机器学习中的基准有效性及排行榜不稳定性。  
先前的机器学习评估工作记录了池化评分协议如何隐藏特定条件的行为：NLU 基准得分的表面启发式匹配（Bowman and Dahl, 2021（https://arxiv.org/html/2606.29159#bib.bib2））、多任务套件中池化准确率无法体现的任务条件结构（Srivastava et al., 2023（https://arxiv.org/html/2606.29159#bib.bib24）；Ribeiro et al., 2020（https://arxiv.org/html/2606.29159#bib.bib20））、基准选择本身导致方法排名翻转（Dehghani et al., 2021（https://arxiv.org/html/2606.29159#bib.bib5）），以及更广泛的单数字排行榜批评（Liang et al., 2023（https://arxiv.org/html/2606.29159#bib.bib14）；Bender and Koller, 2020（https://arxiv.org/html/2606.29159#bib.bib1））。我们的审计将相同的视角应用于离线 RCA 基准测试，其中的条件单元是微服务子系统。  

#### 离线基准测试上的根因分析方法。  
BARO（Pham et al., 2024a（https://arxiv.org/html/2606.29159#bib.bib17））是一种基于 KPI 指标的多变量贝叶斯在线变化点检测的统计 RCA 方法；CIRCA（Li et al., 2022（https://arxiv.org/html/2606.29159#bib.bib13））是一种基于因果图的 RCA 方法。RCAEval（Pham et al., 2025（https://arxiv.org/html/2606.29159#bib.bib19））将八种端到端方法（MicroCause、DyCause、RCD、CausIL、ε-Diagnosis 等）打包到一个统一的评估 API 下；OpenRCA（Xu et al., 2025（https://arxiv.org/html/2606.29159#bib.bib27））为 LLM-agent RCA 系统提供了一个带有部分信用准确率的评估套件；PetShop（Hardt et al., 2024（https://arxiv.org/html/2606.29159#bib.bib8））发布了四种流量模式的微服务场景。这些发布使得离线 RCA 评估越来越标准化，但其标题报告通常仍然是跨系统池化的。我们的审计针对的是报告层面，而不是算法本身。闭环智能体基准测试（Chen et al., 2025（https://arxiv.org/html/2606.29159#bib.bib3）；Jha et al., 2025（https://arxiv.org/html/2606.29159#bib.bib11）；Wang et al., 2026（https://arxiv.org/html/2606.29159#bib.bib26）；Zheng et al., 2024（https://arxiv.org/html/2606.29159#bib.bib28））不在我们的范围内；第 3 节（https://arxiv.org/html/2606.29159#S3）指定了边界。  

#### 与近期基准难度审计的区别。  
最近的独立工作由 Fang 等人（2026（https://arxiv.org/html/2606.29159#bib.bib7））进行，他们使用 SimpleRCA（一种基于规则的多模态启发式方法）审计了 RCA 基准难度，该方法在多个基准测试上接近报告的最先进分数，并推动了更难的 Train-Ticket 发布。我们的审计问的是另一个问题：在基准难度固定的情况下，跨子系统的池化报告是否支持子系统级的方法选择？这两种补救措施是独立的——他们的案例中更难的基准测试，我们的案例中带异质性诊断的每子系统报告。相邻的批评检查了智能体故障模式（Kim et al., 2026（https://arxiv.org/html/2606.29159#bib.bib12）；Riddell et al., 2026（https://arxiv.org/html/2606.29159#bib.bib21））或一般评估方法论（Pham et al., 2024b（https://arxiv.org/html/2606.29159#bib.bib18））。  

#### 随机效应元分析方法论。  
我们使用标准方法：Cochran 的 Q 检验同质性（Cochran, 1954（https://arxiv.org/html/2606.29159#bib.bib4））、DerSimonian-Laird 随机效应估计量（DerSimonian and Laird, 1986（https://arxiv.org/html/2606.29159#bib.bib6））、Paule-Mandel 迭代 τ² 估计量（Paule and Mandel, 1982（https://arxiv.org/html/2606.29159#bib.bib16））、Hartung-Knapp 和 Sidik-Jonkman 小样本 CI 修正（Hartung and Knapp, 2001（https://arxiv.org/html/2606.29159#bib.bib9）；Sidik and Jonkman, 2005（https://arxiv.org/html/2606.29159#bib.bib22）, 2006（https://arxiv.org/html/2606.29159#bib.bib23）），以及 IntHout-Higgins-Rothstein 95% 预测区间（IntHout et al., 2016（https://arxiv.org/html/2606.29159#bib.bib10））；案例级分析使用 Papke-Wooldridge 分数对数回归（Papke and Wooldridge, 1996（https://arxiv.org/html/2606.29159#bib.bib15））来处理二项式 GLM 下的 OpenRCA 部分信用评分。Paule-Mandel + HKSJ + IntHout 组合设计用于在 k<25 时表现保守，这与我们的 k=11（Viechtbauer, 2010（https://arxiv.org/html/2606.29159#bib.bib25））相匹配。我们将这些工具用作离线 RCA 基准有效性的报告诊断。  

## 3 基准测试格局与审计范围  

公开的 RCA 基准测试在评估框架、故障注入协议和评分约定方面存在很大差异。我们的审计针对那些子系统级成对效应可识别的子集。该协议要求**跨方法的匹配每案例评分**：同一故障案例，在同一子系统内，针对同一真实根因，必须在每种审计方法下产生可比较的得分，以便每系统成对效应 Δs 定义良好（第 4 节（https://arxiv.org/html/2606.29159#S4））。这一要求将公开的 RCA 基准测试格局分为四种评估模式，其中只有一种满足本次审计的要求：  

1. (a) 标准化离线基准测试，具有跨方法的匹配案例评分：OpenRCA、RCAEval、PetShop。  
2. (b) 广泛重复使用为基准测试的临时单系统测试平台，但在任何标准化框架之外评估：Sock-Shop、Online-Boutique、Train-Ticket（Zhou et al., 2019（https://arxiv.org/html/2606.29159#bib.bib29））。  
3. (c) AIOps-Challenge 系列，具有年度特定协议：CCF-AIOps{2020,2021,2022,2025}。  
4. (d) 闭环智能体基准测试，其中被测系统反复与模拟故障互动：AIOpsLab（Chen et al., 2025（https://arxiv.org/html/2606.29159#bib.bib3））、ITBench（Jha et al., 2025（https://arxiv.org/html/2606.29159#bib.bib11））、Cloud-OpsBench（Wang et al., 2026（https://arxiv.org/html/2606.29159#bib.bib26））、LEMMA-RCA（Zheng et al., 2024（https://arxiv.org/html/2606.29159#bib.bib28））。  

我们的审计仅覆盖模式 (a)，因为成对效应估计量需要跨方法的匹配每案例评分。模式 (b) 缺乏标准化框架，因此每系统效应估计无法在不同发布之间直接比较；模式 (c) 和 (d) 不提供跨方法的匹配每案例评分。因此，本文中的声明仅适用于其当前公开发布下的模式 (a) 基准测试；闭环智能体设置、临时部署以及没有匹配方法输出的 RCA 基准测试不在范围内。  

审计的 11 个子系统包括：OpenRCA × 4（Bank、Market-1、Market-2、Telecom）、RCAEval × 3（Online-Boutique、Sock-Shop、Train-Ticket）以及 PetShop × 4（High-Traffic、Low-Traffic、Temporal-1、Temporal-2），总共 778 个跨方法的匹配评分单元。  

### 4.1 方法与比较器  

审计比较了 BARO、CD-1min、max-|Z| 和 alert-count。BARO 是已发表的 RCA 方法，CD-1min 是基于我们 OpenRCA 流水线构建的确定性适配器。另外两种是模式无关的启发式方法，用于压力测试报告协议。它们不是作为新的 RCA 算法提出的；它们问的是：当将已发表的方法与简单的、未经调整的每案例规则进行比较时，池化排行榜是否仍然稳定。四种方法的定义如下。  

**BARO。**  
BARO（Pham et al., 2024a（https://arxiv.org/html/2606.29159#bib.bib17））是一种用于 KPI 指标的多变量贝叶斯在线变化点方法。我们使用 BARO 作者提供的参考实现，该实现与 RCAEval 打包在一起（Pham et al., 2025（https://arxiv.org/html/2606.29159#bib.bib19））。  

**CD-1min 适配器。**  
CD-1min 是一个确定性的每案例预测器，我们构建于 OpenRCA 流水线之上。它在重采样为 1 分钟分辨率的遥测数据上运行：对于每个故障案例，它计算案例窗口内每个指标的 z 分数，保留那些注入后百分比变化和 |Z| 均超过固定阈值的指标，并根据指标中最大的百分比变化对服务进行排名。跨基准版本将相同的规则应用于 RCAEval 和 PetShop，无需逐基准调整。CD-1min 作为全覆盖适配器进入比较集；阈值和标签敏感性检查在附录 J（https://arxiv.org/html/2606.29159#A10）中报告。  

**跨基准 max-|Z|。**  
对于子系统 s 上的每个故障案例，预测器使用注入前间隔 [0, t₀) 作为基线计算每指标 z 分数 Z_{s,j,t}，然后在注入后窗口 [t₀, t₁] 上选择达到 argmax_j max_{t∈[t₀,t₁]} |Z_{s,j,t}| 的指标，并将该指标映射到服务标识符。没有调整，没有训练或验证分割，也没有逐基准超参数；指标到服务的映射是所有审计方法共享的预处理步骤。  

**每服务告警计数。**  
对于子系统 s 上的每个故障案例，预测器标记每个注入后 |Z| 超过 3 的指标 j，即 a_{s,j} = 1{max_{t∈[t₀,t₁]} |Z_{s,j,t}| > 3}。每服务告警计数为 A_S = Σ_{j∈S} a_{s,j}，预测服务为 argmax_S A_S，若存在并列则按服务名称字母顺序打破。|Z| > 3 的阈值是惯例。