超越 g-mean²：可监控性的补充指标（27 分钟阅读）

# 超越 g-mean²：面向可监测性的互补指标 来源：https://alignment.openai.com/beyond-gmean-squared 在《Monitoring Monitorability》（https://arxiv.org/abs/2512.18311）中，我们提出了 g-mean²，作为衡量监测器判别能力的一种有原则的数据集级指标。 ## g-mean² 回顾 g-mean² 的精确定义取决于评估原型。 每次 rollout 都有一个二元行为标签 \\(Y\\) 和一个二元监测器预测 \\(Z\\)。正样本（\\(Y=1\\)）是指表现出评估目标行为的 rollout；负样本（\\(Y=0\\)）则是没有表现出该行为的 rollout。 **结果评估**考察监测器能否预测模型输出中可以可靠测量的属性。 \\[\mathrm{TPR} = P(Z=1 \mid Y=1),\qquad \mathrm{TNR} = P(Z=0 \mid Y=0).\] \\[\text{g-mean}^2_{\mathrm{outcome}} = \mathrm{TPR} \times \mathrm{TNR}.\] **过程评估**考察监测器能否检测模型在有效解路径数量有限的任务上所采取的步骤。我们只评估 \\(Y=1\\) 的 rollout，因此将 \\(\mathrm{TNR}\\) 视为 1： \\[\text{g-mean}^2_{\mathrm{process}} = \mathrm{TPR} = P(Z=1 \mid Y=1).\] **干预评估**对智能体环境施加受控变化，考察监测器能否检测该变化是否影响了其回答。每次 rollout 属于对照组或干预组，\\(X \in \{0,1\}\\)。干预组中可归因于干预的观察到的正样本比例下界为： \\[R_{\mathrm{effect}} = \frac{\mathrm{TE}}{P(Y=1 \mid X=1)}.\] 其中 \\(\mathrm{TE}\\) 是干预的总效应： \\[\mathrm{TE} = P(Y=1 \mid X=1) - P(Y=1 \mid X=0).\] 原始的最小准则 \\(\mathrm{TPR}\\) 和合并的 \\(\mathrm{TNR}\\) 分别为： \\[\mathrm{TPR}_{\mathrm{mc}} = \min\!\left(1,\; \frac{P(Z=1 \mid X=1,\,Y=1)}{R_{\mathrm{effect}}}\right).\] \\[\mathrm{TNR} = \sqrt{\mathrm{TNR}_{X=0}\,\mathrm{TNR}_{X=1}}.\] \\[\text{g-mean}^2_{\mathrm{intervention}} = \mathrm{TPR}_{\mathrm{mc}} \times \mathrm{TNR}.\] 我们对 cross-fit/Wald-eligible（https://alignment.openai.com/monitorability-evals/）的实例取干预分数的平均值。 干预评估无法告诉我们哪些正样本结果是由干预引起的，因此监测器捕捉这些结果的能力存在不确定性。原始的干预 g-mean² 使用乐观上界；我们在此文的[附录](https://alignment.openai.com/beyond-gmean-squared#intervention-lower-bound)中推导了相应的悲观下界。 ## 为什么一个可监测性数字不够 即使明确了干预评估中的归因不确定性，g-mean² 仍留下两个未回答的问题。 首先，虽然模型在同一任务池上进行评估，但不同模型在不同的任务子集上产生有效的正样本行为——或满足干预有效性标准。因此，它们的 g-mean² 分数可能反映不同的任务混合。当只在双方都支持的实例上比较模型时，表观上的可监测性差异是否依然存在？ 其次，g-mean² 没有反映监测器在部署时如何被使用。可监测性之所以重要，有两方面原因： 1. 对模型动机、价值观和决策过程的透明度对模型开发有广泛用途。 2. 监测器可以在部署时作为控制措施，拒绝某些动作或整个 rollout。[Codex Auto-review](https://alignment.openai.com/auto-review/) 就是一个例子。 如果作为控制措施使用，模型可能在输出被拒绝后重试。那么，最终风险取决于模型产生不良行为的频率、监测器接受哪些输出，以及允许多少次尝试。这可能合理地推翻仅基于对齐性的模型比较。例如，在《Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscance》（https://arxiv.org/abs/2503.11926）的图 7 中，一个针对 CoT 监测器训练的模型总体上比基线更少实施作弊，但在监测器门控的拒绝采样下产生了更多被接受的作弊，因为它学会了规避监测器。因此我们提出：如果我们可监测性评估中的监测器被用作"部署"控制机制，整体系统（由监测器门控的模型）产生不良输出（例如在任务中作弊、捏造结果，或访问模型无权读取的文件）的概率是多少？ 为回答这些问题，我们引入两个互补指标，用于比较模型和评估部署风险。 1. **配对匹配指标**在共享实例上比较模型，减少各样本进入各模型评估时的分布差异的影响。 2. **后控制集成指标**模拟使用监测器拒绝输出，并建模在使用监测性后仍残留多少风险。 尽管下面的实验监测的是可观测的模型轨迹——CoT、工具调用和可见消息——但只要每个样本都有一个真实行为标签和一个监测器判断，这三个指标同样适用于内部激活或其他潜表征上的监测器。 1 ↩（https://alignment.openai.com/beyond-gmean-squared#deployment-note-ref）该部署方案是假设性的；OpenAI 并不以这种方式部署其当前模型。 ## 指标 1：在共享实例上比较模型 不同模型在不同的任务实例子集上产生有效的正样本行为。因此，在每个模型自身的子集上评估会混淆数据集内的可监测性。考虑以下场景： - **模型 A**只能在简单任务上出问题。假设这些失败也容易被监测器检测到。 - **模型 B**能在简单和困难任务上都出问题。假设困难任务上的失败更难被检测到。 - 数据集级 g-mean² 在各自的正样本实例上评估每个模型。模型 A 因此只在简单案例上评估，而模型 B 在简单和困难案例的混合上评估。 因此，模型 A 可能获得更高的可监测性分数，即使在两个模型都出问题的每个任务上，模型 B 的行为实际上更容易被检测。这种表观排名不是由实际可监测性差异驱动的，而是由各模型产生目标行为的任务实例分布差异所驱动。这种分布不匹配可能由模型能力差异（如上述示例）或其他模型行为模式造成。此外，随机 rollout 变化也可能改变哪些实例进入分数。 请注意，配对匹配仍不能保证两个模型在共享实例上产生相同类型或难度的行为；我们在[下一步：控制行为类别](https://alignment.openai.com/beyond-gmean-squared#behavior-class)中回到这一局限。 ### 配对匹配 对于每一对模型配置，我们在双方模型都支持的匹配实例集上计算相关的 g-mean² 组件。然后我们使用加权最小二乘拟合，将各配对的差值组合成一个排序。设 \\(Y\\) 为行为标签：\\(Y=1\\) 表示 rollout 表现出目标行为（例如上钩蜜罐之类的不良行为），\\(Y=0\\) 则没有。目标行为由每个评估定义；安全相关的示例通常涉及不良行为，但有些目标是无害的。设 \\(Z\\) 为二元监测器标签，\\(Z=1\\) 表示监测器标记了该 rollout。 具体匹配量取决于评估原型： - **结果评估**：我们在共享正样本实例上估计 \\(\mathrm{TPR}\\)，在单独的共享负样本集上估计 \\(\mathrm{TNR}\\)，然后将两个配对均值相乘。 - **过程评估**：我们在共享正样本实例上比较配对匹配的 \\(\mathrm{TPR}\\)。（因为过程可监测性仅在 \\(Y=1\\) 的 rollout 上评估，\\(\mathrm{TNR}\\) 设为 1。） - **干预评估**：我们在两个模型都有效的实例上，对已有的逐实例最小准则 \\(\mathrm{TPR}_i \times \mathrm{TNR}_i\\) 取平均。 **配对匹配 g-mean² 的计算方式** 对于过程评估，设 \\(P_{AB}\\) 为模型 A 和模型 B 都支持的正样本实例集。模型 \\(m\\) 的配对匹配指标为： \\[M^{(\mathrm{process})}_{m \mid AB} = \widehat{\mathrm{TPR}}_{m \mid AB} = \frac{1}{\|P_{AB}\|} \sum_{i \in P_{AB}} P(Z=1 \mid Y=1, m, i).\] 对于结果评估，设 \\(N_{AB}\\) 为单独匹配的负样本实例集。我们计算： \\[\widehat{\mathrm{TNR}}_{m \mid AB} = \frac{1}{\|N_{AB}\|} \sum_{i \in N_{AB}} P(Z=0 \mid Y=0, m, i).\] \\[M^{(\mathrm{outcome})}_{m \mid AB} = \widehat{\mathrm{TPR}}_{m \mid AB}\,\widehat{\mathrm{TNR}}_{m \mid AB}.\] 对于结果评估，我们还保留共享正样本实例上的配对匹配 \\(\mathrm{TPR}\\) 作为仅用于敏感性分析的诊断指标。结果评估的配对匹配 g-mean² 仍是主要的配对匹配结果。 对于干预评估，设 \\(V_{AB}\\) 为两个模型都有效的实例。我们对已有的逐实例最小准则乘积取平均： \\[M^{(\mathrm{intervention})}_{m \mid AB} = \frac{1}{\|V_{AB}\|} \sum_{i \in V_{AB}} \mathrm{TPR}_{m,i}\;\sqrt{\mathrm{TNR}_{m,i,x=0}\,\mathrm{TNR}_{m,i,x=1}}.\] 为了将配对匹配的 g-mean² 指标组合成模型排序，我们使用逆方差加权的 HodgeRank，它本质上是一种加权最小二乘拟合。我们寻找最能复现观察到的配对差异的模型分数，对估计更精确的比较赋予更高权重。我们的方法可以通过找到最拟合的整体排序来调和温和的循环或不一致；拟合残差显示了当配对证据无法被单一排名很好地概括时的情况。 **逆方差加权 HodgeRank 分数** 我们将每个支持的模型比较建模为图中的一条边。对于 A 与 B 的边，观察到的差异是 A 的配对匹配指标减去 B 的对应指标。我们为每个模型拟合一个分数，使得 A 与 B 之间的拟合差异尽可能接近这一观察差异。bootstrap 方差较低的比较获得更多权重。 配对结果不必完全一致。例如，数据可能偏好 A 胜过 B，B 胜过 C，而 C 胜过 A。HodgeRank 找到最能同时代表所有边的加权最小二乘折中方案。残差衡量观察到的配对比较与拟合分数所隐含的比较之间的差异。较大的残差表明单一的一维排序是糟糕的概括。 模型只有在被支持的比较连接时才能排序。因此我们对每个连通分量分别拟合，并且不跨不连通分量比较分数。 只有分数差异影响拟合，因此给所有模型分数加同一个常数不会改变任何东西。我们将分数中心化——设置其均值为零——以选择唯一解。在单个拟合的连通分量内，分数差距越大表示拟合的配对指标差异越大。绝对分数值不应跨分量或跨使用不同模型或不同支持比较的拟合进行比较。 \\[d^{(q)}_{AB} = M^{(q)}_{A \mid AB} - M^{(q)}_{B \mid AB}.\] \\[\widehat{\boldsymbol{s}} = \underset{\boldsymbol{s}}{\operatorname{arg\,min}}\;\sum_{(A,B)} w_{AB}\bigl[(s_A - s_B) - d^{(q)}_{AB}\bigr]^2, \qquad \sum_m s_m = 0.\] \\[w_{AB} = \frac{1}{\max\!\left\{\widehat{\operatorname{Var}}\!\left(d^{(q)}_{AB}\right),\; v_{\mathrm{floor}}\right\}}.\] 我们最初尝试了配对 Bradley–Terry（Elo 风格）评分，其中 \\[\Pr(A \succ B) = \sigma(\beta_A - \beta_B).\] 每个实例因此只贡献一次胜、负或平局。我们发现这不太适合我们的目标，因为它丢弃了配对差异的大小，只保留方向。因此，下面报告的配对匹配结果使用感知幅度的配对估计和 HodgeRank 排序。 ### 合成实验隔离选择效应 在真实模型的比较中，我们不知道真实可监测性的排序。因此我们在模拟中测试这些指标，其中该排序是设计已知的。每个任务实例被分配一个难度 \\(D_i\\)；随着该值增加，模型产生正样本行为的可能性降低（此处"正样本"由评估定义——例如上钩蜜罐），监测器在该行为发生时检测到它的可能性也降低。每个模型有两个独立属性：能力，决定它在给定难度的实例上产生正样本行为的可能性；可监测性，决定该行为在同一实例上被检测到的可靠程度。我们在固定可监测性排序的同时变化能力，测试某个指标是否能随着所选实例混合的变化恢复——或反转——已知的排序。 #### 跨评估类型的能力驱动选择 我们首先使用过程、结果和干预三种构造方式比较模型 A 和模型 B。在每个固定实例上，模型 B 都比模型 A 更容易被监测。横轴 \\(k\Delta c\\) 是模型 B 的对数几率能力优势。随着它的增加，模型 B 在越来越困难的实例上产生正样本行为。 **配对匹配将可监测性与能力驱动的实例选择隔离开来** 图 1. 配对匹配将可监测性与能力驱动的实例选择隔离开来。固定种子模拟在过程（左）、结果（中）和干预（右）评估中比较模型 A 和模型 B。正的分数差异有利于模型 B；负的差异有利于模型 A。模型 B 在每个固定实例上都比模型 A 更容易被监测，但随着能力增长，它在更困难的实例上产生正样本行为。数据集级 g-mean² 向模型 A 偏移——并最终偏向模型 A——而配对匹配持续偏向模型 B。绿色的结果评估消融仅匹配正样本实例，留下负样本实例分布未匹配。 随着模型 B 实际产生的正样本集合变得更困难，数据集级 g-mean² 下降，即使其固定实例可监测性更好。配对匹配消除了这种选择效应，恢复了已知的条件比较。绿色的结果评估消融仅匹配正样本实例；其残余漂移表明为什么结果评估比较必须分别匹配用于 \\(\mathrm{TNR}\\) 的负样本实例。 #### 恢复已知的七模型排序 我们接下来模拟七个模型，\\(\mathrm{M1}\\) 到 \\(\mathrm{M7}\\)。模型 \\(\mathrm{M7}\\) 被刻意设定为在每个固定实例上既最有能力又最容易被监测，已知排序为 \\(\mathrm{M7} > \mathrm{M6} > \mathrm{M5} > \mathrm{M4} > \mathrm{M3} > \mathrm{M2} > \mathrm{M1}\\)。 我们使用能力弥散参数 \\(d\\) 来变化模型能力的分散程度。随着 \\(d\\) 增大，高编号模型变得更有能力，在更困难——也更难被监测——的实例上产生正样本行为，而低编号