基于模型空间与特征空间一致性的鲁棒模糊性检测（RAD）

# 鲁棒歧义检测（RAD）：来自模型空间与特征空间的一致性
来源：https://arxiv.org/html/2608.11541
Mark T. Keane, Arjun Pakrashi
所属机构：计算机科学学院，
所属机构：都柏林大学学院，
所属机构：爱尔兰都柏林，
所属机构：[email protected], {mark.keane, arjun.pakrashi}@ucd.ie
###### 摘要
机器学习模型应当是鲁棒的，即在允许的变化下保持预测一致性。当模型被功能等价的模型替换，或输入受到微小的、可允许的扰动时，模型的预测理想情况下应保持不变。如果这类变化显著改变了预测，那么该预测相对于模型就是“歧义的”。模型应避免做出此类歧义预测，和/或将其标记出来供人工检查，尤其是在高风险决策场景中。然而，在实践中，一旦模型部署完毕，这种歧义并不容易识别。本文提出了鲁棒歧义检测（RAD）框架，通过两个互补的度量来量化预测歧义：模型空间一致性（Model-Space Consistency）和特征空间一致性（Feature-Space Consistency）。这两个分数构成RAD分数对，通过RAD图进行可视化，为歧义的来源以及用户可考虑的应对行动提供了可解释的表征。RAD在具有系统控制重叠的合成数据集以及若干无法直接检查歧义水平的真实世界数据集上进行了评估。最后，我们展示了RAD的一个下游应用，其中样本按RAD帕累托排名排序，最歧义的样本被弃权预测，其性能与现有的基于拒绝的方法相当。
关键词：歧义、鲁棒性、预测多重性、弃权

## 1 引言
当一项物品具有多个合理解释时，就会产生歧义26（https://arxiv.org/html/2608.11541#bib.bib30）；13（https://arxiv.org/html/2608.11541#bib.bib26）。在机器学习（ML）中，当给定实例在多个预测性能几乎相同的模型（即所谓的罗生门集4（https://arxiv.org/html/2608.11541#bib.bib12））上产生不同的预测结果时，就会出现歧义。已有多种工作尝试测量这种预测多重性（predictive multiplicity）2（https://arxiv.org/html/2608.11541#bib.bib28）；28（https://arxiv.org/html/2608.11541#bib.bib20）；16（https://arxiv.org/html/2608.11541#bib.bib25），将其描述为罗生门容量22（https://arxiv.org/html/2608.11541#bib.bib21）、差异33（https://arxiv.org/html/2608.11541#bib.bib27）、歧义32（https://arxiv.org/html/2608.11541#bib.bib22）或任意性8（https://arxiv.org/html/2608.11541#bib.bib6）。所有这些方法都通过分析在相同输入实例上准确率相近模型之间的分歧来测量预测多重性。我们直接基于这一表述，但将分析扩展到实例的局部邻域，询问这种分歧在特征实例发生微小、允许的变化时是否仍然存在。从这个意义上说，我们的贡献并非重新定义预测多重性，而是研究它与局部鲁棒性35（https://arxiv.org/html/2608.11541#bib.bib9）的相互作用。

考虑一个具体例子：某大学招生系统部署了一组10个性能同样良好的ML模型。对于申请者Alice，所有10个模型都预测“录取”。即使将Alice的GPA调高或调低0.01，所有模型对Alice的“录取”预测仍然保持一致。对于另一位申请者Mike，5个模型预测“录取”，其余5个预测“拒绝”，因此由于等价模型之间的分歧，这一实例是歧义的。即使Mike的GPA略高或略低，模型之间的一致性也不会改变。现在考虑另一位申请者Mary，她的条件与Mike仅在GPA上高出0.01，但所有10个模型都预测“录取”。尽管两名申请者几乎相同，但集体预测在一个极小的特征空间区域内发生了突变。基于单一点的分数（例如自一致性）无法区分Mary和Alice，而Mary的预测实际上并不可靠。此外，对于Mike的情况，基于单一点的分数也无法判断分歧是由于Mike落入“争议”区域，还是孤立案例。在高风险场景（如大学招生）中，如果几乎相同的申请者仅仅因为决策边界经过他们之间的一个极小区域而获得截然相反的结果，那么仅凭原始输入上的一致可能不足以证明预测可靠性。因此，我们提出，在模型或输入的微小、允许变化下无法保持一致的预测应被视为歧义预测，并标记以供人工审查。

在本工作中，我们将歧义定义为预测不一致的一种特殊情况：当多个等价模型在某个数据点上，或在其邻域中的等价数据点上预测不一致时，即产生歧义。这一二维定义不仅捕捉模型在某个点上是否不一致，还捕捉这种一致（或不一致）在输入的微小允许变化（邻域）下是否持续存在。我们在全文使用术语“鲁棒歧义”（robust-ambiguity），以区别于32（https://arxiv.org/html/2608.11541#bib.bib22）中的“歧义”度量。

为实现这一目标，我们提出了一个通用框架——鲁棒歧义检测（RAD），其贡献如下：

- • 在第3节（https://arxiv.org/html/2608.11541#S3）中引入的三阶段RAD框架，对任何测试数据点生成一组等价模型、一组该数据点的局部扰动，以及跨越两者的预测矩阵，称为歧义矩阵。
- • RAD分数对[ \(\mathrm{RAD}_{\mathrm{MSC}}\), \(\mathrm{RAD}_{\mathrm{FSC}}\) ]（第4节（https://arxiv.org/html/2608.11541#S4）），将歧义矩阵缩减为两个机会校正一致性分数，即模型空间一致性（MSC）和特征空间一致性（FSC）。RAD分数对量化了每个空间中的分歧。还引入了基于鲁棒歧义对数据点进行排序的RAD帕累托排名（第5.3节（https://arxiv.org/html/2608.11541#S5.SS3）），用于下游任务。
- • RAD图（第5节（https://arxiv.org/html/2608.11541#S5)），将RAD分数对（图1（https://arxiv.org/html/2608.11541#S1.F1））可视化为四个可解释的象限，每个象限具有特定属性，使实践者不仅能标记歧义预测，还能诊断歧义产生的原因。

图 1：RAD图的一种表示，它是RAD分数对 [ \(\mathrm{RAD}_{\mathrm{MSC}}\), \(\mathrm{RAD}_{\mathrm{FSC}}\) ] 的散点图，通过联合捕捉模型空间一致性（MSC）和特征空间一致性（FSC）来表示鲁棒歧义。每个嵌入矩阵的小象形图表示单个数据点 \(t\) 的典型歧义矩阵，RAD分数对由此矩阵计算得到。歧义矩阵的每个 \((j,i)\) 位置是第 \(i\) 个等价模型在第 \(j\) 个邻域点上的预测类别。每个象限揭示了特定属性，基于这些属性可采取相应行动。帕累托最优前沿为下游任务对点进行排序。

一旦针对特定问题使用给定数据集训练好一个模型，模型的视角始终是相对于决策边界的。因此，RAD分数对始终相对于模型而言。因此，RAD分数并不表示数据或其潜在分布的绝对属性，而是识别哪些预测无法由特定类别的模型可靠地做出。我们在具有系统控制类别重叠的合成数据集上演示了RAD，并将其应用于来自UCI机器学习库的多个真实世界数据集（第7节（https://arxiv.org/html/2608.11541#S7））。利用这些数据集，我们还展示了一项下游弃权任务，即根据RAD帕累托排名对歧义数据点弃权预测（第7.5节（https://arxiv.org/html/2608.11541#S7.SS5））。第8节（https://arxiv.org/html/2608.11541#S8）讨论了RAD的一些潜在应用。第9节（https://arxiv.org/html/2608.11541#S9）对全文进行总结。

## 2 相关工作
近年出现了一组用于测量预测多重性的度量，即在给定输入上多个同等能力的模型产生冲突预测的情况。这些度量通常是模型分歧的某种函数，可通过熵、简单投票机制或其他方式实现。大致上，它们属于测量模型空间分歧的范畴。罗生门容量22（https://arxiv.org/html/2608.11541#bib.bib21）通过测量Rashomon集合上预测分数分布的扩展程度来量化概率分类器的预测多重性。其正式定义为样本输出分布多重性集合的（KL散度下的）信道容量。它适用于概率输出而非阈值化的类别标签，并且与其他基于点的度量一样，它不测量该分数变化是否在样本的局部邻域中持续存在。33（https://arxiv.org/html/2608.11541#bib.bib27）；32（https://arxiv.org/html/2608.11541#bib.bib22）的作者将度量“歧义”定义为等价模型集合中预测分歧的样本比例，而模糊性（obscurity）5（https://arxiv.org/html/2608.11541#bib.bib1）则扩展了这一点，统计有多少模型与多数预测不一致。这三者都在固定点上操作。

另一方面，局部鲁棒性35（https://arxiv.org/html/2608.11541#bib.bib9）；27（https://arxiv.org/html/2608.11541#bib.bib3）；31（https://arxiv.org/html/2608.11541#bib.bib14）研究单个模型的预测在输入局部邻域内的一致性。单个模型可能对小至一个像素的扰动23（https://arxiv.org/html/2608.11541#bib.bib2）就产生脆弱性，其后果在高风险场景中可能是不可取的。这捕捉了相对于单个模型的特征空间分歧，但忽略了模型空间的变化。任意性8（https://arxiv.org/html/2608.11541#bib.bib6）定义为单个数据点在同样优秀的模型之间因偶然性而产生的预测方差。相关的自一致性（self-consistency，SC）度量是等价模型之间的平均成对一致性。这与我们标记不可靠预测的目标一致，但它在单一维度（模型空间）和单一运行点上操作。8（https://arxiv.org/html/2608.11541#bib.bib6）的机制分解了有多大比例的分歧可归因于随机偶然，而我们的工作则同时测量模型空间和特征空间中的（机会校正）一致性。由于任意性和鲁棒歧义在不同领域操作并测量不同量，因此它们是互补的。完整的可靠性评估需要同时测量两者，这正是RAD通过RAD分数对提供的。

单一模型的不确定性分数（softmax概率、到SVM边界的距离、叶节点类别分布20（https://arxiv.org/html/2608.11541#bib.bib5））被广泛用作可靠性的代理，尽管它们既不反映认知不确定性，也不反映模型分歧17（https://arxiv.org/html/2608.11541#bib.bib4）；24（https://arxiv.org/html/2608.11541#bib.bib7），而只是描述单个选定模型的行为。它们无法捕捉由预测多重性或等价模型集合上的局部鲁棒性所引起的不稳定性。歧义已被用于33（https://arxiv.org/html/2608.11541#bib.bib27）；32（https://arxiv.org/html/2608.11541#bib.bib22）；8（https://arxiv.org/html/2608.11541#bib.bib6）；29（https://arxiv.org/html/2608.11541#bib.bib29）中的弃权操作。然而，一个在单个模型上被标记为局部鲁棒的数据点，在另一个等价模型下可能并非局部鲁棒。基于单一模型的弃权并不能保证当其他等价模型做出不同响应时的可靠性。在标记弃权之前，需要考虑目标点周围邻域内所有等价模型的联合情况，而这正是RAD所提供的。

## 3 RAD 框架概述
鲁棒歧义检测（RAD）框架通过在特征空间中对测试数据点进行局部扰动，在模型空间中计算等价模型之间的分歧，从而测量鲁棒歧义。它是模型无关的，并可根据当前的数据类型和数据领域进行适配。该框架包含三个阶段；我们在此进行通用描述，并在第4节（https://arxiv.org/html/2608.11541#S4）给出具体实例。

##### 阶段 1：生成一组相似模型。
由方法 \(m\) 产生的一组 \(n\) 个模型 \(\mathcal{M}^{(m)}\)，其预测性能几乎相等，但模型超参数、自举训练数据集、使用的ML算法、种子、dropout掩码、算法族等各不相同。这些模型被称为等价模型（是更大罗生门集的一个样本），因为没有明确的基础来优先选择其中一个。

##### 阶段 2：生成一组相似数据点。
对于测试数据点 \(\mathbf{t} \in \mathbb{R}^d\)，在其局部邻域中生成一组 \(p\) 个合成邻域点 \(\mathcal{T}_{\mathbf{t}}=\{\mathbf{t}_{1},\mathbf{t}_{2},\mathbf{t}_{3},\ldots,\mathbf{t}_{p}\}\)（其中 \(\textbf{t}_{1}=\textbf{t}\)），以便量化该区域中预测的稳定性。

##### 阶段 3：量化鲁棒歧义。
\(\mathcal{M}^{(m)}\) 中的每个模型对 \(\mathcal{T}_{\mathbf{t}}\) 进行预测，得到一个二维歧义矩阵 \(\mathcal{A}_{\mathcal{T}_{\mathbf{t}}}^{\mathcal{M}^{(m)}}\)，大小为 \(p \times n\)（其中 \(|\mathcal{M}^{(m)}|=n\)，\(|\mathcal{T}_{\mathbf{t}}|=p\)），条目 \((j,i)\) 包含 \(\mathcal{M}^{(m)}_{i}(\mathbf{t}_{j})\)，即模型 \(i\) 对扰动 \(j\) 的预测：

\[
\mathcal{A}_{\mathcal{T}_{\mathbf{t}}}^{\mathcal{M}^{(m)}}=
\begin{bmatrix}
\mathcal{M}^{(m)}_{1}(\mathbf{t}_{1}) & \mathcal{M}^{(m)}_{2}(\mathbf{t}_{1}) & \dots & \mathcal{M}^{(m)}_{n}(\mathbf{t}_{1}) \\
\mathcal{M}^{(m)}_{1}(\mathbf{t}_{2}) & \mathcal{M}^{(m)}_{2}(\mathbf{t}_{2}) & \dots & \mathcal{M}^{(m)}_{n}(\mathbf{t}_{2}) \\
\vdots & \vdots & \ddots & \vdots \\
\mathcal{M}^{(m)}_{1}(\mathbf{t}_{p}) & \mathcal{M}^{(m)}_{2}(t_{p}) & \dots & \mathcal{M}^{(m)}_{n}(\mathbf{t}_{p})
\end{bmatrix}
\tag{1}
\]

随后，针对 \(\mathbf{t}\) 的歧义矩阵被缩减为RAD分数对 [ \(\mathrm{RAD}_{\mathrm{MSC}}\), \(\mathrm{RAD}_{\mathrm{FSC}}\) ]，其中 \(\mathrm{RAD}_{\mathrm{MSC}}\)（模型空间一致性）测量邻域内的模型间一致性，而 \(\mathrm{RAD}_{\mathrm{FSC}}\)（特征空间一致性）测量单个模型在邻域内的稳定性。对于这