朴素贝叶斯分类器与生成森林的局部鲁棒性量化：一种通用方法

# 朴素贝叶斯分类器与生成森林的局部鲁棒性量化：一种通用方法
来源: https://arxiv.org/html/2609.11366
Jasper De Bock 邮箱: [jasper\.debock@ugent\.be](mailto:[email protected]) 单位: 根特大学不精确概率基础实验室，比利时根特

###### 摘要

我们提供了计算两类生成分类器预测鲁棒性的方法，这两类分类器的基础分布是概率图模型（\(PGM\)）：朴素贝叶斯分类器和生成森林（随机森林的概率扩展）。遵循鲁棒性量化的范式，我们将预测的鲁棒性定义为分类器的分布可以被扰动而不改变该预测的程度。我们考虑通过在一般邻域内改变\(PGM\)的局部模型来获得的扰动，并特别关注 epsilon‑污染、全变差距离和卡方散度球。我们在基准数据集上测试了我们的方法，证明了预测的鲁棒性值可作为其可信度的指标，并将我们的方法与其他此类指标进行了比较。

††卷: 待定††年: 2026††研讨会: 概率图模型（\(PGM\)）††编辑: Gustau Camps‑Valls, Manuele Leonelli 和 Gherardo Varando
###### 关键词

可信分类，生成森林，朴素贝叶斯分类器，不精确概率

## 1 引言

假设你正在撰写一篇论文，截止日期临近，因此你必须快速完成并提交。然而，论文的核心证明尚未成功，所以为了节省时间，你决定咨询一个大型语言模型（\(LLM\)）来为你撰写证明。你从 \(LLM\) 获得了证明，但你意识到时间已到，无法在提交论文前检查该证明。111 免责声明：此情况纯属假设，并不反映作者的实际做法。你会信任 \(LLM\) 的证明吗？你会冒这个风险吗？或者只有当 \(LLM\) 对证明极度自信时你才会这样做？如果出现这种（希望是不切实际的）情况，\(LLM\) 能够为我们提供其输出可信度的某种指示，那将非常有用。同样，在其他高风险环境中，例如医疗诊断，如果模型能够评估其自身预测的可信度，以便用户在基于这些预测做决策时能够考虑这些信息，那也将非常有益。

在本文中，我们考虑一种可能的方法，尝试为分类器的每个预测附加上其可信度的指示：鲁棒性量化（\(RQ\)）（Detavernier and De Bock, 2025 (https://arxiv.org/html/2609.11366#bib.bib3)）。\(RQ\) 特别量化了分类器预测的所谓*鲁棒性*，即模型可以在多大程度上被扰动而不改变预测，其思想在于，具有高鲁棒性的预测更可信，因为它们对模型训练过程中产生的错误敏感度较低。迄今为止，\(RQ\) 已针对基于多种概率图模型（\(PGMs\)）的分类器进行了研究：朴素贝叶斯分类器（\(NBC\)）（Detavernier and De Bock, 2025 (https://arxiv.org/html/2609.11366#bib.bib3)）、生成森林（\(GeFs\)）（Correia et al., 2020a (https://arxiv.org/html/2609.11366#bib.bib13)），以及贝叶斯网络和马尔可夫随机场（De Bock et al., 2014 (https://arxiv.org/html/2609.11366#bib.bib10)）。这些结果还表明，如此定义的预测鲁棒性可以成为其可信度的有效指标，因为具有较高鲁棒性值的预测往往比具有较低鲁棒性值的预测更准确。

在这项工作中，我们展示了如何将 \(RQ\) 简化为一个优化问题。此外，我们利用不精确概率理论（Augustin et al., 2014 (https://arxiv.org/html/2609.11366#bib.bib14)）和信分类（Corani et al., 2014 (https://arxiv.org/html/2609.11366#bib.bib9)）的思想，为将这类优化问题简化为局部优化提供了通用方法，前提是 \(PGM\) 是一个 \(NBC\) 或 \(GeF\)，并且分别通过其局部概率函数或权重函数的局部扰动进行扰动。在此过程中，我们概括了那些专注于 \(\varepsilon\)-污染扰动的现有方法。我们通过考虑全变差距离和卡方散度球作为扰动来说明这种通用性，并且我们在实验中证明，由此产生的鲁棒性值仍然与准确性相关，并且，它们与通过 \(\varepsilon\)-污染获得的值以及基于不确定性的可信度指标相比具有竞争力。

## 2 分类：设置与符号

为了形式化这一设置，即具有离散特征的分类，我们引入一些符号。分类器的目标是预测实例的类 \(c\)，它是有限类集合 \(\mathcal{C}\) 中的一个元素。当类未知时，我们称其为类变量 \(C\)。为了做出此预测，我们通常以一组特征 \(\bm{f}\) 的形式拥有关于实例的一些信息。每个特征由一个变量 \(F_i\) 表示，在有限集合 \(\mathcal{F}_i\) 中取值 \(f_i\)，其中 \(i \in \{1, \dots, N\}\)，\(N\) 是特征的数量。我们将一个实例的所有特征收集到一个向量中，并称该向量为特征向量或简称为实例的特征。一个实例的特征向量由 \(\bm{f} = (f_1, \dots, f_N)\) 给出，其中 \(f_i\) 是此实例第 \(i\) 个特征的值。所有这些可能的特征向量都收集在集合 \(\bm{\mathcal{F}} = \mathcal{F}_1 \times \dots \times \mathcal{F}_N\) 中。因此，每个实例由其类 \(c\) 和特征 \(\bm{f}\) 的组合决定。分类器 \(h: \bm{\mathcal{F}} \to \mathcal{C}\) 因此可以被视为一个将特征向量映射到类的函数。在理想情况下，预测的类 \(\hat{c} \coloneq h(\bm{f})\) 与实例的真实类相同。然而在实践中，情况并非总是如此。这正是评估分类器预测可信度为何如此重要。

本工作专注于生成分类器，这类分类器首先估计 \(\mathcal{C} \times \bm{\mathcal{F}}\) 上的联合概率质量函数 \(p\)，然后预测使条件概率 \(p(c \mid \bm{f}) = p(c, \bm{f}) / p(\bm{f})\) 最大化的类 \(\hat{c}\)，其中 \(p(\bm{f}) \coloneq \sum_{c' \in \mathcal{C}} p(c', \bm{f})\)。然而，这个 \(\hat{c}\) 可能不是唯一的，或者如果 \(p(\bm{f}) = 0\)，\(p(c \mid \bm{f})\) 可能未定义，因此形式上，给定一组特征 \(\bm{f}\)，生成分类器 \(h_p: \bm{\mathcal{F}} \to \mathcal{C}\) 从以下集合中选择预测类 \(\hat{c}\)：

\[
\hat{\mathcal{C}}_{p, \bm{f}} \coloneq
\begin{cases}
\arg\max_{c \in \mathcal{C}} p(c \mid \bm{f}) & \text{if } p(\bm{f}) > 0 \\
\mathcal{C} & \text{if } p(\bm{f}) = 0
\end{cases}
= \arg\max_{c \in \mathcal{C}} p(c, \bm{f}).
\]
(1)
在实践中，\(\hat{\mathcal{C}}_{p, \bm{f}}\) 当然通常是一个单元素集，此时 \(\hat{c}\) 完全由 \(p\) 决定，但我们的方法对于非此情况的特征同样适用。

## 3 预测的鲁棒性

概率分类器学习到的分布 \(p\) 通常不是真实的数据生成分布；分布偏移、特定模型架构的使用或训练过程/模型参数中的随机性都可能导致 \(p\) 偏离真实分布，从而导致次优预测。那么，如果我们轻微改变模型学习到的分布 \(p\) 会怎样？预测会改变吗？我们需要改变分布多少，预测才会改变？\(RQ\) 通过量化模型的学习分布 \(p\) 可以在多大程度上被改变而不改变分类器的最终预测来回答最后一个问题。为了形式化这个想法，我们考虑对质量函数 \(p\) 的扰动，这些扰动只是包含 \(p\) 的质量函数集合。

设 \(\Omega\) 为一个有限结果集，\(\Sigma_\Omega\) 为 \(\Omega\) 上所有概率质量函数的集合：从 \(\Omega\) 到 \([0,1]\) 且和为 1 的映射。

###### 定义 1\.

考虑一个有限结果集 \(\Omega\) 上的质量函数 \(p \in \Sigma_\Omega\)。\(p\) 的*扰动*是一个紧致集合 \(\mathcal{P} \subseteq \Sigma_\Omega\)，它是 \(\Omega\) 上的质量函数集合，使得 \(p \in \mathcal{P}\)。

这是一个通用且有意模糊的定义，因为它没有指定扰动是如何构建的。在实践中，我们通常将此类扰动构建为围绕 \(p\) 的邻域，其中 \(p \in \Sigma_{\mathcal{C} \times \bm{\mathcal{F}}}\) 是概率分类器学习的质量函数。

给定 \(p\) 的一个扰动 \(\mathcal{P}\) 和一组特征 \(\bm{f}\)，我们现在可以构造与至少一个扰动后的模型 \(p' \in \mathcal{P}\) 兼容的可能预测集合 \(\hat{\mathcal{C}}_{\mathcal{P}, \bm{f}} \coloneq \bigcup_{p' \in \mathcal{P}} \hat{\mathcal{C}}_{p', \bm{f}}\)。如果此集合中唯一兼容的预测就是预测 \(\hat{c}\) 本身，则称预测 \(\hat{c}\) 关于扰动 \(\mathcal{P}\) 是*鲁棒的*。

###### 定义 2\.

设 \(h_p\) 为对应于质量函数 \(p\) 的生成分类器。设 \(\hat{c}\) 为根据 \(h_p\) 对特征集 \(\bm{f}\) 的预测，设 \(\mathcal{P}\) 为 \(p\) 的扰动，设 \(\hat{\mathcal{C}}_{\mathcal{P}, \bm{f}}\) 为关于扰动 \(\mathcal{P}\) 的可能预测集合。那么，如果 \(\hat{\mathcal{C}}_{\mathcal{P}, \bm{f}} = \{\hat{c}\}\)，则称 \(\hat{c}\) 关于扰动 \(\mathcal{P}\) 是*鲁棒的*。

对于熟悉不精确概率和信分类的读者来说，这些概念应该很熟悉。在此背景下，我们的扰动通常被称为信集（credal sets），而 \(\hat{\mathcal{C}}_{\mathcal{P}, \bm{f}}\) 将是相应信分类器（输出一个类集合的分类过程）的一个例子。222 可以使用多种不同的不精确决策标准来将这样的类集合与信集关联起来 Troffaes (2007) (https://arxiv.org/html/2609.11366#bib.bib19)。我们的方法本质上对应于使用 E‑可接受性（E‑admissibility），它只是收集信集中不同分布的预测；其优点在于具有直观的灵敏度分析解释。信分类则通常使用另一个称为极大性（maximality）的决策标准，对应的类集合更容易通过优化技术确定。然而，对于确定鲁棒性的目的来说，这种选择并不重要。对于熟悉极大性的读者来说，这应该很容易从后文的定理 2 (https://arxiv.org/html/2609.11366#Thmtheorem2) 得出。实例的鲁棒性则对应于该信分类器是确定的，即其输出只包含单个类。信分类中的一个重要观察（它启发了 \(RQ\) 的发展）（De Bock et al., 2014 (https://arxiv.org/html/2609.11366#bib.bib10)）是，传统分类器在其信对应物保持不确定性的实例上往往表现较差（Corani and Zaffalon, 2008 (https://arxiv.org/html/2609.11366#bib.bib18)）。

\(RQ\) 背后的思想相似，但其目标不同。首先，\(RQ\) 对确定 \(\hat{\mathcal{C}}_{\mathcal{P}, \bm{f}}\) 不感兴趣，而仅关注鲁棒性（确定性）。其次，\(RQ\) 想要量化预测*有多*鲁棒，而不是确定预测是否关于给定的固定扰动是鲁棒的。\(RQ\) 通过以参数化方式控制扰动的大小，并增加该大小，直到模型的预测不再鲁棒（即，直到邻域中至少有一个分布预测了不同的类），来实现这一点。预测不再鲁棒的最小扰动大小随后被用作鲁棒性的数值度量。为了形式化这一点，我们考虑*参数化扰动*。

###### 定义 3\.

考虑一个有限结果集 \(\Omega\) 上的质量函数 \(p \in \Sigma_\Omega\)。设 \(\mathcal{P}^\delta\) 为 \(p\) 的扰动，对于所有 \(\delta \in \Delta \subseteq \mathbb{R}_{\geq 0}\)，其中 \(\Delta\) 是包含零的可能 \(\delta\) 值集合。如果以下条件成立，则称族 \(\mathcal{P}^\Delta \coloneq \left( \mathcal{P}^\delta \right)_{\delta \in \Delta}\) 为 \(p\) 的*参数化扰动*：(1) 如果 \(\delta = 0\)，则 \(\mathcal{P}^0 = \{p\}\)；(2) 如果 \(\delta_1 \leq \delta_2\)，则 \(\mathcal{P}^{\delta_1} \subseteq \mathcal{P}^{\delta_2}\)。

显然，\(\delta\) 的值越大，扰动就越大，因为它包含更多的分布。此类参数化扰动的具体示例见第 6 节 (https://arxiv.org/html/2609.11366#S6)。接下来，我们形式化鲁棒性的数值度量。

###### 定义 4\.

设 \(h_p\) 为对应于质量函数 \(p\) 的生成分类器，设 \(\hat{c}\) 为根据 \(h_p\) 对特征集 \(\bm{f}\) 的预测。设 \(\mathcal{P}^\Delta\) 为 \(p\) 的参数化扰动，其中 \(\Delta \subseteq \mathbb{R}_{\geq 0}\) 是参数 \(\delta\) 的可能取值。那么，特征为 \(\bm{f}\) 的实例关于 \(\mathcal{P}^\Delta\) 的*鲁棒性（值）* \(r_{\mathcal{P}^\Delta}(\bm{f})\) 是 \(\delta \in \Delta\) 的下确界，使得预测 \(\hat{c}\) 关于扰动 \(\mathcal{P}^\delta\) 不再鲁棒。如果不存在这样的 \(\delta\)，则我们设置 \(r_{\mathcal{P}^\Delta}(\bm{f}) = +\infty\)。

此后，每当我们使用符号 \(\mathcal{P}^\delta\) 表示扰动时，我们隐含地假设它是某个可能 \(\delta\) 值集合 \(\Delta\) 的参数化扰动 \(\mathcal{P}^\Delta\) 的一部分。

此定义忠实地捕捉了 \(RQ\) 背后的思想，但它不是最实用的定义，因为乍一看，检查一个预测是否关于扰动是鲁棒的将需要我们确定扰动中所有分布的预测。为了解决这个问题，我们现在继续提供鲁棒性的一个等效的、更实用的描述。这个描述是用扰动 \(\mathcal{P}\) 的下期望（lower expectation）表示的，对于任何定义在 \(\Omega\) 上的实值函数 \(f\)，定义为：

\[
\underline{E}_{\mathcal{P}}(f) \coloneq \min_{p' \in \mathcal{P}} E_{p'}(f),
\]
(2)
其中 \(E_{p'}(f) = \sum_{x \in \Omega} p'(x) f(x)\)。