追踪深度学习预测中认知不确定性的来源：同方差与异方差的线性化估计器

# 追踪深度学习预测中认知不确定性的来源：同方差与异方差的线性化估计器
来源：https://arxiv.org/html/2608.07630

###### 摘要

我们将两种经典的统计估计器改编用于现代深度学习中的不确定性量化，以便更清晰地理解可归因于两种来源的不确定性：偶然不确定性（aleatoric uncertainty）与局部数据稀缺所导致的不确定性。我们的方法利用了近似费希尔信息矩阵（Fisher Information Matrices）的最新进展，从而能够扩展到实际架构。实验结果表明，每个测试点受这两种来源的影响是不同的，这凸显了我们的估计器在提升现实世界应用鲁棒性方面的实用价值。

## 1 引言

部署在高风险现实世界应用中的人工智能系统需要准确评估给定预测所伴随的不确定性，例如在不确定性过高时回退到人工监控。在有监督机器学习中，这种不确定性源于这样一个事实：我们只能通过有限的训练样本（训练数据集）来观测我们想要估计的目标函数。如果我们假设这一过程带有噪声（某些标签不可靠），并且需要估计的函数足够复杂（需要对未见的测试实例进行泛化），那么学习问题就是设定错误的（misspecified），因此存在一些测试实例我们可以自信地给出预测，而另一些实例我们的估计则并不可靠。关键问题在于，*如何预测给定测试实例上的预测所伴随的不确定性*。

更形式化地说，我们假设在实例空间 \(\mathcal{X}\) 和响应空间 \(\mathcal{Y}\) 上存在一个真实的基础模型 \(p\left(x,y\right)\)，我们通过有限训练数据集 \(\mathcal{D}_{n}:=\left\{\left(\bm{x}_{i},y_{i}\right)\right\}_{1\leq i\leq n}\) 来观测它，并且我们希望为未来的、留出的测试点 \(\bm{x}_{\text{test}}\) 估计 \(p\left(y|\bm{x}_{\text{test}}\right)\)。这里，不确定性既来自我们试图估计的过程本身的随机性 \(p\left(y|x\right)\)（称为偶然不确定性），也来自我们对此过程的*有限样本知识*所导致的不确定性，两者共同增加了学习模型的认知不确定性（epistemic uncertainty）（Hüllermeier and Waegeman 2021（https://arxiv.org/html/2608.07630#bib.bib91））。

请参阅图示
图 1：加州住房数据集上的回归。圆圈大小对应 MLP 的预测误差。如果模型是 HeC3 不确定的（偶然不确定性较高的区域），区域以蓝色着色；如果是 Ho 不确定的（远离训练数据的区域），则以红色着色。

聚焦于认知不确定性，我们试图区分两个不同来源对固定测试点预测方差的贡献：训练数据集是真实生成过程的一个有限样本，它通常无法全面捕捉该过程的结构：实例 \(\left\{\bm{x}_{i}\right\}_{1\leq i\leq n}\) 仅部分覆盖了实例空间，而响应 \(\left\{y_{i}\right\}_{1\leq i\leq n}\) 是随机过程的一次实现。在该数据集上训练的机器学习算法继承了这种有限知识，这转化为未来测试预测中的不确定性。最终，我们希望能够回答这个问题：*给定测试点的认知不确定性有多大，可归因于什么？* 特别是，如果我们想要减少这种不确定性，我们更应该*在稀缺区域收集更多训练点*，还是应该*降低偶然不确定性*（例如，通过增加信息量更大的特征，或减少标签噪声）？

我们的视角受到线性回归中洞察的启发，统计教科书中有关于线性回归的理论成果，我们利用（经验）切向核/特征框架将其应用于深度学习（Jacot et al. 2018（https://arxiv.org/html/2608.07630#bib.bib27）；Fort et al. 2020（https://arxiv.org/html/2608.07630#bib.bib43）；Grosse 2021（https://arxiv.org/html/2608.07630#bib.bib97））。我们方法的原创性在于，我们不仅寻求一种能更准确估计整体不确定性的方法，而是表明所提出的估计器能够解释不同来源的不确定性。我们的**贡献**是：

- • 从频率学派视角出发，将 Laplace 不确定性估计器族视为深度网络训练动力学线性化模型的局部解，从而在深度学习中推导出岭估计器（ridge estimator）和三明治估计器（sandwich estimator）；
- • 提出 **Ho-EKFAC** 和 **HeC3-EKFAC** 算法，使估计器能够扩展到实际深度架构；
- • 对所提出的估计器进行实验评估，刻画它们在玩具模型和实际任务上测量到的不同类型的不确定性。

### 1.1 相关工作

这项工作借鉴了教科书中的统计概念，而这些概念尚未被广泛采用于现代深度学习实践。我们认为，部分原因在于最初的一种误解，即认为这些概念难以扩展到具有大量参数的现代架构。据我们所知，最接近的工作是 Rivals 和 Personnaz（2000（https://arxiv.org/html/2608.07630#bib.bib64））以及 Tibshirani（1996（https://arxiv.org/html/2608.07630#bib.bib93）），他们通过线性化给出了非线性模型的置信区间估计器。两个主要区别在于：他们仅限于当时使用的较小架构，并且他们没有利用其工具来明确区分不确定性的来源。更近期，delta 估计器也已被证明可以扩展到百万参数架构，并且即使使用粗略的对角近似也能给出有用的估计器（Schmitt et al. 2025（https://arxiv.org/html/2608.07630#bib.bib96）），或使用 Lanczos 迭代方法估计 Fisher 信息矩阵的顶部谱（Nilsen et al. 2022（https://arxiv.org/html/2608.07630#bib.bib98）），而 Fisher 信息矩阵是大多数方差估计器的核心对象。

从实践角度来看，这些估计器需要计算深度网络的逆 Hessian 或逆 Fisher 信息矩阵，这可以在影响函数（influence functions）（Koh and Liang 2017（https://arxiv.org/html/2608.07630#bib.bib76）；Grosse et al. 2023（https://arxiv.org/html/2608.07630#bib.bib37））、高效优化（Amari 1998（https://arxiv.org/html/2608.07630#bib.bib94））和持续学习（Liu et al. 2018（https://arxiv.org/html/2608.07630#bib.bib95））等领域中找到。所有这些工作都面临着过参数化方法中相同的扩展挑战，它们通过求助于近似方法来解决这一问题（Schraudolph 2002（https://arxiv.org/html/2608.07630#bib.bib49）；Martens and Grosse 2015（https://arxiv.org/html/2608.07630#bib.bib29）；George et al. 2018（https://arxiv.org/html/2608.07630#bib.bib28）；Wang et al. 2025（https://arxiv.org/html/2608.07630#bib.bib92））。

在深度学习中量化认知不确定性是一个活跃的研究领域，流行方法包括使用不同自助采样训练子集训练的深度网络集成（Breiman 1996（https://arxiv.org/html/2608.07630#bib.bib63））、不同初始参数的集成（Lakshminarayanan et al. 2017（https://arxiv.org/html/2608.07630#bib.bib78））、基于连续随机丢弃神经元的蒙特卡洛估计（Gal and Ghahramani 2016（https://arxiv.org/html/2608.07630#bib.bib99）），或受贝叶斯方法启发的方法（Ritter et al. 2018（https://arxiv.org/html/2608.07630#bib.bib100）；Immer et al. 2021（https://arxiv.org/html/2608.07630#bib.bib102））。相比之下，我们的方法基于单个训练好的模型，并且能够将可归因于噪声的不确定性与可归因于训练集有限大小的不确定性区分开来。

## 2 背景

设 \(p\left(x,y\right)\) 表示实例空间 \(\mathcal{X}\) 和响应空间 \(\mathcal{Y}\) 上的一个真实未知过程，我们通过有限训练数据集 \(\mathcal{D}_{n}:=\left\{\left(\bm{x}_{i},y_{i}\right)\right\}_{1\leq i\leq n}\) 来观测它，其中样本独立同分布（IID），并且我们希望学习一个参数化预测器 \(\hat{f}\left(\bm{x};\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\right)\)，以估计贝叶斯最优预测器 \(y^{*}\left(\bm{x}\right)=\mathbb{E}_{y|\bm{x}}\left[y\right]\)，这里我们明确指出参数 \(\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\) 是从训练数据集 \(\mathcal{D}_{n}\) 中学习得到的。我们将研究限制在回归情形：\(\mathcal{Y}\) 被等同于 \(\mathbb{R}\)，参数 \(\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\) 通过寻求均方误差（MSE）加上岭惩罚 \(\lambda\geq 0\) 的最小化来学习：

\[
\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\in\underset{\bm{w}}{\operatorname*{arg\,min}}\sum_{i=1}^{n}\left(\hat{f}\left(\bm{x}_{i};\bm{w}\right)-y_{i}\right)^{2}+\lambda\left\|\bm{w}\right\|_{2}^{2}
\tag{1}
\]

##### 不确定性与方差

我们的目标是通过获取未来测试点 \(\bm{x}_{\text{te}}\) 上预测相对于贝叶斯预测器的平方损失 \(\left(\hat{f}\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\right)-y^{*}\left(\bm{x}_{\text{te}}\right)\right)^{2}\) 的性质，来量化预测的可靠性。一个经典的量是计算如果我们获得另一个训练集时该损失的期望值，此时训练集被视为随机变量 \(D_{n}\sim p\left(x,y\right)^{n}\)。这个量自然地分解为*偏差*（bias）和*方差*（variance）项，这里针对*单个*预测写出：

\[
\mathbb{E}_{D_{n}}\left[\left(\hat{f}\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(D_{n}\right)\right)-y^{*}\left(\bm{x}_{\text{te}}\right)\right)^{2}\right]=
\mathbb{E}_{D_{n}}\underbrace{\left[\left({\color[rgb]{0.5,0.5,0}\hat{f}\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(D_{n}\right)\right)-\mathbb{E}_{D_{n}}\left[\hat{f}\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(D_{n}\right)\right)\right]}\right)^{2}\right]}_{\text{variance}}
+\underbrace{\left({\color[rgb]{.5,0,.5}y^{*}\left(\bm{x}_{\text{te}}\right)-\mathbb{E}_{D_{n}}\left[\hat{f}\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(D_{n}\right)\right)\right]}\right)^{2}}_{\text{bias}}
\]

偏差涉及贝叶斯预测器 \(y^{*}\)，而它在一般情况下是未知的。方差衡量估计器 \(\hat{f}\) 围绕其期望值的波动，与偏差不同，它只涉及使用数据计算得到的量。在本文的其余部分，我们专注于估计这一方差项。

### 2.1 线性回归：对有限样本的依赖及由此产生的异方差性

我们从更简单的线性回归设定开始，其中我们的参数化预测函数估计器形式为 \(f\left(\bm{x};\bm{w}\right)=\bm{x}^{\top}\bm{w}\)。训练数据 \(\mathcal{D}_{n}:=\left(X,\bm{y}\right)\) 由堆叠在 \(n\times d\) 设计矩阵 \(X\) 中的输入空间观测 \(\left\{\bm{x}_{i}\right\}_{1\leq i\leq n}\) 和对应的响应 \(y_{i}\sim p\left(y|\bm{x}_{i}\right)\) 组成，后者分组在 \(n\) 维向量 \(\bm{y}\) 中。我们还定义 \(\bm{\varepsilon}\) 为 \(n\) 维噪声向量，即贝叶斯预测器与观测到的（可能含噪声的）标签之间的差异：\(\varepsilon_{i}\coloneqq y_{i}-y^{*}\left(x_{i}\right)\)。我们用 \(\bm{w}^{*}\) 表示最佳线性模型的（理想）参数，即如果我们在总体分布上最小化平方误差会得到的参数：\(\bm{w}^{*}\in\underset{\bm{w}}{\operatorname*{arg\,min}}\,\mathbb{E}_{p\left(\bm{x},y\right)}\left[\left(\bm{x}^{\top}\bm{w}-y\right)^{2}\right]\)——¹¹¹ 除非在退化情况下，这里处理的是总体风险，因此该参数是唯一确定的。回想一下，我们对真实生成过程 \(p\left(\bm{x},y\right)\) 没有做任何假设，特别是它可能无法被线性估计器很好地近似，在这种情况下我们说我们的（线性）模型是*设定错误的*（misspecified）。

我们用 \(\hat{\Sigma}_{\lambda}:=X^{\top}X+\lambda I\) 表示岭正则化的非中心样本协方差，\(\hat{\Sigma}:=\hat{\Sigma}_{0}\) 表示未正则化的版本。作为线性 MSE 问题的经典教科书结果，我们可以得到测试点预测估计器 \(f\left(\bm{x}_{\text{te}};\hat{\bm{w}}\left(\mathcal{D}_{n}\right)\right)\) 的闭式解，假设 \(\lambda>0\) 或 \(\hat{\Sigma}\) 满秩（或两者同时成立）：

\[
\hat{y}\left(\bm{x}_{\text{te}},X,\bm{\varepsilon}\right)=\bm{x}_{\text{te}}^{\top}\hat{\Sigma}_{\lambda}^{-1}X^{\top}\bm{y}
\tag{2}
\]

我们将 \(\bm{y}=y^{*}\left(X\right)-X\bm{w}^{*}+X\bm{w}^{*}+\bm{\varepsilon}\) 写出来，以显式展示设定错误的影响，记为 \(\bm{\delta}(X):=y^{*}(X)-X\bm{w}^{*}\)。测试预测进一步分解为：

\[
\hat{y}\left(\bm{x}_{\text{te}},X,\bm{\varepsilon}\right)=\bm{x}_{\text{te}}^{\top}\bm{w}^{*}
+\underbrace{\bm{x}_{\text{te}}^{\top}\hat{\Sigma}_{\lambda}^{-1}X^{\top}\bm{\varepsilon}}_{\text{random error}}
\\
+\underbrace{\bm{x}_{\text{te}}^{\top}\hat{\Sigma}_{\lambda}^{-1}X^{\top}\bm{\delta}(X)}_{\text{misspecification error}}
-\underbrace{\lambda\,\bm{x}_{\text{te}}^{\top}\hat{\Sigma}_{\lambda}^{-1}\bm{w}^{*}}_{\text{ridge shrinkage}}
\tag{3}
\]

这种形式突显了估计器对特定样本 \(X\) 和 \(\bm{\varepsilon}\) 的依赖性。不同的样本会提供不同的预测器，而这里显式地展示了 \((X,\bm{\varepsilon})\) 与估计器之间的联系。这也涉及查询实例 \(\bm{x}_{\text{te}}\)，而选择线性模型作为假设类的一个直接后果是 \((X,\bm{\varepsilon},\bm{x}_{\text{te}})\) 与给定测试点处预测之间的这种特定函数依赖关系，这表明预测方差也将同样依赖于测试实例。

在下面的内容中，我们将不再显式写出对随机变量 \(X\) 和 \(\bm{\varepsilon}\) 的依赖，以简化记号。

#### 固定设计方差

在固定设计中，实例集 \(X\) 被视为固定的，唯一的随机量是响应噪声 \(\bm{\varepsilon}\)。