UASPL：基于证据神经网络的不确定性感知自步学习

# UASPL：基于证据神经网络的不确定性感知自步学习
来源：https://arxiv.org/html/2607.06638
###### 摘要

自步学习（SPL）是一种有效的学习范式，它通过在学习过程中根据损失函数的值从易到难地处理样本，模拟人类的学习过程。它在提升模型性能和训练效率方面显示出巨大潜力。然而，损失值较小的样本的预测结果并不一定可靠，这意味着此类样本对模型而言并非总是简单的样本。因此，本文提出了一种基于证据神经网络的不确定性感知自步学习方法，称为UASPL，它在主观逻辑框架内通过一个通用损失函数将预测可靠性融入样本选择中。该损失函数包含不确定性估计，并可扩展到SPL的不同变体。此外，该损失函数耦合了样本选择偏好，从而确保了样本选择过程的可解释性。最后，在多个数据集上的实验结果表明，UASPL在分类性能、可解释性和通用性方面优于其他SPL方法。源代码可在以下网址获取：https://github.com/treelife979/UASPL。

###### 关键词：

自步学习，证据深度学习，不确定性估计

\\affiliation

\[地址1\]西北农林科技大学信息工程学院，陕西杨凌，712100，中国

\\affiliation

\[地址2\]陕西省农业信息智能感知与分析工程技术研究中心，西北农林科技大学，陕西，中国

\\affiliation

\[地址3\]西北农林科技大学深圳研究院，广东深圳，518000，中国

## 1 引言

自步学习（SPL）[16 (https://arxiv.org/html/2607.06638#bib.bib1)]源于课程学习（CL）[1 (https://arxiv.org/html/2607.06638#bib.bib2)]，它以一种从易到难的动态方式选择训练数据，而不是像传统机器学习和深度学习方法那样不加区分地使用所有训练数据，从而在鲁棒性和训练效率方面取得了显著成功[20 (https://arxiv.org/html/2607.06638#bib.bib16),34 (https://arxiv.org/html/2607.06638#bib.bib10),38 (https://arxiv.org/html/2607.06638#bib.bib12)]。SPL的扩展主要从两个方面改进该框架：一是关注自步正则化项的数学设计以调整样本权重[11 (https://arxiv.org/html/2607.06638#bib.bib5),39 (https://arxiv.org/html/2607.06638#bib.bib6),17 (https://arxiv.org/html/2607.06638#bib.bib8)]，二是引入先验知识来表征样本难度[12 (https://arxiv.org/html/2607.06638#bib.bib11),9 (https://arxiv.org/html/2607.06638#bib.bib13),36 (https://arxiv.org/html/2607.06638#bib.bib14)]。对于前者，基于理论推导和形式化泛化，通过扩展其数学结构，打破了传统正则化项（例如硬/线性形式）的限制。对于后者，它将先验知识融入权重约束中，纠正了仅基于损失的分布偏差。这些发展极大地丰富了SPL框架。

然而，一个关键问题尚未被充分探讨：低损失样本是否一定是模型所需的可靠简单样本？直观上，第一轮选出的简单样本的均值相对损失变化（MRLV）应在后续轮次中保持相对稳定，且不应出现显著下降。图1 (https://arxiv.org/html/2607.06638#S1.F1) 的实验结果在多个数据集上与此直觉相悖。如图1 (https://arxiv.org/html/2607.06638#S1.F1) 所示，MRLV在后续训练阶段会出现波动或显著下降，甚至变为负值，这反映出它们的损失在之后的训练阶段正在增加。这种异常现象表明，基于第一轮损失选出的样本对于模型的所有阶段而言并非可靠的简单样本。

参见图注(a)输血
参见图注(b)流行
参见图注(c)乳腺癌诊断
参见图注(d)电离层

图1：四个数据集上各轮次的均值相对损失变化。注意：令S1S\_\{1\}表示第一轮选出的样本集合。对于每一轮tt，样本x∈S1x\\in S\_\{1\}的相对损失变化定义为Lt−1(x)−Lt(x)Lt−1(x)+ε\\frac\{L\_\{t-1\}(x)-L\_\{t\}(x)\}\{L\_\{t-1\}(x)+\\epsilon\}，其中Lt(x)L\_\{t\}(x)表示样本xx在第tt轮后的损失，L0(x)L\_\{0\}(x)表示自步学习第一轮开始前通过前向传播获得的损失，ε\\epsilon是一个小的正常数，用于避免除零。每条曲线报告了S1S\_\{1\}中所有样本该指标的均值。

为了更好地区分可靠的简单样本和伪简单样本，本文提出了UASPL，一种在主观逻辑框架内基于证据神经网络的不确定性感知自步学习方法。具体来说，UASPL将当前模型生成的证据不确定性与标签拟合损失相结合，使得样本难度估计不再仅依赖于训练损失，也无需先验知识。通过自适应地引导证据增长，UASPL进一步引入了一种可解释的、与由易到难学习策略一致的样本选择偏好。此外，这种设计也可以自然地扩展到不同的SPL变体，而无需大量修改。在多个数据集上的实验结果表明，与代表性SPL方法相比，UASPL取得了良好的分类性能、可解释性和通用性。总之，本文的贡献总结如下：

(1) 据我们所知，UASPL是第一种直接将模型生成的证据不确定性与标签拟合损失一起纳入自步学习目标的SPL方法，确保它能选择可靠的简单样本。

(2) UASPL有效性的原因可以得到很好的解释。UASPL引入的样本选择偏好与自步学习原则一致，即可靠的简单样本应该被更早地选择，而证据不足或具有误导性的样本应该被推迟。

(3) 分析了UASPL超越特定SPL公式的通用性。特别是，将UASPL嵌入到不同的SPL变体中，例如线性正则化器和混合正则化器，以评估UASPL是否仅与特定正则化器相关。

本文的其余部分组织如下。第2节 (https://arxiv.org/html/2607.06638#S2) 回顾相关工作。第3节 (https://arxiv.org/html/2607.06638#S3) 详细阐述UASPL，包括损失函数的公式、相应的原理以及详细的算法。第4节 (https://arxiv.org/html/2607.06638#S4) 展示并分析了多个数据集上的实验结果，证明了所提出方法的有效性。最后，第5节 (https://arxiv.org/html/2607.06638#S5) 总结本文并展望未来工作。

## 2 相关工作

本节回顾与我们的方法最相关的先前研究，包括深度学习中的不确定性估计和自步学习。

### 2.1 深度学习中的不确定性估计

不确定性估计在深度学习中得到了广泛研究，因为它提供了关于模型预测结果的可靠性信息。一种常见的研究思路直接从模型输出中获取与不确定性相关的信号，例如置信度[2 (https://arxiv.org/html/2607.06638#bib.bib32)]、边际[10 (https://arxiv.org/html/2607.06638#bib.bib35)]和历史预测概率的方差[5 (https://arxiv.org/html/2607.06638#bib.bib36)]。另一个有影响力的方向是贝叶斯方法。在此方向上，蒙特卡洛丢弃通过执行多次随机前向传播来近似贝叶斯推理[6 (https://arxiv.org/html/2607.06638#bib.bib33)]，从中可以估计出诸如互信息[7 (https://arxiv.org/html/2607.06638#bib.bib34)]及其变体[15 (https://arxiv.org/html/2607.06638#bib.bib38),31 (https://arxiv.org/html/2607.06638#bib.bib37)]等不确定性度量。

与这些方法不同，证据深度学习（EDL）通过证据神经网络（ENN）量化预测不确定性[26 (https://arxiv.org/html/2607.06638#bib.bib15),35 (https://arxiv.org/html/2607.06638#bib.bib20)]，该网络在主观逻辑框架[4 (https://arxiv.org/html/2607.06638#bib.bib22),37 (https://arxiv.org/html/2607.06638#bib.bib21)]内对类概率上的高阶狄利克雷分布进行参数化，从而缓解了传统深度神经网络的过度自信问题[3 (https://arxiv.org/html/2607.06638#bib.bib24),30 (https://arxiv.org/html/2607.06638#bib.bib23)]。在此公式下，ENN输出每个类别的证据，由此可以推导出预测概率和不确定性估计[29 (https://arxiv.org/html/2607.06638#bib.bib26),8 (https://arxiv.org/html/2607.06638#bib.bib25)]。EDL中常用的一个损失函数是证据均方误差（EMSE），公式如下：

LEMSE=∑k=1K(yk−αkS)2+αk(S−αk)S2(S+1)\\mathcal\{L\}\_\\{\\text\{EMSE\}\\}=\\sum\_\{k=1\}^\{K\}\\left\\(y\_\{k\}-\\frac\{\\alpha\_\{k\}\}\{S\}\\right\\)^\{2\}+\\frac\{\\alpha\_\{k\}(S-\\alpha\_\{k\})\}\{S^\{2\}(S+1)\} (1)

其中yky\_\{k\}是独热编码的真实标签，αk=ek+1\\alpha\_\{k\}=e\_\{k\}+1。eke\_\{k\}是第k类别的证据，S=∑j=1KαjS=\\sum\_\{j=1\}^\{K\}\\alpha\_\{j\}。为了进一步引导学习过程，引入了一个库尔贝克-莱布勒（KL）散度项来惩罚非真实类别上的证据累积，定义为：

LKL=KL[Dir(α~)∥Dir(1,...,1)]\\mathcal\{L\}\_\\{\\text\{KL\}\\}=\\text\{KL\}\\left\[\\text\{Dir\}(\\tilde\{\\alpha\})\\parallel\\text\{Dir\}(1,\\ldots,1)\\right\] (2)

其中α~i=yi+(1−yi)⊙αi\\tilde\{\\alpha\}\_\{i\}=\\mathbf\{y\}\_\{i\}+(1-\\mathbf\{y\}\_\{i\})\\odot\\alpha\_\{i\}，然后最终的损失函数如下所述：

LEDL=LEMSE+λKL⋅LKL\\mathcal\{L\}\_\{EDL\}=\\mathcal\{L\}\_\\{\\text\{EMSE\}\\}+\\lambda\_\{KL\}\\cdot\\mathcal\{L\}\_\\{\\text\{KL\}\\} (3)

其中λKL\\lambda\_\{KL\}是一个退火系数。此外，不确定性估计uu用于评估预测的可靠性，定义为：

### 2.2 自步学习

自步学习是一种机器学习范式，通过从易到难逐步引入训练样本来模拟人类的学习过程[16 (https://arxiv.org/html/2607.06638#bib.bib1),23 (https://arxiv.org/html/2607.06638#bib.bib9),14 (https://arxiv.org/html/2607.06638#bib.bib30)]。具体来说，SPL为每个样本分配一个权重，在早期阶段优先考虑简单样本，并逐渐引入更困难的样本[33 (https://arxiv.org/html/2607.06638#bib.bib29),13 (https://arxiv.org/html/2607.06638#bib.bib28),25 (https://arxiv.org/html/2607.06638#bib.bib27)]。SPL的优化目标可以表示为

minw,v∑i=1NviL(yi,f(xi;w))+g(vi;λ)\\min\_\{w,v\}\\sum\_\{i=1\}^\{N\}v\_\{i\}L\\left\(y\_\{i\},f\\left\(x\_\{i\};w\\right\)\\right\)+g\\left\(v\_\{i\};\\lambda\\right\) (5)

其中xix\_\{i\}和yiy\_\{i\}分别是第i个样本的特征和标签，f(xi;w)f(x\_\{i\};w)是参数为ww的已学习模型，L(⋅)L(\\cdot)是损失函数，viv\_\{i\}是控制学习顺序的样本权重，g(vi;λ)g(v\_\{i\};\\lambda)是自步正则化器。关于SPL的更多细节可在[16 (https://arxiv.org/html/2607.06638#bib.bib1),11 (https://arxiv.org/html/2607.06638#bib.bib5),39 (https://arxiv.org/html/2607.06638#bib.bib6)]中找到。

关于SPL的研究主要从以下两个角度进行：如何在渐进学习过程中更新样本权重以及如何表征样本难度。一项重要的工作是重新设计自步正则化器，以在不同学习场景中获得更灵活的权重行为。代表性研究引入了多种用于自步重排序的软正则化器[11 (https://arxiv.org/html/2607.06638#bib.bib5)]，将SPL扩展到矩阵分解[39 (https://arxiv.org/html/2607.06638#bib.bib6)]，为多标签学习开发了通用的自步函数[17 (https://arxiv.org/html/2607.06638#bib.bib8)]，并针对卷积或代价敏感设置提出了动态或自适应加权策略[18 (https://arxiv.org/html/2607.06638#bib.bib7),19 (https://arxiv.org/html/2607.06638#bib.bib17)]。尽管这些研究提高了SPL框架的灵活性，但样本选择仍然主要依赖于基于损失的标准，因此难以选择出真正的简单样本，如图1 (https://arxiv.org/html/2607.06638#S1.F1) 所示。

另一项流行的工作是在训练损失之外纳入额外信息来估计样本难度。例如，具有统计不确定性先验的自步学习（SPUP）将一个统计不确定性先验引入SPL，缓解了纯基于损失选择的偏差[9 (https://arxiv.org/html/2607.06638#bib.bib13)]。基于信念函数的加权自步学习（WSPLBF）将学习损失与基于信念函数的证据不确定性相结合，以优化样本选择[36 (https://arxiv.org/html/2607.06638#bib.bib14)]。尽管这些研究表明使用不确定性作为额外先验可以改善样本难度估计，但它们与UASPL有本质区别，如表1 (https://arxiv.org/html/2607.06638#S2.T1) 所示。

表1：UASPL与先前自步学习方法的比较。

| 方法 | 狄利克雷参数 | 不确定性内部生成 | 动态性 | 选择偏好 |
| :--- | :--- | :--- | :--- | :--- |
| 传统SPL | ×\\times | ×\\times | ×\\times | ×\\times |
| SPUP | ×\\times | ×\\times | ✓ | ×\\times |
| WSPLBF | ×\\times | ×\\times | ×\\times | ✓ |
| UASPL | ✓ | ✓ | ✓ | ✓ |

表1 (https://arxiv.org/html/2607.06638#S2.T1) 从以下四个角度总结了UASPL与先前自步学习方法的主要区别：(1) 与传统SPL、SPUP和WSPLBF相比，UASPL将类概率上的狄利克雷分布参数化，而非点估计概率，从而能够进行预测不确定性量化。(2) UASPL中的不确定性由当前证据模型内部生成，而SPUP依赖于潜在样本权重上的预定义高斯扰动，WSPLBF则从信念函数外部构建不确定性。(3) UASPL中的不确定性在训练过程中随模型参数更新而演变。相比之下，WSPLBF中的不确定性相对于已学习的分类器是固定的，而SPUP的动态性主要来自与速度相关的不确定性先验，而非模型生成的不确定性。(4) 尽管WSPLBF也在其样本选择标准中使用了不确定性，但UASPL的不同之处在于其选择偏好由当前模型状态估计的不确定性塑造。此外，如图1 (https://arxiv.org/html/2607.06638#S1.F1) 所示，SPUP和WSPLBF在选择真正简单样本方面仍有改进空间。

## 3 不确定性感知自步学习

为了基于损失值选择真正的简单样本，本节详细阐述UASPL，包括其损失函数、理论原理和详细