RoBell-RVFL: 一种鲁棒的广义贝尔随机向量功能链接网络

# RoBell-RVFL：一种鲁棒的广义钟型随机向量泛函链接网络
来源：https://arxiv.org/html/2608.16965
A. Rahaman 单位：印度理工学院印多尔分校数学系，印多尔，印度 [email protected]  
A. Quadir 单位：印度理工学院印多尔分校数学系，印多尔，印度 [email protected]  
M. Tanveer 单位：印度理工学院印多尔分校数学系，印多尔，印度 [email protected]

###### 摘要

现实世界数据集中多数类的主导地位对随机神经网络构成了根本性挑战，常常导致决策边界产生偏差，并忽略关键的少数类样本。现有的补救措施，如合成少数类过采样（SMOTE）和类加权损失函数，主要解决类别比例问题，而忽略了类内分布，这使其易受标签噪声和异常值的影响。本文提出了RoBell-RVFL，一种鲁棒且轻量的*质量感知*广义钟型随机向量泛函链接网络，它重新定义了随机模型处理类别不平衡和噪声数据的方式。RoBell-RVFL采用双策略、样本级加权机制，该机制通过使用单位权重严格保留少数类信息，同时通过在核诱导特征空间中使用概率加权的广义钟型（gbell）隶属函数来自适应地调节多数类样本的影响。这种设计有效地抑制了多数类中的噪声、边界和异常值样本，使网络能够从有信息量的样本而非仅仅是数量多的样本中学习。通过在学习过程中明确地融入局部类别概率和类别分布信息，RoBell-RVFL在不牺牲RVFL网络闭式学习效率的情况下，实现了对样本贡献的自适应控制。在UCI和KEEL基准数据集上的广泛评估，以及在高达40%标签噪声下的鲁棒性测试表明，RoBell-RVFL始终且显著地优于最新的尖端RVFL变体。结果表明，自适应的、质量感知的样本加权对于鲁棒的RVFL学习至关重要，使得传统的全局加权方案在噪声和不平衡环境中失效。

###### 索引术语：

随机神经网络（RdNNs），随机向量泛函链接网络（RVFL），鲁棒性，钟型函数。

## I 引言与动机

随机向量泛函链接（RVFL）网络[1 (https://arxiv.org/html/2608.16965#bib.bib1), 2 (https://arxiv.org/html/2608.16965#bib.bib2)]是一种突出的随机神经网络（RdNN）模型，因其结构简单和高计算效率而备受关注。RVFL的定义特征在于其学习范式：连接输入层和隐藏层的权重是随机初始化的，并在整个训练过程中保持固定，而只有输出层权重通过岭回归[3 (https://arxiv.org/html/2608.16965#bib.bib3)]的闭式解进行解析学习。通过消除迭代权重更新和基于梯度的优化，RVFL实现了极快的训练速度和低计算开销，同时确保稳定和可重现的学习行为。

此外，RVFL采用单隐藏层和输入输出层之间直接连接的浅层架构，能够保留原始输入信息并改善泛化能力。得益于其输出权重的闭式学习和具有少量可训练参数的紧凑网络结构，RVFL实现了快速训练和低计算复杂度[4 (https://arxiv.org/html/2608.16965#bib.bib4)]。在奥卡姆剃刀和可能近似正确（PAC）学习理论[5 (https://arxiv.org/html/2608.16965#bib.bib5)]等原则的指导下，RVFL可被视为传统人工神经网络的一种轻量级但有效的替代方案。

受其结构简单性和可解析的学习框架的启发，已提出了众多基于RVFL的变体，以在各种应用场景中进一步提高预测精度和鲁棒性[6 (https://arxiv.org/html/2608.16965#bib.bib6), 7 (https://arxiv.org/html/2608.16965#bib.bib7)]。由于其直接的输入到输出连接和高效的信息流，RVFL表现出强大的泛化能力和高学习效率。

近期研究试图通过多样化的结构改进和学习策略来增强RVFL网络的表达能力、鲁棒性和适应性。例如，total-var-RVFL和class-var-RVFL[8 (https://arxiv.org/html/2608.16965#bib.bib8)]利用输入和随机特征空间中的统计离散度来更有效地估计输出层权重。RVFL+模型[9 (https://arxiv.org/html/2608.16965#bib.bib9)]在学习使用特权信息（LUPI）范式下开发，利用辅助的仅训练信息来指导学习，改善收敛性和泛化能力；其核化扩展KRVFL+[10 (https://arxiv.org/html/2608.16965#bib.bib10), 11 (https://arxiv.org/html/2608.16965#bib.bib11)]通过核技巧[12 (https://arxiv.org/html/2608.16965#bib.bib12)]进一步增强了非线性建模能力。另一个突出的研究方向是将模糊逻辑集成到RVFL框架中，以更好地处理不确定性和不精确性。神经模糊RVFL（NF-RVFL）[13 (https://arxiv.org/html/2608.16965#bib.bib13)]将模糊推理嵌入RVFL中，提高了鲁棒性和可解释性。

更近期，复值RVFL（CRVFL）[14 (https://arxiv.org/html/2608.16965#bib.bib14)]及其增强扩展（ACRVFL）被引入，以解决与数据表示、增量学习和计算效率相关的挑战。此外，基于粒度和图的RVFL变体，包括GB-RVFL、GE-GB-RVFL[15 (https://arxiv.org/html/2608.16965#bib.bib15)]和基于多视图图的RVFL（GRVFL-MV）[16 (https://arxiv.org/html/2608.16965#bib.bib16)]，通过整合几何和多视图信息展示了改进的判别能力。尽管取得了这些进展，现实世界模式分类中仍存在一个根本性挑战：存在严重不平衡的数据，且常伴有噪声和异常值。在现实世界中，从人脸识别系统到医疗诊断[17 (https://arxiv.org/html/2608.16965#bib.bib17)]，数据很少是完美的。我们经常面临一个压倒性多数类和一个少数类的情况，而且多数类常常充斥着噪声和误导性的异常值。这不仅仅是一个不便；这是标准模型学习方式的一个根本缺陷。传统的RVFL网络过于民主，它们平等对待每个样本。当面对庞大的多数类时，网络实际上忽略了少数类，创建了一个有偏差的决策边界，使得模型对于通常最重要的案例毫无用处。

迄今为止，解决类别不平衡的现有方法大致可分为两类：数据级方法和算法级方法。数据级方法试图通过多数类欠采样或少数类过采样技术（如SMOTE[18 (https://arxiv.org/html/2608.16965#bib.bib18)]）来重新平衡训练集。尽管被广泛采用，但这些方法存在固有局限性：欠采样可能丢弃有信息量的样本，而过采样可能引入冗余并放大噪声[19 (https://arxiv.org/html/2608.16965#bib.bib19)]。

另一方面，算法级方法修改了学习机制本身。在RVFL家族中，已有若干显著的研究成果。CSWRVFL[20 (https://arxiv.org/html/2608.16965#bib.bib20)]解决电能质量扰动分类问题，GE-IFRVFL-CIL[21 (https://arxiv.org/html/2608.16965#bib.bib21)]在保留数据拓扑结构的同时引入了类别相关加权。

尽管取得了这些进展，但仍存在一个关键局限性。现有方法主要解决类别不平衡的*数量*问题，而很大程度上忽略了训练样本的*质量*。特别是，它们缺乏识别和抑制多数类中噪声或异常值样本的机制，同时保留少数类样本的判别信息[22 (https://arxiv.org/html/2608.16965#bib.bib22)]。因此，多数类噪声在不平衡学习场景中继续使决策边界产生偏差。

为了解决这一差距，我们提出了鲁棒广义钟型RVFL（RoBell-RVFL），它执行细粒度的、样本级的加权，而非粗粒度的类别级重加权。RoBell-RVFL的核心创新在于概率加权的广义钟型（gbell）隶属函数[23 (https://arxiv.org/html/2608.16965#bib.bib23)]，该函数融合了空间分布信息与局部类别概率。具体来说，少数类样本被赋予单位隶属值以确保完全保留信息，而多数类样本则根据其gbell隶属度和局部类别概率进行自适应加权。靠近聚类中心的样本保留较高的影响力，而边界、噪声和异常值样本则被有效抑制。通过将这种自适应隶属机制与一种有原则的类别不平衡加权方案[24 (https://arxiv.org/html/2608.16965#bib.bib24), 25 (https://arxiv.org/html/2608.16965#bib.bib25)]相结合，RoBell-RVFL使网络能够从有信息量的样本而非仅仅是数量多的样本中学习。

本文的主要贡献总结如下：

1. **自适应样本级框架**：我们提出了一个双策略学习框架，该框架使用单位权重保留少数类样本，同时根据多数类样本的分布特征自适应地降低其影响。
2. **概率加权噪声抑制**：引入了一种类别概率引导的广义钟型（gbell）隶属函数，以区分有信息量的样本与噪声和异常值，从而防止多数类在学习到的决策边界中占据主导地位。
3. **广泛的实证验证**：在UCI和KEEL基准数据集上的全面实验，包括在高达40%标签噪声下的评估，表明RoBell-RVFL始终优于基于RVFL的最新方法和不平衡学习方法。

本文其余部分组织如下。第III节（https://arxiv.org/html/2608.16965#S3）介绍了RoBell-RVFL及其类别不平衡加权机制的数学公式。相关工作、实验设置以及在UCI和KEEL上无标签噪声的实验结果报告在补充材料的第S.I节、S.IV节和S.VII节中。最后，第V节（https://arxiv.org/html/2608.16965#S5）对全文进行总结。

## II 符号说明

考虑训练数据集，记为\( (\{a\}_i, \{b\}_i) \)，其中 \(\{a\}_i \in \mathbb{R}^{1 \times B}\) 且 \(\{b\}_i \in \mathbb{R}^{1 \times D}\)，其中 \(i = 1, 2, \ldots, A\)。这里，\(B\) 表示每个输入样本中的特征数，\(D\) 是数据集中的总类别数，而 \(A\) 表示训练样本的总数。在分类背景下，\(\{b\}_i\) 指一个独热编码向量，表示对应于输入样本 \(\{a\}_i\) 的类别标签。我们定义所有输入样本和目标值的集合如下：
\( Z = \begin{bmatrix} \{a\}_1^t & \{a\}_2^t & \dots & \{a\}_M^t \end{bmatrix}^t \in \mathbb{R}^{A \times B}, \quad Z_{out} = \begin{bmatrix} \{b\}_1^t & \{b\}_2^t & \dots & \{b\}_M^t \end{bmatrix}^t \in \mathbb{R}^{A \times E} \),
其中运算符 \( (\cdot)^t \) 表示转置。这些矩阵 \( Z \) 和 \( Z_{out} \) 分别包含了所有输入样本及其对应的目标值。\(D\) 是隐藏节点的数量。

## III 提出的方法

假设训练数据集由 \(Z\) 个标记样本组成，表示为 \( \{(a_1, b_1), (a_2, b_2), \ldots, (a_A, b_A)\} \)，其中 \(a_i \in \mathbb{R}^B\) 表示第 \(i\) 个样本的 \(B\) 维特征向量，\(b_i \in \{+1, -1\}\) 表示其对应的类别标签。令 \(h_1 \in \mathbb{R}^{A_1 \times B}\) 和 \(h_2 \in \mathbb{R}^{A_2 \times B}\) 分别表示由正类（\( +1 \)）和负类（\( -1 \)）样本组成的矩阵。不失一般性，假设正类构成多数类（\(A_1 \geq A_2\)），而负类代表少数类。属于多数类的样本 \(a_i\) 记为 \(a_i^m\)，而属于少数类的样本记为 \(a_i^{m'}\)。

在提出的框架中，在样本权重定义阶段明确避免了不平衡比例的使用。相反，类别不平衡的影响在学习阶段通过自适应样本加权和类别相关正则化来解决。此外，数据样本通过一个核诱导映射隐式地映射到更高维的特征空间，记为 \(K(\cdot)\)，这使得能够有效地建模非线性类别分布。

### III-A 隶属值的确定

广义钟型（gbell）函数是一种灵活的模糊隶属函数，因其平滑的可控性而被广泛应用于模糊系统[23 (https://arxiv.org/html/2608.16965#bib.bib23)]。在提出的RoBell-RVFL框架中，gbell函数基于训练样本在核诱导特征空间中的分布为其分配自适应的隶属值。具体来说，它降低了来自多数类的异常值和边界样本的权重，同时保留少数类样本的完全隶属度以避免信息损失[26 (https://arxiv.org/html/2608.16965#bib.bib26)]。与传统的基于距离的公式不同，gbell隶属度是使用核函数计算的，从而能够隐式映射到更高维空间。令 \(K(\cdot, \cdot)\) 表示一个高斯核，定义为 \(K(a_i, a_j) = \exp\left(-\frac{\|a_i - a_j\|^2}{\xi^2}\right)\)，其中 \(\xi\) 是核宽度参数。参数 \(\xi\) 控制高斯核的宽度，并决定核诱导特征空间中相似性的尺度。较小的 \(\xi\) 值强调局部邻域结构，而较大的值导致更平滑的相似性分布。

对于正（多数）类和负（少数）类样本，核诱导半径计算如下：

\( r_i^{(+)} = \sqrt{1 - 2\,\frac{1}{t_1}\sum_{a_j \in T_1} K(a_i, a_j) + \frac{1}{t_1^2}\sum_{a_p, a_q \in T_1} K(a_p, a_q) } \)， (1)

\( r_i^{(-)} = \sqrt{1 - 2\,\frac{1}{t_2}\sum_{a_j \in T_2} K(a_i, a_j) + \frac{1}{t_2^2}\sum_{a_p, a_q \in T_2} K(a_p, a_q) } \)。