Intuitionistic Fuzzy Graph Embedded Random Vector Functional Link with Multiview Learning

# Intuitionistic Fuzzy Graph Embedded Random Vector Functional Link with Multiview Learning
Source: https://arxiv.org/html/2607.05635
###### 摘要

随机向量函数链接（RVFL）网络因其快速训练和通用逼近能力而广受欢迎。然而，RVFL模型在保持几何关系以及有效利用多视图特征方面面临挑战。为解决这些局限性，我们提出了直觉模糊图嵌入随机向量函数链接多视图学习（IFGRVFL-MV）模型。所提出的方法包含三个关键组成部分：用于处理不确定性的直觉模糊集、用于捕获内在几何结构的图嵌入，以及用于利用多特征空间互补信息的多视图学习。该模型为数据点分配直觉模糊隶属度和非隶属度，使其对异常值具有鲁棒性。此外，图嵌入框架保留了拓扑结构，提高了泛化性能。我们在UCI和KEEL存储库的基准数据集上进行了实验，结果表明IFGRVFL-MV在分类精度上优于现有模型。我们的结果证实IFGRVFL-MV是不确定性和多视图环境领域的一项有前景的进展。

## I. 引言

机器学习多年来已显著发展，传统算法如支持向量机（SVM）[10]、决策树和k-最近邻（k-NN）广泛用于分类和回归任务。然而，这些方法常面临高计算复杂度、对超参数敏感以及难以处理噪声或不确定数据[9]等挑战。例如，SVM虽然对二分类有效，但由于其二次优化复杂度，在处理大规模数据集时存在困难[11]。类似地，使用反向传播训练的传统神经网络容易出现收敛缓慢、局部极小值和过拟合等问题[14]。

相比之下，随机神经网络（RNN），特别是RVFL网络，因其简单性、快速训练速度和通用逼近能力而成为有前景的替代方案[16]。与传统神经网络不同，RVFL网络随机初始化隐藏层的权重并解析地计算输出权重，避免了迭代优化的需要[24]。这种方法不仅减少了训练时间，还消除了陷入局部极小值的风险。此外，RVFL网络中输入层和输出层之间的直接链接增强了其泛化性能，使其适用于广泛的应用，包括医疗保健、图像分类和预测[18]。

近期研究集中于通过整合先进技术（如模糊逻辑、图嵌入（GE）和多视图学习（MVL））来增强RVFL网络的能力。例如，直觉模糊RVFL（IFRVFL）模型整合了直觉模糊集以处理数据中的不确定性和不精确性，根据每个样本与类中心的距离及其邻居的异质性为其分配隶属度和非隶属度值[15]。这种方法提高了模型对噪声和异常值的鲁棒性，使其对噪声数据集特别有效。类似地，图嵌入RVFL（GE-RVFL）模型利用GE框架捕获数据内部的几何关系，保留拓扑结构并增强泛化性能[23]。

MVL的概念也已与RVFL网络整合，以利用来自多个特征集的互补信息。MVL模型，如多视图RVFL（MvRVFL），结合来自不同视图的数据以提高分类精度和鲁棒性。例如，在图像分类中，颜色、纹理和形状等特征可以提供不同但互补的信息，MVL模型有效地利用了这些信息。基于多视图学习的图随机向量函数链接（GRVFL-MV）[17]是一个显著例子，它结合了RVFL、MVL和GE框架，在多样化数据集上实现了优越性能。

尽管取得了这些进展，但在处理噪声环境和有效结合多种技术方面仍然存在挑战。直觉模糊集已被证明可以通过根据样本的隶属度和非隶属度值为其分配适当权重来有效处理不确定性和噪声[19]。例如，直觉模糊孪生支持向量机（IFTSVM）将直觉模糊理论与孪生SVM结合，以减少噪声的影响并提高分类精度[19]。类似地，图嵌入直觉模糊RVFL（GE-IFRVFL）模型整合了GE和直觉模糊集，以在保留数据几何结构的同时处理不确定性[8]。

然而，现有模型通常孤立地关注模糊逻辑、GE或MVL中的某一项，在有效结合这些技术方面仍有改进空间。例如，虽然GE-IFRVFL在处理不确定性和保留几何关系方面表现出色，但它并未充分利用MVL的潜力。类似地，GRVFL-ML利用了MVL和GE，但未纳入直觉模糊集来处理不确定性和噪声。这一差距促使我们开发一个统一模型，将直觉模糊理论、GE和MVL整合到RVFL框架中。

在本文中，我们提出了直觉模糊图嵌入随机向量函数链接多视图（IFGRVFL-MV）模型，该模型通过结合直觉模糊集、GE和MVL来解决现有方法的局限性。所提出的IFGRVFL-MV模型为每个数据点分配直觉模糊隶属度和非隶属度值，使其能够有效处理噪声和不确定数据集。此外，IFGRVFL-MV模型利用GE框架捕获数据内部的几何关系，进一步增强了其泛化性能。通过整合MVL，该模型可以利用来自多个特征集的互补信息，从而获得优越的分类精度。

本文的主要贡献如下：

- • 我们将直觉模糊集引入RVFL框架，使模型能够有效处理数据中的不确定性和不精确性。隶属度和非隶属度值分别根据每个样本与类中心的距离及其邻近点的异质性进行分配。
- • 我们将GE框架纳入IFGRVFL-MV模型，以捕获数据内部的几何关系。通过在拼接后的特征矩阵上定义内在图和惩罚图，模型保留了数据的拓扑结构，从而获得更好的泛化性能。
- • 我们利用MVL结合来自数据多个视图的信息。这种方法使模型能够捕获在单一视图下可能不明显的复杂模式和关系，进一步增强了其分类性能。
- • 我们在基准数据集（包括UCI和KEEL）上进行实验，以评估IFGRVFL-MV模型的性能。我们进行统计分析，包括弗里德曼、威尔科克森和胜-平-负检验，以验证所提模型相对于现有方法的优越性。结果证实IFGRVFL-MV模型在分类性能上取得了统计显著的改进。

本文的其余部分组织如下：第二部分详细回顾了相关工作，包括标准RVFL模型、直觉模糊集和GE技术。第三部分介绍了所提出的IFGRVFL-MV模型，包括其数学公式和优化。第四部分讨论了实验设置和结果，随后是第五部分的结论和未来方向。

## II. 相关工作

### II-A 符号说明

在本小节中，我们介绍本文中使用的数学符号。令 \(z_i\) 表示第 \(i\) 个数据点，其中 \(i=1,2,\dots,n\)，\(n\) 是样本总数。每个数据点 \(z_i\) 以两个视图表示：\(P\) 和 \(Q\)。视图 \(P\) 中的特征向量表示为 \(z_i^P \in \mathbb{R}^{1 \times m_1}\)，其中 \(m_1\) 是视图 \(P\) 中每个样本的特征数，视图 \(P\) 的输入矩阵为 \(Z^P \in \mathbb{R}^{n \times m_1}\)。类似地，视图 \(Q\) 中的特征向量为 \(z_i^Q \in \mathbb{R}^{1 \times m_2}\)，其中 \(m_2\) 是视图 \(Q\) 中每个样本的特征数，视图 \(Q\) 的输入矩阵为 \(Z^Q \in \mathbb{R}^{n \times m_2}\)。第 \(i\) 个数据点的目标变量为 \(y_i \in \{+1, -1\}\)，所有数据点的目标向量为 \(Y = [y_1, y_2, \dots, y_n]^\top \in \mathbb{R}^{n \times 1}\)。

### II-B 预备知识

#### II-B1 随机向量函数链接网络

RVFL [16] 网络是单层前馈网络的变体，旨在有效处理回归和分类任务。与传统神经网络不同，RVFL 随机初始化连接输入层到隐藏层的权重并在训练期间保持固定，从而提高了计算效率，并同时捕获线性和非线性数据关系。其架构包括输入层、具有随机初始化神经元的隐藏层和输出层。隐藏层应用指定的激活函数来变换输入，引入非线性，同时通过其随机连接降低过拟合风险。此外，从输入层到输出层的直接连接绕过了反向传播，确保了更快的收敛并促进了稳健的信息流。

请参阅图标题图 1：RVFL 网络架构

令 \(Z \in \mathbb{R}^{n \times m_1}\) 为输入数据矩阵，其中 \(n\) 为样本数，\(m_1\) 为特征数。隐藏层通过随机生成权重 \(W \in \mathbb{R}^{m_1 \times h}\) 和偏置 \(B \in \mathbb{R}^{n \times h}\) 来构建，其中 \(h\) 是隐藏神经元数。权重矩阵 \(W\) 通常从 \([-1, 1]\) 范围内的均匀分布中抽取，偏置矩阵 \(B\) 也是随机初始化的。

隐藏层矩阵的输出，记为 \(H \in \mathbb{R}^{n \times h}\)，通过将非线性激活函数 \(\phi(\cdot)\) 应用于输入特征与随机生成权重和偏置的线性组合来计算：

\[
H = \phi(ZW + B),
\quad (1)
\]

其中 \(\phi(\cdot)\) 是 leaky ReLU 激活函数。矩阵 \(H\) 表示隐藏层中的变换特征。

在 RVFL 中，原始输入特征 \(Z\) 被直接传递到输出层，连同来自隐藏层的变换特征 \(H\)。这通过拼接 \(Z\) 和 \(H\) 以形成一个新矩阵 \(H_c \in \mathbb{R}^{n \times (m_1 + h)}\) 来实现：

\[
H_{\text{concat}} = [Z \quad H].
\quad (2)
\]

然后使用闭式解（通常通过最小二乘法或 Moore-Penrose 伪逆）计算输出层权重 \(\beta \in \mathbb{R}^{(m_1 + h) \times 1}\)。预测输出 \(Y_{\text{pred}} \in \mathbb{R}^{n \times 1}\) 由下式给出：

\[
Y_{\text{pred}} = H_c \beta.
\quad (3)
\]

RVFL 的优化问题可以表述为：

\[
\min_{\beta} \frac{1}{2} \|\beta\|^2 + \frac{c}{2} \|\xi\|^2,
\quad (4)
\]

约束条件：\(H_c \beta - Y = \xi\)

其中 \(Y \in \mathbb{R}^{n \times 1}\) 是真实目标向量，\(\xi \in \mathbb{R}^{n \times 1}\) 是误差项，\(c\) 是控制权重范数与误差之间权衡的正则化参数。

该优化问题的解由下式给出：

\[
\beta = 
\begin{cases}
(H_c^\top H_c + \frac{1}{c}I)^{-1} H_c^\top Y, & \text{如果 } (m+h) \leq n, \\[10.0pt]
H_c^\top (H_c H_c^\top + \frac{1}{c}I)^{-1} Y, & \text{如果 } n < (m+h),
\end{cases}
\quad (5)
\]

其中 \(I\) 是适当维度的单位矩阵。

#### II-B2 多视图学习

MVL [26] 是一种机器学习范式，通过利用同一数据的多个互补表示（或“视图”）来增强模型性能。与传统方法将特征拼接成单一表示不同，MVL 为每个视图优化单独的函数，同时联合集成它们以提高泛化能力。这种方法解决了单视图方法中固有的高维稀疏性和独特统计特性丢失等挑战。

- • 协同训练：确保视图之间的一致性以强化预测并提高置信度，正如协同训练模型[4] 所引入的那样。
- • 协同正则化：对齐学习过程以减少视图之间的差异，例如在图基和核基模型[20], [21] 中。
- • 边缘一致性：保持跨视图的稳定决策边界，例如 SVM-2K 模型[7] 所示。

MVL 的有效性已在多种应用中得到证明。在图像分类中，多视图半监督学习框架通过使用标记和伪标记图像迭代训练视图特定分类器，实现了有效的图像分类[28]。在生物医学研究中，它整合了临床和影像数据用于预测疾病进展等任务[27]。类似地，MVL 已应用于财务困境预测[6] 和消费者行为分析，其中异构数据的整合提供了更深入的洞察[25]。

数学上，MVL 旨在联合优化多个视图的模型，同时保留其互补性。令 \(Z^P \in \mathbb{R}^{n \times m_1}\) 和 \(Z^Q \in \mathbb{R}^{n \times m_2}\) 表示数据的两个不同视图，其中 \(n\) 是样本数，\(m_1\) 和 \(m_2\) 分别是视图 \(P\) 和 \(Q\) 中特征的维度。MVL 的目标通常可以表示为：

\[
\min_{f_P, f_Q} \mathcal{L}(f_P(Z^P), f_Q(Z^Q)) + \lambda R(f_P, f_Q),
\]