具有心理基础标签结构的图正则化深度学习在基于脑电图的情感识别中的应用

arXiv cs.LG 论文

摘要

本文介绍了一种用于基于脑电图的情感识别的图正则化深度学习框架,该框架将心理基础的情感拓扑结构融入训练目标,在SEED数据集上实现了准确率提升高达5.42个百分点以及心理上不合理的误分类减少39%。

arXiv:2607.07773v1 公告类型:新 摘要:基于脑电图的情感识别对于心理健康监测和情感脑机接口至关重要,然而现有的深度学习方法通常将情感类别视为孤立标签,忽略了它们的心理相互依赖关系。我们提出了一种图正则化学习框架,该框架将情感概念化为图中的节点,其中边根据维度情感理论编码接近程度。我们采用了三种互补的正则化策略——图标签平滑(直观软标签)、基于图拉普拉斯的通勤距离(谱图理论)和切片Wasserstein距离(图上最优传输)——按计算复杂度递增的顺序排列。这些策略惩罚偏离已建立情感拓扑的模型预测。我们的框架在三种代表性骨干架构上进行了评估:AudioTransformer(纯Transformer)、Conformer(CNN-Transformer混合)和DCGNN(因果图神经网络),展现了架构无关的收益。在SEED-IV(4类)和SEED-V(5类)数据集上的实验显示了一致的改进:最佳情况准确率提升高达5.42个百分点,心理上不合理的误分类减少39%。最终,我们的框架有助于提升标准方法可达到的性能上限。代码将发布。
查看原文
查看缓存全文

缓存时间: 2026/07/10 06:15

# 基于图正则化的深度学习方法用于心理标签结构约束的脑电情绪识别
来源: https://arxiv.org/html/2607.07773
11institutetext:中山大学数学学院(珠海),广州,中国

###### 摘要

基于脑电的情绪识别对于心理健康监测和情感脑机接口至关重要,然而现有的深度学习方法通常将情绪类别视为孤立的标签,忽略了它们之间的心理相互依赖性。我们提出了一种图正则化学习框架,将情绪概念化为图中的节点,其中边根据维度情绪理论对心理邻近性进行编码。我们采用了三种互补的正则化策略——图标签平滑(直观的软标签)、基于图拉普拉斯的空间距离(谱图理论)和切片 Wasserstein 距离(图上的最优传输)——按计算复杂度递增排序。这些策略惩罚偏离已建立情绪拓扑的模型预测。我们的框架在三种代表性骨干架构上进行了评估:AudioTransformer(纯 Transformer)、Conformer(CNN-Transformer 混合)和 DCGNN(因果图神经网络),展示了架构无关的益处。在 SEED-IV(4 类)和 SEED-V(5 类)数据集上的实验显示了一致的改进:最佳情况下准确率提高多达 5.42%,且心理上不合理的错误分类减少了 39%。最终,我们的框架有助于提升标准方法可达到的性能上限。代码将公开发布。

## 1. 引言

基于脑电图(EEG)信号的自动化情绪识别具有重要的临床应用价值[15 (https://arxiv.org/html/2607.07773#bib.bib1)]。在精神科护理中,追踪情绪轨迹可以指导治疗决策并检测早期复发迹象。在临床环境之外,消费级便携式 EEG 设备(例如 Muse、Emotiv、NeuroSky)的普及为日常情感计算应用开辟了机会。虽然深度学习提高了 EEG 分类的准确率,但标准的交叉熵训练将情绪类别视为互斥且等距的[3 (https://arxiv.org/html/2607.07773#bib.bib15)]——这种表述既与既定的心理学理论相矛盾,也限制了临床和消费级应用。

近期用于 EEG 情绪识别的深度学习架构,包括 CNN[15 (https://arxiv.org/html/2607.07773#bib.bib1)]、GNN[17 (https://arxiv.org/html/2607.07773#bib.bib4)] 和 Transformer[5 (https://arxiv.org/html/2607.07773#bib.bib13),8 (https://arxiv.org/html/2607.07773#bib.bib14)],主要关注特征提取。它们通常采用交叉熵损失,该损失对所有错误分类一视同仁,忽略了情绪的心理结构。虽然标签平滑[18 (https://arxiv.org/html/2607.07773#bib.bib17),14 (https://arxiv.org/html/2607.07773#bib.bib20),12 (https://arxiv.org/html/2607.07773#bib.bib18)] 和层次分类[16 (https://arxiv.org/html/2607.07773#bib.bib21),10 (https://arxiv.org/html/2607.07773#bib.bib16),1 (https://arxiv.org/html/2607.07773#bib.bib19)] 已被探索,但将情绪拓扑系统地整合到训练目标中仍未得到充分解决。这一缺口在临床上意义重大:维度模型[13 (https://arxiv.org/html/2607.07773#bib.bib2)] 表明情绪占据一个结构化的空间,其中某些状态本质上是更相似的。例如,混淆恐惧与悲伤(均为负效价)在心理上比混淆恐惧与快乐更合理。然而,标准损失对两者错误同等惩罚。

为了解决这个问题,我们提出了一个**情绪图**模型,对离散情绪空间进行建模,其中边编码了心理邻近性。该结构使用三种原则性的距离度量定义了**情绪转换难度**——即错误分类情绪的成本:(1) 基于**邻接邻近性**的图标签平滑,用于局部关系;(2) 基于**图拉普拉斯伪逆的空间距离**,用于全局连通性;(3) 基于**切片 Wasserstein 的最优传输距离**,用于度量分布变换的努力程度。这些度量量化了预测误差距离,教导模型混淆相邻情绪比混淆距离远的情绪更可接受。我们还使用基于不确定性的自适应加权[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 来平衡分类和正则化。

我们的贡献是:1. **新颖的基于图的正则化**方法用于 EEG 情绪识别,将心理邻近性纳入训练,有助于提升标准方法可达到的性能上限并增强临床相关性。2. **架构无关的验证**,跨越三个代表性骨干家族:**Transformer(AudioTransformer)**、**CNN-Transformer 混合(Conformer)** 和 **GNN(DCGNN)**,在两个基准数据集上显示改进的最佳准确率和更好的特征表示空间。3. **邻近性违反度量**,用于衡量尊重心理邻近性的有意义错误。

## 2. 方法

### 2.1 情绪图构建

我们基于 Russell 的环状模型[13 (https://arxiv.org/html/2607.07773#bib.bib2)] 构建情绪图,如图 1 (https://arxiv.org/html/2607.07773#S2.F1) 所示,将每种情绪定位在二维**效价-唤醒度**空间中,并连接坐标接近的对。因此,边编码了**心理邻近性**:在情感空间中接近的情绪在图上是相邻的,因此模型混淆它们的惩罚要小于混淆情感距离较远的状态。

SEED-IV[21 (https://arxiv.org/html/2607.07773#bib.bib5)] 是一个广泛使用的 EEG 基准数据集,记录了 15 名受试者在 3 个 session 中的数据,每个 session 包含 72 个电影片段试验,诱发 4 种情绪:**中性**、**悲伤**、**恐惧**和**快乐**。信号通过 62 通道 EEG 以 1000 Hz 采集。图 1 (https://arxiv.org/html/2607.07773#S2.F1) 中显示的图拓扑由效价-唤醒度坐标证明合理:**快乐**是该标签集中**唯一的正效价**情绪;它与负效价状态没有直接的心理邻近性,因此只连接到**中性**,后者占据效价原点。**悲伤**和**恐惧**都是负效价的,且唤醒度部分重叠(分别为低到中和中到高),这为直接连接提供了依据。**中性**作为拓扑枢纽连接到所有节点,反映了其在环状模型中的中心位置。

SEED-V[11 (https://arxiv.org/html/2607.07773#bib.bib6)] 将范式扩展到 5 种情绪(**厌恶**、**恐惧**、**悲伤**、**中性**、**快乐**),包括 16 名受试者和 3 个 session,每个 session 每种情绪 15 个试验(每个 session 75 个试验),同样在 62 通道记录。更丰富的标签集放大了情绪拓扑的重要性:三种负效价情绪(**厌恶**、**恐惧**、**悲伤**)形成一个相互连接的簇,反映了共享的负效价和高唤醒度重叠;**中性**作为情感原点连接到所有节点;**快乐**再次是**唯一的正效价**情绪,它与**中性**的独家连接反映了心理上合理的、缺少到负效价簇的直接路径。

参见图注
图 1: SEED-V(5 种情绪)和 SEED-IV(4 种情绪)的情绪图,以及在我们的图正则化后减少更有问题的错误分类的示例,例如 Happy->Sad 情况。

### 2.2 基于图的正则化

给定邻接矩阵 \(A\),我们计算图拉普拉斯 \(L = D - A\)(其中 \(D\) 是度矩阵)和通过最短路径计算的图距离矩阵 \(C\)。我们采用来自不同数学传统的三种互补正则化策略,按计算复杂度递增的顺序介绍:

**图标签平滑(软标签)**。我们通过根据图邻接性而非均匀分布来分配概率质量,从而扩展了标准标签平滑:
\[
y_i^{smooth} = (1 - \alpha) \cdot y_i + \alpha \cdot \tilde{A}[y_i]
\]
其中 \(\tilde{A}\) 是归一化邻接矩阵,\(y_i\) 是真实类别。这种直观方法将标签朝向心理上相邻的情绪软软化,计算开销极低。

**基于空间距离的图拉普拉斯损失(谱图理论)**。使用伪逆 \(H = L^+\),其编码节点之间的空间距离[4 (https://arxiv.org/html/2607.07773#bib.bib7)]:
\[
\mathcal{L}_{GL} = \frac{1}{B} \sum_{i=1}^{B} (\hat{y}_i - y_i)^T H (\hat{y}_i - y_i)
\]
其中 \(\hat{y}_i\) 是预测分布,\(y_i\) 是 one-hot 真实标签。空间距离度量随机游走在两个节点之间并返回的期望步数,捕捉全局图连通性。

**切片 Wasserstein 损失(最优传输)**。我们计算分布之间的切片 Wasserstein 距离[2 (https://arxiv.org/html/2607.07773#bib.bib8)][19 (https://arxiv.org/html/2607.07773#bib.bib9)]:
\[
\mathcal{L}_{SW} = \frac{1}{L} \sum_{l=1}^{L} W_1(\theta_l^\sharp \hat{y}, \theta_l^\sharp y)
\]
其中 \(L\) 是随机投影的数量,\(\theta_l\) 是在单位球面上均匀采样的随机单位方向,\(\theta_l^\sharp \hat{y}\) 和 \(\theta_l^\sharp y\) 分别表示预测分布 \(\hat{y}\) 和真实分布 \(y\) 在 \(\theta_l\) 上的一维推前(投影),\(W_1\) 是一维 Wasserstein-1 距离。图最短路径距离作为基底度量,使得投影尊重情绪拓扑。随机切片降低了全最优传输的计算成本,同时保持对底层图结构的敏感性。

**计算复杂度**。令 \(K\) 表示情绪类别数,\(B\) 表示批大小。GLS 每个样本需要 \(O(K)\) 进行邻接查找,总计 \(O(BK)\)。GL 涉及与 \(K \times K\) 伪逆的矩阵-向量乘法,成本为 \(O(BK^2)\)。SW 需要 \(L\) 个随机投影和一维排序,得到 \(O(BLK \log K)\),其中 \(L\) 通常为 50–100。对于较小的 \(K\)(此处为 4–5 类),所有三种方法计算效率都很高,但对于更大的情绪分类体系,GLS 扩展性最好。

尽管从不同角度发展而来,所有上述三种配置都尊重情绪动态和拓扑,对心理上不合理的混淆(例如 Happy→Sad 比 Happy→Neutral 更困难)施加更重的惩罚。为了结合分类和正则化目标,我们考虑两种加权策略。在**固定加权**中,正则化强度由标量 \(\lambda\) 控制:
\[
\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{reg}, \quad \mathcal{L}_{reg} \in \{\mathcal{L}_{GL}, \mathcal{L}_{SW}, \mathcal{L}_{GLS}\}
\]
其中 \(\lambda \in \{0.05, 0.1, 0.2\}\) 通过交叉验证选择。或者,**自适应加权**[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 通过对数方差参数 \(s = \log \sigma^2\) 自动学习平衡,得到同方差不确定性目标:
\[
\mathcal{L} = e^{-s_{CE}} \mathcal{L}_{CE} + e^{-s_{reg}} \mathcal{L}_{reg} + s_{CE} + s_{reg}
\]
这消除了手动选择 \(\lambda\) 的需要,同时提供了原则性的概率解释:模型在训练过程中对更不确定的任务赋予较低权重。

**邻近性违反度量**。我们定义邻近性违反比率:
\[
PV = \frac{\# \{\text{对非相邻类别的错误分类}\}}{\# \{\text{总错误分类}\}} \times 100\%
\]
较低的 PV 表示预测即使在错误时,也保持在心理上合理的情绪邻域内——这是一个具有临床意义的属性。例如,Happy→Neutral 不是违反(相邻),而 Happy→Sad 是(非相邻,跨越效价边界)。

## 3. 实验

### 3.1 设置

我们在 SEED-IV[21 (https://arxiv.org/html/2607.07773#bib.bib5)] 和 SEED-V[11 (https://arxiv.org/html/2607.07773#bib.bib6)] 上评估我们的框架。采用跨 5 个频带的预处理差分熵特征作为输入特征。为了证明我们的方法是架构无关的,我们测试了三种代表不同深度学习范式的骨干模型:AudioTransformer[6 (https://arxiv.org/html/2607.07773#bib.bib11)],一种捕捉长程时间依赖的纯 Transformer;Conformer[7 (https://arxiv.org/html/2607.07773#bib.bib10)],一种结合局部特征提取与全局注意力的 CNN-Transformer 混合模型;以及 DCGNN[20 (https://arxiv.org/html/2607.07773#bib.bib12)],一种明确建模 EEG 通道间空间关系的图神经网络。本研究并非旨在与现有方法在排行榜准确率上竞争,而是专门设计用于评估图正则化是否能产生一致的、架构无关的改进。

对于每个骨干模型,我们将交叉熵基线(\(\lambda = 0\))与三种正则化变体——图拉普拉斯(GL)、切片 Wasserstein(SW)和图标签平滑(GLS)——进行比较,采用固定权重 \(\lambda \in \{0.05, 0.1, 0.2\}\) 以及如[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 中介绍的自适应加权方案(auto)。所有实验遵循 10 折受试者依赖的交叉试验协议(每折试验不重叠),准确率、宏平均 F1 和 PV 在所有折和受试者上取平均。我们报告每折 200 个训练 epoch 中的最佳 epoch 性能,并统一应用于基线和所有正则化变体。粗体表示每个模型-数据集对的最佳正则化变体。

### 3.2 结果

表 1: SEED-IV(4 类)和 SEED-V(5 类)数据集的测试性能。对于每种骨干模型和正则化方法,我们在 auto, 0.05, 0.1, 0.2 上搜索正则化强度,并仅报告以宏平均 F1 表示的最佳性能设置,代表可达到性能的上限。粗体表示每个模型-数据集对的最佳正则化变体。

| 模型 | Reg. | SEED-IV (4 类) | | | | SEED-V (5 类) | | | |
|------|------|----------------|---|---|---|---|----------------|---|---|---|
|      |      | \(\lambda\) | Acc (%) \(\uparrow\) | F1 (%) \(\uparrow\) | PV (%) \(\downarrow\) | \(\lambda\) | Acc (%) \(\uparrow\) | F1 (%) \(\uparrow\) | PV (%) \(\downarrow\) |
| AudioTransformer | None | - | 83.12±7.27 | 81.21±8.00 | 21.8±12.1 | - | 83.06±6.98 | 74.69±10.64 | 22.4±14.2 |
|                  | GL   | auto | 84.01±6.83 | 82.31±7.38 | 20.6±10.7 | auto | 83.93±7.30 | 76.36±9.94 | 21.5±15.8 |
|                  | SW   | auto | 84.56±6.69 | 82.94±7.03 | 21.5±13.8 | auto | 84.24±7.51 | 76.22±11.10 | 22.0±16.6 |
|                  | GLS  | auto | 83.94±6.82 | 82.05±7.34 | 23.0±13.8 | auto | 83.26±7.26 | 75.17±10.41 | 20.0±16.1 |
| Conformer       | None | - | 83.86±6.49 | 81.73±7.26 | 24.0±9.6 | - | 84.31±8.83 | 77.06±11.60 | 19.6±16.6 |
|                  | GL   | auto | 84.34±7.18 | 82.26±8.11 | 25.6±11.2 | 0.1 | 89.09±7.44 | 82.82±10.99 | 16.1±14.7 |
|                  | SW   | 0.1 | 84.22±6.62 | 82.28±7.62 | 27.8±16.2 | 0.1 | 89.73±7.09 | 82.96±10.75 | 11.9±12.3 |
|                  | GLS  | 0.1 | 83.73±6.81 | 82.00±7.49 | 26.7±10.1 | 0.05 | 84.92±7.89 | 78.??    (Note: table cut off in original; I will complete based on typical values but as instructed to preserve content, I'll keep as is. Actually the input table ends abruptly, I should output up to what is given. Let's check the original: it ends with "84.92±7.89 | 78". So I will output that as is, preserving the incomplete entry.)

(Note: the original table in the provided input for Conformer GLS on SEED-V row is "0.05 | 84.92±7.89 | 78" and cut off. I will leave it as such.)

| 模型 | Reg. (continued) | SEED-V (5 类) continued |
|------|------------------|---------------------------|
| Conformer | GLS | 0.05 | 84.92±7.89 | 78? (Incomplete in original; preserving as is.) |

(End of table as provided.)

The rest of the paper was not included in the input? The original input ends after the table row. I will assume the input is complete up to that point and stop the translation there. But the instruction says to translate the given markdown article content. The given content ends with that table row. So I will output the translation of everything provided.

Thus, final output should be the translated markdown as above.# 基于图正则化的深度学习方法用于心理标签结构约束的脑电情绪识别
来源: https://arxiv.org/html/2607.07773
11institutetext:中山大学数学学院(珠海),广州,中国

###### 摘要

基于脑电的情绪识别对于心理健康监测和情感脑机接口至关重要,然而现有的深度学习方法通常将情绪类别视为孤立的标签,忽略了它们之间的心理相互依赖性。我们提出了一种图正则化学习框架,将情绪概念化为图中的节点,其中边根据维度情绪理论对心理邻近性进行编码。我们采用了三种互补的正则化策略——图标签平滑(直观的软标签)、基于图拉普拉斯的空间距离(谱图理论)和切片 Wasserstein 距离(图上的最优传输)——按计算复杂度递增排序。这些策略惩罚偏离已建立情绪拓扑的模型预测。我们的框架在三种代表性骨干架构上进行了评估:AudioTransformer(纯 Transformer)、Conformer(CNN-Transformer 混合)和 DCGNN(因果图神经网络),展示了架构无关的益处。在 SEED-IV(4 类)和 SEED-V(5 类)数据集上的实验显示了一致的改进:最佳情况下准确率提高多达 5.42%,且心理上不合理的错误分类减少了 39%。最终,我们的框架有助于提升标准方法可达到的性能上限。代码将公开发布。

## 1. 引言

基于脑电图(EEG)信号的自动化情绪识别具有重要的临床应用价值[15 (https://arxiv.org/html/2607.07773#bib.bib1)]。在精神科护理中,追踪情绪轨迹可以指导治疗决策并检测早期复发迹象。在临床环境之外,消费级便携式 EEG 设备(例如 Muse、Emotiv、NeuroSky)的普及为日常情感计算应用开辟了机会。虽然深度学习提高了 EEG 分类的准确率,但标准的交叉熵训练将情绪类别视为互斥且等距的[3 (https://arxiv.org/html/2607.07773#bib.bib15)]——这种表述既与既定的心理学理论相矛盾,也限制了临床和消费级应用。

近期用于 EEG 情绪识别的深度学习架构,包括 CNN[15 (https://arxiv.org/html/2607.07773#bib.bib1)]、GNN[17 (https://arxiv.org/html/2607.07773#bib.bib4)] 和 Transformer[5 (https://arxiv.org/html/2607.07773#bib.bib13),8 (https://arxiv.org/html/2607.07773#bib.bib14)],主要关注特征提取。它们通常采用交叉熵损失,该损失对所有错误分类一视同仁,忽略了情绪的心理结构。虽然标签平滑[18 (https://arxiv.org/html/2607.07773#bib.bib17),14 (https://arxiv.org/html/2607.07773#bib.bib20),12 (https://arxiv.org/html/2607.07773#bib.bib18)] 和层次分类[16 (https://arxiv.org/html/2607.07773#bib.bib21),10 (https://arxiv.org/html/2607.07773#bib.bib16),1 (https://arxiv.org/html/2607.07773#bib.bib19)] 已被探索,但将情绪拓扑系统地整合到训练目标中仍未得到充分解决。这一缺口在临床上意义重大:维度模型[13 (https://arxiv.org/html/2607.07773#bib.bib2)] 表明情绪占据一个结构化的空间,其中某些状态本质上是更相似的。例如,混淆恐惧与悲伤(均为负效价)在心理上比混淆恐惧与快乐更合理。然而,标准损失对两者错误同等惩罚。

为了解决这个问题,我们提出了一个**情绪图**模型,对离散情绪空间进行建模,其中边编码了心理邻近性。该结构使用三种原则性的距离度量定义了**情绪转换难度**——即错误分类情绪的成本:(1) 基于**邻接邻近性**的图标签平滑,用于局部关系;(2) 基于**图拉普拉斯伪逆的空间距离**,用于全局连通性;(3) 基于**切片 Wasserstein 的最优传输距离**,用于度量分布变换的努力程度。这些度量量化了预测误差距离,教导模型混淆相邻情绪比混淆距离远的情绪更可接受。我们还使用基于不确定性的自适应加权[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 来平衡分类和正则化。

我们的贡献是:1. **新颖的基于图的正则化**方法用于 EEG 情绪识别,将心理邻近性纳入训练,有助于提升标准方法可达到的性能上限并增强临床相关性。2. **架构无关的验证**,跨越三个代表性骨干家族:**Transformer(AudioTransformer)**、**CNN-Transformer 混合(Conformer)** 和 **GNN(DCGNN)**,在两个基准数据集上显示改进的最佳准确率和更好的特征表示空间。3. **邻近性违反度量**,用于衡量尊重心理邻近性的有意义错误。

## 2. 方法

### 2.1 情绪图构建

我们基于 Russell 的环状模型[13 (https://arxiv.org/html/2607.07773#bib.bib2)] 构建情绪图,如图 1 (https://arxiv.org/html/2607.07773#S2.F1) 所示,将每种情绪定位在二维**效价-唤醒度**空间中,并连接坐标接近的对。因此,边编码了**心理邻近性**:在情感空间中接近的情绪在图上是相邻的,因此模型混淆它们的惩罚要小于混淆情感距离较远的状态。

SEED-IV[21 (https://arxiv.org/html/2607.07773#bib.bib5)] 是一个广泛使用的 EEG 基准数据集,记录了 15 名受试者在 3 个 session 中的数据,每个 session 包含 72 个电影片段试验,诱发 4 种情绪:**中性**、**悲伤**、**恐惧**和**快乐**。信号通过 62 通道 EEG 以 1000 Hz 采集。图 1 (https://arxiv.org/html/2607.07773#S2.F1) 中显示的图拓扑由效价-唤醒度坐标证明合理:**快乐**是该标签集中**唯一的正效价**情绪;它与负效价状态没有直接的心理邻近性,因此只连接到**中性**,后者占据效价原点。**悲伤**和**恐惧**都是负效价的,且唤醒度部分重叠(分别为低到中和中到高),这为直接连接提供了依据。**中性**作为拓扑枢纽连接到所有节点,反映了其在环状模型中的中心位置。

SEED-V[11 (https://arxiv.org/html/2607.07773#bib.bib6)] 将范式扩展到 5 种情绪(**厌恶**、**恐惧**、**悲伤**、**中性**、**快乐**),包括 16 名受试者和 3 个 session,每个 session 每种情绪 15 个试验(每个 session 75 个试验),同样在 62 通道记录。更丰富的标签集放大了情绪拓扑的重要性:三种负效价情绪(**厌恶**、**恐惧**、**悲伤**)形成一个相互连接的簇,反映了共享的负效价和高唤醒度重叠;**中性**作为情感原点连接到所有节点;**快乐**再次是**唯一的正效价**情绪,它与**中性**的独家连接反映了心理上合理的、缺少到负效价簇的直接路径。

参见图注
图 1: SEED-V(5 种情绪)和 SEED-IV(4 种情绪)的情绪图,以及在我们的图正则化后减少更有问题的错误分类的示例,例如 Happy->Sad 情况。

### 2.2 基于图的正则化

给定邻接矩阵 \(A\),我们计算图拉普拉斯 \(L = D - A\)(其中 \(D\) 是度矩阵)和通过最短路径计算的图距离矩阵 \(C\)。我们采用来自不同数学传统的三种互补正则化策略,按计算复杂度递增的顺序介绍:

**图标签平滑(软标签)**。我们通过根据图邻接性而非均匀分布来分配概率质量,从而扩展了标准标签平滑:
\[
y_i^{smooth} = (1 - \alpha) \cdot y_i + \alpha \cdot \tilde{A}[y_i]
\]
其中 \(\tilde{A}\) 是归一化邻接矩阵,\(y_i\) 是真实类别。这种直观方法将标签朝向心理上相邻的情绪软软化,计算开销极低。

**基于空间距离的图拉普拉斯损失(谱图理论)**。使用伪逆 \(H = L^+\),其编码节点之间的空间距离[4 (https://arxiv.org/html/2607.07773#bib.bib7)]:
\[
\mathcal{L}_{GL} = \frac{1}{B} \sum_{i=1}^{B} (\hat{y}_i - y_i)^T H (\hat{y}_i - y_i)
\]
其中 \(\hat{y}_i\) 是预测分布,\(y_i\) 是 one-hot 真实标签。空间距离度量随机游走在两个节点之间并返回的期望步数,捕捉全局图连通性。

**切片 Wasserstein 损失(最优传输)**。我们计算分布之间的切片 Wasserstein 距离[2 (https://arxiv.org/html/2607.07773#bib.bib8)][19 (https://arxiv.org/html/2607.07773#bib.bib9)]:
\[
\mathcal{L}_{SW} = \frac{1}{L} \sum_{l=1}^{L} W_1(\theta_l^\sharp \hat{y}, \theta_l^\sharp y)
\]
其中 \(L\) 是随机投影的数量,\(\theta_l\) 是在单位球面上均匀采样的随机单位方向,\(\theta_l^\sharp \hat{y}\) 和 \(\theta_l^\sharp y\) 分别表示预测分布 \(\hat{y}\) 和真实分布 \(y\) 在 \(\theta_l\) 上的一维推前(投影),\(W_1\) 是一维 Wasserstein-1 距离。图最短路径距离作为基底度量,使得投影尊重情绪拓扑。随机切片降低了全最优传输的计算成本,同时保持对底层图结构的敏感性。

**计算复杂度**。令 \(K\) 表示情绪类别数,\(B\) 表示批大小。GLS 每个样本需要 \(O(K)\) 进行邻接查找,总计 \(O(BK)\)。GL 涉及与 \(K \times K\) 伪逆的矩阵-向量乘法,成本为 \(O(BK^2)\)。SW 需要 \(L\) 个随机投影和一维排序,得到 \(O(BLK \log K)\),其中 \(L\) 通常为 50–100。对于较小的 \(K\)(此处为 4–5 类),所有三种方法计算效率都很高,但对于更大的情绪分类体系,GLS 扩展性最好。

尽管从不同角度发展而来,所有上述三种配置都尊重情绪动态和拓扑,对心理上不合理的混淆(例如 Happy→Sad 比 Happy→Neutral 更困难)施加更重的惩罚。为了结合分类和正则化目标,我们考虑两种加权策略。在**固定加权**中,正则化强度由标量 \(\lambda\) 控制:
\[
\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{reg}, \quad \mathcal{L}_{reg} \in \{\mathcal{L}_{GL}, \mathcal{L}_{SW}, \mathcal{L}_{GLS}\}
\]
其中 \(\lambda \in \{0.05, 0.1, 0.2\}\) 通过交叉验证选择。或者,**自适应加权**[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 通过对数方差参数 \(s = \log \sigma^2\) 自动学习平衡,得到同方差不确定性目标:
\[
\mathcal{L} = e^{-s_{CE}} \mathcal{L}_{CE} + e^{-s_{reg}} \mathcal{L}_{reg} + s_{CE} + s_{reg}
\]
这消除了手动选择 \(\lambda\) 的需要,同时提供了原则性的概率解释:模型在训练过程中对更不确定的任务赋予较低权重。

**邻近性违反度量**。我们定义邻近性违反比率:
\[
PV = \frac{\# \{\text{对非相邻类别的错误分类}\}}{\# \{\text{总错误分类}\}} \times 100\%
\]
较低的 PV 表示预测即使在错误时,也保持在心理上合理的情绪邻域内——这是一个具有临床意义的属性。例如,Happy→Neutral 不是违反(相邻),而 Happy→Sad 是(非相邻,跨越效价边界)。

## 3. 实验

### 3.1 设置

我们在 SEED-IV[21 (https://arxiv.org/html/2607.07773#bib.bib5)] 和 SEED-V[11 (https://arxiv.org/html/2607.07773#bib.bib6)] 上评估我们的框架。采用跨 5 个频带的预处理差分熵特征作为输入特征。为了证明我们的方法是架构无关的,我们测试了三种代表不同深度学习范式的骨干模型:AudioTransformer[6 (https://arxiv.org/html/2607.07773#bib.bib11)],一种捕捉长程时间依赖的纯 Transformer;Conformer[7 (https://arxiv.org/html/2607.07773#bib.bib10)],一种结合局部特征提取与全局注意力的 CNN-Transformer 混合模型;以及 DCGNN[20 (https://arxiv.org/html/2607.07773#bib.bib12)],一种明确建模 EEG 通道间空间关系的图神经网络。本研究并非旨在与现有方法在排行榜准确率上竞争,而是专门设计用于评估图正则化是否能产生一致的、架构无关的改进。

对于每个骨干模型,我们将交叉熵基线(\(\lambda = 0\))与三种正则化变体——图拉普拉斯(GL)、切片 Wasserstein(SW)和图标签平滑(GLS)——进行比较,采用固定权重 \(\lambda \in \{0.05, 0.1, 0.2\}\) 以及如[9 (https://arxiv.org/html/2607.07773#bib.bib3)] 中介绍的自适应加权方案(auto)。所有实验遵循 10 折受试者依赖的交叉试验协议(每折试验不重叠),准确率、宏平均 F1 和 PV 在所有折和受试者上取平均。我们报告每折 200 个训练 epoch 中的最佳 epoch 性能,并统一应用于基线和所有正则化变体。粗体表示每个模型-数据集对的最佳正则化变体。

### 3.2 结果

表 1: SEED-IV(4 类)和 SEED-V(5 类)数据集的测试性能。对于每种骨干模型和正则化方法,我们在 auto, 0.05, 0.1, 0.2 上搜索正则化强度,并仅报告以宏平均 F1 表示的最佳性能设置,代表可达到性能的上限。粗体表示每个模型-数据集对的最佳正则化变体。

| 模型 | Reg. | SEED-IV (4 类) | | | | SEED-V (5 类) | | | |
|------|------|----------------|---|---|---|---|----------------|---|---|---|
|      |      | \(\lambda\) | Acc (%) \(\uparrow\) | F1 (%) \(\uparrow\) | PV (%) \(\downarrow\) | \(\lambda\) | Acc (%) \(\uparrow\) | F1 (%) \(\uparrow\) | PV (%) \(\downarrow\) |
| AudioTransformer | None | - | 83.12±7.27 | 81.21±8.00 | 21.8±12.1 | - | 83.06±6.98 | 74.69±10.64 | 22.4±14.2 |
|                  | GL   | auto | 84.01±6.83 | 82.31±7.38 | 20.6±10.7 | auto | 83.93±7.30 | 76.36±9.94 | 21.5±15.8 |
|                  | SW   | auto | 84.56±6.69 | 82.94±7.03 | 21.5±13.8 | auto | 84.24±7.51 | 76.22±11.10 | 22.0±16.6 |
|                  | GLS  | auto | 83.94±6.82 | 82.05±7.34 | 23.0±13.8 | auto | 83.26±7.26 | 75.17±10.41 | 20.0±16.1 |
| Conformer       | None | - | 83.86±6.49 | 81.73±7.26 | 24.0±9.6 | - | 84.31±8.83 | 77.06±11.60 | 19.6±16.6 |
|                  | GL   | auto | 84.34±7.18 | 82.26±8.11 | 25.6±11.2 | 0.1 | 89.09±7.44 | 82.82±10.99 | 16.1±14.7 |
|                  | SW   | 0.1 | 84.22±6.62 | 82.28±7.62 | 27.8±16.2 | 0.1 | 89.73±7.09 | 82.96±10.75 | 11.9±12.3 |
|                  | GLS  | 0.1 | 83.73±6

相似文章

现代大语言模型与人类脑电图中共有的效价轴:饱和规律

arXiv cs.LG

本文发现了现代大语言模型与人类脑电图信号之间共有的效价轴(V-axis),表明LLM内部表示中的一个单一方向与对情感刺激的神经反应一致。它还识别了饱和规律,解释了为何基于LLM的监督无法改善脑电图解码,以及如何利用残差多样性提升性能。

Brain-CLIPLM:基于脑电压缩语义表征的语言重建解码

arXiv cs.CL

研究人员提出Brain-CLIPLM,一个两阶段脑电到文本解码框架,利用对比学习提取语义锚点,并结合基于检索的大语言模型(LLM)及思维链(CoT)推理进行句子重建。该方法在测试中达到67.55%的Top-5句子检索准确率和85.00%的Top-25准确率,显著优于直接解码基线模型,跨被试评估证实了其良好的泛化能力。研究结果表明,脑电到文本解码应聚焦于恢复压缩后的语义内容,而非完整句子重建。