超越扁平化令牌:基于可重用TriDim模块的结构保留EEG解码

arXiv cs.LG 论文

摘要

本文提出了TriDim,一种用于EEG解码的可重用模块,它能保留空间和时间结构,在多个数据集上实现最先进的性能,并改进现有模型。

arXiv:2609.19842v1 公告类型:新 摘要:有效的EEG解码需要保留通道间组织、局部波形动态和长期时间上下文的表示。现有的EEG架构通常使用单独的专用模块来捕获这些结构,或将它们折叠成单个令牌序列,这使得在骨干网络中保持它们的独特作用和协调它们的交互变得困难。我们提出了TriDim,一个可重用的模块,它保留表示形状并显式保持三个EEG轴:通道、每个补丁内的采样位置和跨记录的补丁位置。这些轴分别对应空间、短期时间和长期时间信息。每个TriDim模块沿各个轴应用前馈变换和跨轴注意力来协调它们之间的信息交换。通过堆叠具有多级三轴读出的TriDim模块,我们构建了TriDimEEG,一个独立的EEG解码器。在涵盖临床诊断、睡眠分期、运动想象和情绪识别的八个数据集上的严格跨受试者评估中,TriDimEEG在十五个评估模型中实现了最佳的整体性能,平均准确率比第二好的模型提高了4.3%。用TriDim模块替换三个EEG基础模型中的Transformer模块,在下游准确率上平均相对提高了7.4%,同时将参数数量减少了17.0%至47.3%。这些结果确立了TriDim作为一个有效且可重用的构建块,以及TriDimEEG作为一个强大的独立EEG解码器。TriDimEEG的代码和参数可在https://github.com/ncclab-sustech/TriDim_model获取。
查看原文
查看缓存全文

缓存时间: 2026/09/18 09:07

# 保持结构的可复用 TriDim 模块化脑电图解码
来源:https://arxiv.org/html/2609.19842

## 超越扁平化标记:使用可复用 TriDim 模块保持结构的脑电图解码

苏诗悦1,2,王松2,詹泽楷1,曾俊杰1,卢紫玲1,李宗盛1,4,叶鑫远1,马志远5,沈新科1*,刘全英1,2,3*
1南方科技大学生物医学工程系,中国深圳,518055。
2全智能,中国深圳。
3深圳湾区研究院,中国深圳。
4香港中文大学(深圳)计算机科学系,中国深圳,518172。
5清华大学医学部生物医学工程学院,中国北京,100084。
[email protected];[email protected]
*共同通讯作者

###### 摘要
有效的脑电图解码需要能够保持通道间组织结构、局部波形动态特性以及长时程时间上下文的表示形式。现有的脑电图架构通常使用独立的专用模块或将其折叠成单一的标记序列来捕获这些结构,这使得在整个骨干网络中难以保持这些结构的独特作用并协调其相互作用。我们提出了 TriDim,一种可复用的模块,它保持了表示形式的形状,并显式保留了脑电图的三个轴:通道、每个补丁内的样本位置以及记录中补丁的位置。这些轴分别对应于空间信息、短时程时间信息和长时程时间信息。每个 TriDim 模块沿各个轴应用前馈变换,并通过跨轴注意力来协调它们之间的信息交换。通过堆叠 TriDim 模块并结合多层三轴读出,我们构建了 TriDimEEG,一个独立的脑电图解码器。在涵盖临床诊断、睡眠分期、运动想象和情感识别的八个数据集的严格跨被试评估中,TriDimEEG 在十五个评估模型中取得了最佳的整体性能,其平均准确率比第二好的模型相对提升了 4.3%。用 TriDim 模块替换三个脑电图基础模型中的 Transformer 模块,使得下游任务的准确率平均相对提升了 7.4%,同时参数量减少了 17.0% 至 47.3%。这些结果证明了 TriDim 是一种有效且可复用的构建模块,而 TriDimEEG 是一个强大的独立脑电图解码器。TriDimEEG 的代码和参数可在 https://github.com/ncclab-sustech/TriDim_model 获取。

## 引言
脑电图解码支持多种应用,如临床诊断、睡眠监测、机器人控制和情感计算 (Craik et al., 2019 (https://arxiv.org/html/2609.19842#bib.bib20);Roy et al., 2019 (https://arxiv.org/html/2609.19842#bib.bib21))。脑电图信号可以通过三个互补的结构方面来表征 (图1 (https://arxiv.org/html/2609.19842#Sx1.F1)):跨通道的空间组织、局部窗口内的波形动态,以及跨窗口的长时程时间上下文 (Lawhern et al., 2018 (https://arxiv.org/html/2609.19842#bib.bib5);Ding et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib6);Song et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib8);Wang et al., 2025a (https://arxiv.org/html/2609.19842#bib.bib15))。空间组织捕获神经活动在记录通道中的分布和协调方式。局部波形动态描述短时间间隔内的振荡和瞬态模式。长时程时间上下文描述这些模式在长时间内的演变。这三种信息类型也具有很强的相互依赖性 (Wang et al., 2025a (https://arxiv.org/html/2609.19842#bib.bib15);Wang et al., 2026 (https://arxiv.org/html/2609.19842#bib.bib16))。例如,相同的局部波形在不同的通道分布上可能表示不同的神经状态,而空间模式的含义也可能根据其前后的时程上下文而改变。因此,有效的脑电图解码需要一个能够逐步优化每种信息类型并反复协调这三种信息类型之间交互的骨干网络。

然而,现有架构通常仅优先考虑该结构的一部分,无法对所有三种信息类型进行足够深入和协调的建模。请参见标题图1:传统扁平化标记脑电图架构与 TriDim 的比较。TriDim 将通道、补丁内时程和跨补丁时程结构保持为三个显式轴,用于三轴建模。
主要局限性在于当前脑电图架构如何在脑电图的空间和时间维度上组织计算。紧凑的卷积网络使用时间卷积核和空间滤波器来捕获局部动态和通道交互 (Lawhern et al., 2018 (https://arxiv.org/html/2609.19842#bib.bib5);Ding et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib6);Miao et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib7)),但预定义的感受野限制了它们建模长距离依赖关系的能力。基于 Transformer 的模型以不同方式解决了这一局限性。CNN-Transformer 混合模型结合了卷积特征提取与自注意力 (Song et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib8);Wan et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib9);Ding et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib10))。许多预训练的脑电图编码器将多通道记录划分为通道级的时间补丁,并将生成的通道-时间补丁排列成一个单一的标记序列供 Transformer 处理 (Yang et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib12);Jiang et al., 2024 (https://arxiv.org/html/2609.19842#bib.bib13);Wang et al., 2024 (https://arxiv.org/html/2609.19842#bib.bib14))。如图1 (https://arxiv.org/html/2609.19842#Sx1.F1) 所示,这种传统的扁平化标记流程在单一序列处理通路中混合了空间和时间结构。与语言不同,脑电图是一个连续的、具有多尺度时间结构的多通道信号。单一标记序列将空间组织和时间依赖关系分配给相同的序列处理通路。这种设计限制了建模空间、局部时间和全局时间信息及其交互的深度和特异性。十字交叉 Transformer 通过沿独立的空间和时间方向应用自注意力部分地保留了脑电图结构 (Wang et al., 2025a (https://arxiv.org/html/2609.19842#bib.bib15);Wang et al., 2026 (https://arxiv.org/html/2609.19842#bib.bib16))。然而,这些模型仍然为脑电图的三个轴分配了固定的计算角色。通道和跨补丁时间被视为注意力轴,而有序的补丁内样本则保留在嵌入维度中。因此,补丁内表示通过前馈网络被反复优化,但没有通过自注意力进行显式的关系建模。通道和跨补丁表示通过注意力被反复混合,但没有按轴进行前馈变换。由于自注意力和前馈网络提供了互补的关系建模和非线性表示优化 (Dong et al., 2021 (https://arxiv.org/html/2609.19842#bib.bib2);Geva et al., 2020 (https://arxiv.org/html/2609.19842#bib.bib3);Xu et al., 2024 (https://arxiv.org/html/2609.19842#bib.bib4)),这种固定的分配限制了对三种信息类型的深入处理以及整个骨干网络中对其交互的逐步优化。

为了实现对所有三种脑电图信息类型及其交互的深入处理,我们采用了一种不同的设计原则:通道、补丁内时间和跨补丁时间应在整个骨干网络中保持为显式的表示轴。基于这一原则,我们提出了 TriDim,一种用于脑电图建模的保持形状的模块 (图2 (https://arxiv.org/html/2609.19842#Sx3.F2))。TriDim 构建三个轴条件视图。在每个视图中,一个轴作为嵌入维度,并沿其他两个轴应用自注意力。生成的视图通过可学习的加权聚合进行组合。因此,堆叠 TriDim 模块使得空间、短时程时间和长时程时间信息能够经历反复的前馈变换,并且三种信息类型之间的交互通过自注意力得到逐步更新。多层三轴读出进一步聚合来自不同编码器深度的表示。生成的 TriDimEEG 模型可以作为特定任务的脑电图解码器,并且相同的 TriDim 模块也可以在不重新设计周围流水线的情况下替换预训练脑电图编码器中的 Transformer 模块。

本工作的三个主要贡献是:
- • 我们使用对应于通道、每个补丁内样本位置和记录中补丁位置的三个显式轴,重新解释了时间补丁化的脑电图表示。这种组织在整个骨干网络中保留了空间、短时程时间和长时程时间信息。
- • 我们开发了 TriDim,一种可复用的模块,它将沿各个轴的前馈变换与跨轴注意力相结合。我们进一步通过堆叠 TriDim 模块并引入聚合来自编码器不同深度表示的多层三轴读出来构建 TriDimEEG。
- • 在八个脑电图基准数据集上进行的严格跨被试实验,确立了 TriDimEEG 作为一个强大独立解码器的地位。在三个脑电图基础模型中替换 Transformer 模块,进一步证明了 TriDim 的可复用性和参数效率。

## 相关工作

### 特定任务的脑电图解码器
早期的脑电图解码器主要依赖于卷积网络来捕获局部波形模式和通道间关系。EEGNet 在紧凑的架构中结合了时间卷积和深度可分离空间滤波 (Lawhern et al., 2018 (https://arxiv.org/html/2609.19842#bib.bib5))。后续的监督模型引入了多尺度时间卷积核,并为不同的脑电图任务设计了专门的空间处理 (Ding et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib6);Miao et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib7);Ma et al., 2026 (https://arxiv.org/html/2609.19842#bib.bib11))。基于注意力的架构通过建模超出局部卷积感受野的依赖关系进一步扩展了这一范式。EEGConformer 对卷积时间-空间编码器提取的特征应用自注意力 (Song et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib8))。EEGDeformer 引入了分层由粗到细的 Transformer 处理和密集信息净化,以聚合多个级别的表示 (Ding et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib10))。TeCh 用核心标记聚合-重分布 (Core Token Aggregation-Redistribution) 替换了传统的成对自注意力,它将全局上下文收集到一个核心标记中,然后重新分配给其余标记 (Yu et al., 2026 (https://arxiv.org/html/2609.19842#bib.bib33))。尽管这些方法在架构上存在差异,但它们通常将脑电图信号转换为特征序列,然后才应用基于注意力的上下文建模。

### 预训练脑电图表示模型
大规模预训练进一步确立了序列建模作为可迁移脑电图表示学习的重要范式。BENDR (Kostas et al., 2021 (https://arxiv.org/html/2609.19842#bib.bib34))、BIOT (Yang et al., 2023 (https://arxiv.org/html/2609.19842#bib.bib12))、LaBraM (Jiang et al., 2024 (https://arxiv.org/html/2609.19842#bib.bib13)) 和 REVE (El Ouahidi et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib39)) 通过卷积或基于 Transformer 的编码器从分段的脑电图记录中学习上下文表示。最近的预训练模型还探索了与语言对齐的表示 (Cui et al., 2024 (https://arxiv.org/html/2609.19842#bib.bib35))、状态空间序列建模 (Wang et al., 2025b (https://arxiv.org/html/2609.19842#bib.bib36))、频率增强编码器 (Tegon et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib37)) 以及传感器感知的标记化 (Xiao et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib17))。这些方法显著提高了跨数据集和下游任务的迁移能力。尽管如此,尽管在骨干架构和预训练目标上存在差异,但大多数模型仍然将局部脑电图段排列成一维标记序列,将空间组织和跨段的时间依赖性留给相同的序列处理通路来建模。

### 保持结构的脑电图架构
最近的研究开始设计与脑电图结构组织更明确对齐的注意力机制。CBraMod 引入了一种十字交叉 Transformer,分别对跨电极的空间注意力和跨窗口的时间注意力进行操作 (Wang et al., 2025a (https://arxiv.org/html/2609.19842#bib.bib15))。BraSTORM 采用独立的空间和时间分支,通过基于输入的时空分解来学习互补表示 (Wang et al., 2026 (https://arxiv.org/html/2609.19842#bib.bib16))。CSBrain 进一步引入了跨尺度的时空标记化和结构化稀疏注意力,以建模跨时间窗口和解剖区域的依赖关系 (Zhou et al., 2025 (https://arxiv.org/html/2609.19842#bib.bib18))。这些方法证明了保留脑电图中结构区分的价值,而不是将所有信号分量视为同质序列中的位置。然而,现有的结构感知架构仍然为脑电图的轴分配固定且不对称的计算角色,通常将通道和跨补丁时间视为注意力轴,而将补丁内样本保留为嵌入维度。TriDim 通过将通道、补丁内时间和跨补丁时间保留为三个显式轴,消除了这种固定的分配,允许每个轴在整个骨干网络中经历特定于轴的前馈变换和跨轴注意力。

## 方法
请参见标题图2:TriDimEEG 概览,包括三轴输入投影、堆叠的 TriDim 模块和多层三轴读出。
TriDimEEG 由一个三轴投影、一个由 N 个堆叠 TriDim 模块构成的编码器以及一个多层三轴读出组成。

### 三轴表示
我们沿着三个轴组织脑电图表示:通道组织、短时程时间结构和长时程时间上下文。给定输入批次 X_raw ∈ R^{B × C_in × T_raw},包含 B 个脑电图样本、C_in 个电极和 T_raw 个时间点,我们首先对每个通道独立应用实例时间归一化 (InstanceTimeNorm)。该操作去除时间均值并归一化每个通道的幅度尺度,而不改变张量形状:X̂ ∈ R^{B × C_in × T_raw}。然后,我们将时间轴展开为长度为 S_in、步幅为 R 的 L_in 个补丁,必要时在末尾应用零填充。此操作将原始时间维度分离为每个补丁内的有序样本和沿段的有序补丁位置:X̂ ∈ R^{B × C_in × T_raw} ⟶ X_patch ∈ R^{B × C_in × S_in × L_in}。

相似文章

MEL:用于fMRI翻译的坐标保持型EEG标记化

arXiv cs.LG

本文介绍了MEL,一个用于EEG到fMRI翻译的坐标保持型EEG标记化框架,通过显式建模血流动力学延迟和频谱空间动态,解决表示接口不匹配问题,并改善预测性能优于基线方法。

Block-Based Double Decoders

arXiv cs.LG

提出了一种基于块的雙解碼器(block-based double decoders),这是一种使用双重因果块注意力掩码的新型Transformer架构,结合了解码器仅训练效率与编码器-解码器推理效率,实现了强大的扩展性能并减少了KV缓存内存。

小数据脑信号解码,你需要的是 SPD-MetaFormer

arXiv cs.LG

论文提出 SPD-MetaFormer,一种面向小数据脑信号解码的无注意力架构,基于 SPD 流形上均匀加权的 Fréchet 聚合,并发现现有流形注意力模型(MAtt、GBWAtt)学到的权重接近均匀分布,因此简化设计即可获得有竞争力的 EEG 基准结果。