基于重建的脑电图基础模型中的非周期与低频频谱偏差

# 基于重构的脑电图基础模型中的非周期与低频谱偏置

来源：https://arxiv.org/html/2605.26434

Aditya Kommineni¹ akommine@usc\.edu & Emily Zhou² emilyzho@usc\.edu & Kleanthis Avramidis² avramidi@usc\.edu & Simon Bock Segaard³ ssegaa21@student\.aau\.dk & Jeppe Roden Münster³ jmunst21@student\.aau\.dk & Andreas Peter Juhl Hansen³ apjh21@student\.aau\.dk & Takfarinas Medani¹ medani@usc\.edu & Tiantian Feng¹ tiantiaf@usc\.edu & Richard Leahy¹ leahy@usc\.edu & Shrikanth Narayanan¹,² shri@usc\.edu & Ming Hsieh 电气与计算机工程系¹ 南加州大学 & Thomas Lord 计算机科学系² 南加州大学 & 数学科学系³ 奥尔堡大学

###### 摘要

脑电图（EEG）基础模型，通过在大规模无标签EEG数据上进行预训练，已成为学习泛化EEG表征的一个有前景的方向。尽管在数据丰富的场景中展示了积极的结果，但在低资源设置下，与完全监督的模型相比，它们往往无法显著优于那些小得多的监督模型。我们对此缺陷提供了一个机制性的解释，将其归因于基于重构的前置任务与EEG信号特有的频谱结构之间的根本性不匹配，后者可分解为高功率的非周期分量和低功率的振荡分量。通过使用受控的、合成生成的EEG输入，我们证明了EEG基础模型的嵌入偏向于捕捉EEG信号的非周期分量，而低估了振荡分量，尤其是在较高频率下。此外，在真实世界BCI数据集上的线性探针评估进一步揭示，嵌入编码主体身份信息的程度强于任务相关信息，从而强化了主要基于重构目标训练的基础模型嵌入中的低频和非周期分量偏置。总之，这些发现阐明了基于重构的EEG基础模型中的一种失效模式，并激励未来的工作引入明确针对高频振荡结构的辅助损失函数，作为通往更强大、更通用的EEG表征的途径。

## 1 引言

语言（Brown等人，2020 (https://arxiv.org/html/2605.26434#bib.bib24)；Achiam等人，2023 (https://arxiv.org/html/2605.26434#bib.bib25)；Team等人，2023 (https://arxiv.org/html/2605.26434#bib.bib26)；Comanici等人，2025 (https://arxiv.org/html/2605.26434#bib.bib27)）、语音（Radford等人，2023 (https://arxiv.org/html/2605.26434#bib.bib28)）和视觉（Radford等人，2021 (https://arxiv.org/html/2605.26434#bib.bib29)）模态的基础模型在过去几年中已经在这一领域取得了令人瞩目的进展。这些基础模型提供了通用化的表征，能够在无法进行大规模数据收集的低资源设置下，提供比其完全监督的对应模型更显著的性能提升。这些发展启发了众多为脑信号，特别是脑电图（EEG）构建通用表征/基础模型的努力（Kostas等人，2021 (https://arxiv.org/html/2605.26434#bib.bib12)；Wang等人，2025 (https://arxiv.org/html/2605.26434#bib.bib16)；Jiang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib15)；Zhou等人，2025 (https://arxiv.org/html/2605.26434#bib.bib17)；Liu等人，2026a (https://arxiv.org/html/2605.26434#bib.bib20)；Avramidis等人，2025 (https://arxiv.org/html/2605.26434#bib.bib11)；Kommineni等人，2024 (https://arxiv.org/html/2605.26434#bib.bib9)；Wang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib14)；Chien等人，2022 (https://arxiv.org/html/2605.26434#bib.bib10)；Cui等人，2024 (https://arxiv.org/html/2605.26434#bib.bib45)）。

尽管使用了大规模无标签EEG数据进行预训练，EEG基础模型相对于完全监督的特定领域模型所提供的性能提升仍然有限。虽然一些先前的工作（Wang等人，2025 (https://arxiv.org/html/2605.26434#bib.bib16)；Zhou等人，2025 (https://arxiv.org/html/2605.26434#bib.bib17)）假设这些限制可以通过增加数据规模和模型大小来缓解，但最近的研究并未发现模型规模缩放对EEG基础模型有显著影响（Liu等人，2026b (https://arxiv.org/html/2605.26434#bib.bib54)）。此外，我们认为这种观点从根本上受到EEG固有数据采集挑战的制约。与文本、音频和图像这些基础模型受益于网络规模数据的领域不同，EEG记录需要专门的硬件和训练有素的人员进行采集，使得大规模数据收集极其耗费资源，并且缩放定律在实践中难以实现。在这项工作中，我们试图从前置任务的角度提供一个解释。这一观点进一步受到最近发现的启发，即EEG基础模型在资源受限的设置下（无论是训练样本还是模型参数的限制）进行评估时，其性能常常不如其完全监督的对应模型（Yang等人，2026 (https://arxiv.org/html/2605.26434#bib.bib8)；Liu等人，2026b (https://arxiv.org/html/2605.26434#bib.bib54)；Kuruppu等人，2026 (https://arxiv.org/html/2605.26434#bib.bib30)），这值得对这些模型学习到的表征进行更深入的探究。识别导致这种现象的因素，可以为改进EEG基础模型的设计和构建提供见解。当前的EEG基础模型借鉴了多媒体模态（图像、语音和文本）的预训练目标，而前者与像EEG这样的生物脑信号存在根本性差异。特别是，基于重构的目标已被广泛采用作为训练EEG基础模型的主要手段（Jiang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib15)；Wang等人，2025 (https://arxiv.org/html/2605.26434#bib.bib16)；Zhou等人，2025 (https://arxiv.org/html/2605.26434#bib.bib17)；Ouahidi等人，2025 (https://arxiv.org/html/2605.26434#bib.bib18)）。因此，本文的工作将聚焦于这一形式化。

此外，EEG信号具有独特的特征，这些特征会影响到当前基础模型的观察行为。值得注意的是，先前的神经科学工作一致表明，自发性脑活动在测量的信号中无论在能量还是方差上都占据主导地位（Raichle, 2006 (https://arxiv.org/html/2605.26434#bib.bib53), 2010 (https://arxiv.org/html/2605.26434#bib.bib52)），而任务诱发响应则构成相对较小的扰动（Gibson等人，2022 (https://arxiv.org/html/2605.26434#bib.bib22)）。在EEG中，这反映为无标度（1/f）非周期活动的显著存在（Donoghue等人，2020 (https://arxiv.org/html/2605.26434#bib.bib35)），这与特定于受试者的生理属性（如年龄和认知状态）有关（Donoghue等人，2020 (https://arxiv.org/html/2605.26434#bib.bib35)）。在这项工作中，我们假设在EEG基础模型的线性探针实验中观察到的次优任务分类，可能归因于基于重构的目标与前述EEG中非周期分量的频谱主导地位的结合。

通过对合成生成的EEG信号进行受控实验以及在真实世界EEG-BCI任务上的实证结果，我们表明，基于重构的EEG基础模型表现出对编码非周期和低频信息的频谱偏置。这种偏置进而导致模型表征形成以主体为中心的聚类而非以任务为中心的聚类，正如通过对BCI数据集的实证实验所示。这些观察结果激励为EEG基础模型设计领域特定的前置任务，其中可能包括辅助损失函数以捕获高频振荡分量。本工作的贡献表述如下：

- **基于重构的EEG基础模型中的频谱偏置**。我们诊断了现有基于重构的EEG基础模型的一个关键局限性——模型的内部表征优先编码非周期、低频分量的信息，而非高频振荡信息。我们将其归因于标准的基于重构的自监督目标与EEG信号的频谱结构之间的不匹配。
- **通过受控EEG模拟进行合成验证**。使用一个受控的单通道EEG模拟，独立变化非周期和振荡分量，我们表明模型嵌入优先编码非周期结构。具体来说，非周期分量是线性可解码的，而振荡分量仅主要在低频时弱可解码，这证明了表征中存在偏置。
- **来自BCI任务的实证证据**。基础模型嵌入在主体识别任务上取得的性能显著高于任务解码任务。鉴于所评估的BCI任务主要依赖振荡活动，这一差距支持了我们的假设，即模型表现出对低频、非周期特征的频谱偏置。

## 2 相关工作

### 2.1 EEG基础模型

早期构建EEG基础模型的尝试受到图像和语音领域架构及前置任务的启发，例如BENDR中的对比预测编码（Kostas等人，2021 (https://arxiv.org/html/2605.26434#bib.bib12)）、BIOT中通过信号增强的对比学习（Yang等人，2023 (https://arxiv.org/html/2605.26434#bib.bib13)）以及EEGPT中的掩码重构目标（Wang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib14)）。Chien等人 (2022) (https://arxiv.org/html/2605.26434#bib.bib10) 的研究发现表明，掩码重构目标在EEG信号上优于对比目标，且在掩码重构训练中稳定性更好，因此基于重构的模型已成为EEG基础模型训练的主要方法。在基于重构的模型中，探索了两条不同的路径，一条是离散神经分词器结合掩码词元建模（Jiang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib15); Avramidis等人，2025 (https://arxiv.org/html/2605.26434#bib.bib11)），而第二条则包括对原始EEG信号进行掩码重构（Wang等人，2025 (https://arxiv.org/html/2605.26434#bib.bib16); Zhou等人，2025 (https://arxiv.org/html/2605.26434#bib.bib17); Ouahidi等人，2025 (https://arxiv.org/html/2605.26434#bib.bib18); Wang等人，2026 (https://arxiv.org/html/2605.26434#bib.bib43); Cui等人，2024 (https://arxiv.org/html/2605.26434#bib.bib45); Döner等人，2025 (https://arxiv.org/html/2605.26434#bib.bib19); Chen等人，2026 (https://arxiv.org/html/2605.26434#bib.bib47)）。

### 2.2 EEG中的非周期与振荡分量

参考图注图1：模拟和真实世界EEG实验 (A) 从多通道EEG信号获取嵌入的流程。从三个基础模型（LaBraM、CBraMod和CSBrain）的编码器最后一层提取嵌入。 (B) 通过受控合成单通道EEG生成计算线性可解码性的流程（图中，非周期指数β在 [θ_min, θ_max] 之间采样以创建N个样本。对样本提取嵌入，然后进行线性回归以计算线性可解码性）。 (C) 在四个真实世界EEG数据集上进行线性探针实验，对主体身份和任务进行分类。更好的主体身份结果表明模型在其内部表征中捕获了更多主体特定的信息。EEG信号中的频谱信息由非周期宽带信号和振荡信息组成（Donoghue等人，2020 (https://arxiv.org/html/2605.26434#bib.bib35); Brake等人，2024 (https://arxiv.org/html/2605.26434#bib.bib38)）。非周期信号表现出1/f功率谱并且是无标度的。此外，非周期分量构成了EEG记录中自发电场电位的很大一部分（Raichle, 2006 (https://arxiv.org/html/2605.26434#bib.bib53), 2010 (https://arxiv.org/html/2605.26434#bib.bib52)）。非周期信号被假设依赖于兴奋/抑制（E/I）平衡的整体变化（Gao等人，2017 (https://arxiv.org/html/2605.26434#bib.bib39)），而振荡分量与群体异步性有关，并促进神经元活动的动态时空组织（Donoghue等人，2022 (https://arxiv.org/html/2605.26434#bib.bib40); Voytek and Knight, 2015 (https://arxiv.org/html/2605.26434#bib.bib41)）。EEG的非周期分量被发现随年龄、认知状态和任务需求而变化（Donoghue等人，2020 (https://arxiv.org/html/2605.26434#bib.bib35)），并且已被证明可作为神经系统疾病（如抑郁症、ADHD和帕金森病）的潜在生物标志物（Pani等人，2022 (https://arxiv.org/html/2605.26434#bib.bib42)）。虽然先前的工作已经建立了非周期分量主要捕获主体特定特征、振荡分量主要捕获任务特定特征之间的相关性，但这些观察结果与对EEG基础模型影响之间的关系尚未得到充分探索。

## 3 基于重构的EEG自监督学习模型中的频谱偏置

掩码重构一直是训练基于EEG信号的自监督学习模型的主要前置任务，适用于原始EEG数据的片段（Wang等人，2025 (https://arxiv.org/html/2605.26434#bib.bib16); Zhou等人，2025 (https://arxiv.org/html/2605.26434#bib.bib17)）或通过离散分词化（Wang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib14); Jiang等人，2024 (https://arxiv.org/html/2605.26434#bib.bib15)）。尽管基于掩码重构的前置任务已被证明在图像和语音模态中能有效学习通用表征，但仅使用重构目标是否能在EEG中也能学习到一致优于监督基线的通用表征，这一点并不明确。

#### 问题设定

令 X ∈ R^{C×T} 为一个 EEG 片段，包含 C 个通道和 T 个时间步，向量化为 x = vec(X) ∈ R^{CT}。我们将信号建模为：

x = (A ⊗ I_T)(z_ap + z_osc) + ε   (1)

其中 A ∈ R^{C×N_s} 是导联场（正向模型）矩阵，将 N_s 个神经源线性映射到 C 个 EEG 传感器空间；z_ap 和 z_osc 分别是向量化的非周期和振荡源信号；ε ∼ N(0, Σ_ε)。

令 m ∈ {0,1}^{CT} 是一个二元掩码向量，其中每个条目独立抽取，m_i = 0 表示索引 i 被掩码。掩码观测定义为 x̃ = m ⊙ x，其中 ⊙ 表示哈达玛积。令 f_θ: R^{CT} → R^{CT} 和 g_φ: R^{CT} → R^{CT