用于样本高效神经接口的预训练

# 面向样本高效神经接口的预训练

来源：https://arxiv.org/html/2609.13507
\\workshoptitle

面向大脑与身体的基础模型

###### 摘要

脑机接口（BCI）通过解码神经活动来恢复丧失的功能。通常，训练高性能的神经解码器需要为每个新受试者收集大量标注数据集。降低标注数据成本的一种方法是自监督预训练，它能够从跨受试者积累的未标注记录中学习通用神经表征。然而，对于颅内脑电图（iEEG）记录，由于受试者之间接触点放置位置和神经解剖结构的差异，自监督学习一直面临挑战。我们提出了MAPA，一个标准的带有两种空间编码的掩码自编码器：一个解剖区域嵌入和一个相对位置编码。这两种编码共同使其能够学习可迁移至未见受试者并适用于各种任务的神经表征。MAPA在不进行微调的情况下，在Neuroprobe基准测试的所有三种评估模式（会话内、跨会话、跨受试者）中均达到了新的最先进水平。在跨受试者模式下，仅需约164个标注试验，基于MAPA特征的线性探测器即可达到无需预训练时需要3500个标注试验才能达到的准确率。我们的结果表明，自监督预训练可以跨异构的iEEG记录扩展，并减少在新受试者中实现精确解码所需的标注数据量。

## 1 引言

图 1：跨受试者共享的两种空间属性。(a) 不同受试者中放置位置不同的电极阵列采集相同的神经解剖区域。(b) 相同的活动模式在每个受试者的阵列上落在不同的位置。

脑机接口（BCI）可以将神经活动解码为运动、文本或言语，从而恢复因神经系统损伤或疾病而丧失的功能[19 (https://arxiv.org/html/2609.13507#bib.bib19), 34 (https://arxiv.org/html/2609.13507#bib.bib34), 24 (https://arxiv.org/html/2609.13507#bib.bib24)]。然而，当前的神经解码器需要为每个新受试者提供大量标注数据集，才能在精细化任务上达到高精度。收集标注数据需要相当多的时间和精力，这阻碍了脑机接口的成功部署，尤其对于患有中风或严重神经肌肉疾病的人群[8 (https://arxiv.org/html/2609.13507#bib.bib8), 14 (https://arxiv.org/html/2609.13507#bib.bib14)]。

近期的工作提出利用跨受试者汇集的数据来训练模型，以提高准确性并降低校准成本。文献中出现了两种不同的方法：通过监督学习汇集标注数据，以及通过自监督学习汇集未标注数据。监督学习谱系中的先前工作[23 (https://arxiv.org/html/2609.13507#bib.bib23), 7 (https://arxiv.org/html/2609.13507#bib.bib7), 29 (https://arxiv.org/html/2609.13507#bib.bib29), 20 (https://arxiv.org/html/2609.13507#bib.bib20), 12 (https://arxiv.org/html/2609.13507#bib.bib12), 30 (https://arxiv.org/html/2609.13507#bib.bib30)]已经显示出解码性能的提升；然而，扩展监督模型仍然受限于可用标注数据的数量，而这些数据只能随着受试者在任务上花费的时间而增加。另一方面，自监督模型直接从持续积累的原始记录中学习，无需实验范式或额外的受试者参与。尽管在数据规模上具有优势，但预训练模型目前仅显示出相对于特定任务基线的边际增益[1 (https://arxiv.org/html/2609.13507#bib.bib1), 18 (https://arxiv.org/html/2609.13507#bib.bib18)]。

在此，我们探索用于颅内脑电图（iEEG）的自监督预训练，iEEG记录的是放置在大脑表面（皮层脑电图，ECoG）或大脑组织内部（立体脑电图，sEEG）的电极阵列的神经活动。颅内记录以高保真度和精细的空间分辨率对场电位进行采样[27 (https://arxiv.org/html/2609.13507#bib.bib27)]，并且在整个临床监测期间持续积累，产生来自多个受试者的大批量未标注数据[28 (https://arxiv.org/html/2609.13507#bib.bib28), 5 (https://arxiv.org/html/2609.13507#bib.bib5), 10 (https://arxiv.org/html/2609.13507#bib.bib10)]。基于这些原因，iEEG是自监督预训练的有力候选对象，但*接触点放置位置和神经解剖结构的差异*使得汇集iEEG记录变得困难。

尽管如此，即使在个体采样存在差异的情况下，两种空间属性在受试者之间是共享的。首先，功能在大脑中是区域化的：支持运动、语言和感知的神经解剖区域在不同个体间是保守的[13 (https://arxiv.org/html/2609.13507#bib.bib13)]，因此，在不同受试者中采样相同区域的接触点在相同任务期间会记录到相似的活动（图1 (https://arxiv.org/html/2609.13507#S1.F1)a）。其次，相同的活动模式在每个受试者的阵列上落在不同的绝对位置，但模式是由其在接触点之间的相对位置定义的（图1 (https://arxiv.org/html/2609.13507#S1.F1)b）。关键在于，无论阵列放置在哪里，每个受试者的接触点的解剖区域及其在阵列内的相对位置都是已知的。

我们围绕这两种空间属性设计了MAPA（带位置与解剖编码的掩码自编码器），对每个接触点应用解剖区域嵌入，并对阵列中的接触点应用相对位置编码。先前的工作要么没有编码空间位置[32 (https://arxiv.org/html/2609.13507#bib.bib32)]，要么将其编码为物理坐标[6 (https://arxiv.org/html/2609.13507#bib.bib6)]、每个通道的学习嵌入[22 (https://arxiv.org/html/2609.13507#bib.bib22)]，或模板脑中的坐标[15 (https://arxiv.org/html/2609.13507#bib.bib15)]。BaRISTA[26 (https://arxiv.org/html/2609.13507#bib.bib26)]发现，在区域尺度上编码位置可以提高下游解码性能。据我们所知，阵列内的相对位置编码对于iEEG模型是新颖的。MAPA的其余部分是一个标准的视觉Transformer（ViT）[9 (https://arxiv.org/html/2609.13507#bib.bib9)]，通过掩码自编码[16 (https://arxiv.org/html/2609.13507#bib.bib16)]进行预训练，并保持其默认配置以隔离我们空间编码的效果。

我们在Neuroprobe[35 (https://arxiv.org/html/2609.13507#bib.bib35)]上进行评估，这是一个针对iEEG基础模型的基准测试，涵盖了在观看电影期间的音频、语言和视觉解码的15项任务。该基准测试定义了三种模式：会话内、跨会话和跨受试者。预训练我们使用来自7个受试者13个会话的27.9小时Brain Treebank[33 (https://arxiv.org/html/2609.13507#bib.bib33)]记录，与大多数先前参赛者使用的数据匹配。为了研究预训练如何迁移到未见受试者，我们完全保留了两个评估受试者不参与预训练。

我们的主要贡献如下：

- • Neuroprobe上的新最先进水平。MAPA在所有三种模式中排名第一，并且在跨会话和跨受试者模式中，它是唯一一个优于特定任务基线的预训练模型。
- • 空间编码带来的预训练增益。没有空间编码时，MAPA在所有模式下都低于我们的前端基线。
- • 以减少21倍标签的跨受试者解码。基于MAPA冻结特征的线性探测器，仅需约164个标注试验即可达到前端基线在全数据下的准确率，而不是3500个。

## 2 方法

MAPA是掩码自编码器（MAE）[16 (https://arxiv.org/html/2609.13507#bib.bib16)]（一种自监督学习方法）在颅内神经记录上的扩展（图2 (https://arxiv.org/html/2609.13507#S2.F2)）。编码器、解码器和目标遵循标准MAE设计。我们只更改了分块方法和两种空间编码，以适应iEEG数据。

*请参见图注*

图 2：MAPA架构。在预训练期间，对跨越电极接触点、频带和时间的大随机子集块进行掩码。编码器仅处理可见的块，然后一个小解码器处理所有编码块和掩码标记，以重建被移除块的频率箱。我们的两种空间编码同时进入编码器和解码器，解码器在预训练后被丢弃。

表 1：输入表示。每个频带包含在列出窗口长度下的短时傅里叶变换幅度。长窗口解析低频，短窗口解析高频。这些频率箱是编码器和前端基线的输入。

#### 前端

给定一个包含N个接触点（sEEG电极轴或ECoG网格）的阵列，我们将每个接触点的原始电压相对于阵列的均值进行参考。然后，我们取三种不同窗口长度下的短时傅里叶变换的幅度（表1 (https://arxiv.org/html/2609.13507#S2.T1)），以捕获不同频率和时间尺度的神经过程[4 (https://arxiv.org/html/2609.13507#bib.bib4)]。最后，我们按会话内每个接触点的频率箱的中位数和中位数绝对偏差进行归一化，并将归一化后的箱裁剪到固定范围（附录H (https://arxiv.org/html/2609.13507#A8)）。

#### 分块

块是某一个频带在某一个接触点、以该频带速率采样的某个时间步上的频率箱。在T秒内，每个接触点贡献4T个慢速块、16T个中速块和32T个快速块。每个频带对应的线性层将每个块投影到模型宽度的一个标记。我们向每个标记添加一个学习的频带嵌入。

#### 位置编码

我们应用两种位置编码。第一种是应用于每个标记的、由标准脑图谱[17 (https://arxiv.org/html/2609.13507#bib.bib17)]提供的区域（附录B (https://arxiv.org/html/2609.13507#A2.SS0.SSS0.Px1)）的学习区域嵌入。第二种是旋转位置编码（RoPE）[31 (https://arxiv.org/html/2609.13507#bib.bib31)]，应用于阵列空间轴和时间上的查询和键。沿阵列的位置是从临床标签中读取的整数接触点编号，RoPE仅编码两个接触点编号之间的差异。

#### 掩码

我们以均匀随机方式掩码块，不跨越接触点、频带或时间具有任何结构。我们移除75%的所有块，这是原始MAE论文[16 (https://arxiv.org/html/2609.13507#bib.bib16)]中使用的比例，尽管最佳比例取决于块之间的冗余度[11 (https://arxiv.org/html/2609.13507#bib.bib11)]，这由接触点间距和连续窗口之间的重叠决定（表1 (https://arxiv.org/html/2609.13507#S2.T1)）。我们在所有运行中保持掩码比例恒定。

#### 自编码

我们的编码器是一个ViT-Small[9 (https://arxiv.org/html/2609.13507#bib.bib9)]（21.3M参数），仅应用于可见块集合。我们的解码器是另一个深度和宽度减半的ViT，应用于编码块集合和一组掩码标记的并集。我们在解码器中应用与编码器相同的频带嵌入、区域嵌入和相对位置编码。解码器通过一个逐频带的线性层重建每个被移除块的频率箱，损失是移除块上的均方误差。遵循V-JEPA 2.1[25 (https://arxiv.org/html/2609.13507#bib.bib25)]，我们在中间层以及输出层都对编码器进行监督（附录B (https://arxiv.org/html/2609.13507#A2)）。解码器在预训练后被丢弃。

## 3 实验

### 3.1 设置

我们的核心实验保持前端和读出层固定，分别评估有编码器和无编码器的情况。*前端基线*是 前端→读出层，而MAPA是 前端→编码器→读出层。编码器经过预训练，然后在所有评估中冻结，读出层是一个线性探测器（附录C (https://arxiv.org/html/2609.13507#A3)）。

我们在Neuroprobe上评估这两个模型，该基准测试使用受试者工作特征曲线下面积（AUROC）对15个二元任务进行评分。我们报告宏观AUROC，即15个任务的平均AUROC（附录E (https://arxiv.org/html/2609.13507#A5)）。每个试验是从单词起始后的0到1秒的窗口。评估涵盖6个受试者的12个会话，每个受试者2个会话，每个任务最多3500个试验（附录A (https://arxiv.org/html/2609.13507#A1)）。

Neuroprobe包含三种评估模式，它们的区别在于读出层的拟合数据。会话内在会话的一个连续半段上拟合，在另一半上测试。跨会在一个受试者的一个会话上拟合，在保留的会话上测试。跨受试者在一个锚定受试者上拟合，在其余每个受试者上测试。

### 3.2 Neuroprobe上的结果

表 2：Neuroprobe排行榜。15个任务的宏观AUROC。仅显示每个已发布方法家族的最佳参赛者。

MAPA在所有三种模式中均排名第一（表2 (https://arxiv.org/html/2609.13507#S3.T2)）。在会话内模式之外，MAPA是唯一一个优于最佳特定任务基线（CNN Lap+STFT）的预训练模型。MAPA在跨受试者模式中对已发布参赛者的领先优势最大。

我们的前端基线本身就很强大，在13个会话内参赛者中排在12个之上，在12个跨会话参赛者中排在11个之上，在所有10个跨受试者参赛者之上。MAPA在每个模式上都对其进行了改进。我们的两个参赛者共享相同的前端和读出层，因此*增益完全来自预训练编码器*。

### 3.3 两种空间编码的消融研究

为了测试增益如何依赖于这两种空间编码，我们预训练了另外三个模型，分别单独移除每种编码以及同时移除两种编码，并以相同方式读出所有四个模型（图3 (https://arxiv.org/html/2609.13507#S3.F3)）。两种编码一起在所有模式的所有受试者上均优于基线，并且在会话内和跨会话模式下改进显著（附录D (https://arxiv.org/html/2609.13507#A4)）。每种编码单独带来的改进都小于两种编码一起。两者都不使用时，预训练模型低于基线。

图 3：空间编码带来的增益。相对于前端基线的宏观AUROC增益，每个点代表一个受试者，改进的受试者数量标于每栏上方。∗标记q < 0.05，针对基线的单侧配对受试者排列检验（附录D (https://arxiv.org/html/2609.13507#A4)）。

### 3.4 泛化至保留受试者

图 4：保留受试者中的增益。编码器深度在跨受试者模式下对两个未参与预训练受试者的宏观AUROC。第0层是前端基线。

最严格的跨受试者迁移测试是在锚定受试者上拟合读出层，并在预训练中保留的受试者上进行评估。由于编码器和读出层都未在保留受试者上拟合，因此获得增益需要学习*可跨受试者泛化的神经表征*。

在跨受试者模式下，MAPA在我们两个保留受试者上相对于前端基线均提高了宏观AUROC（附录F (https://arxiv.org/html/2609.13507#A6)）。没有空间编码时，模型在两个受试者上都低于基线（图4 (https://arxiv.org/html/2609.13507#S3.F4)）。四个模型在编码器的前半部分保持接近，在更深层产生分离，其中增益仅在两种编码都存在时持续上升。

### 3.5 样本效率

为了测试预训练是否减少了达到给定准确率所需的标签数量，我们基于子采样标签数量重新拟合读出层（附录G (https://arxiv.org/html/2609.13507#A7)）。在跨受试者模式下，我们评估MAPA线性探测器在标签数量从3500个试验减少到100个试验时的表现（图5）。