论文页面 - 什么掩码几何形状最适合EEG基础模型？

来源：https://huggingface.co/papers/2609.33487

摘要

EEG基础模型在临床和认知神经科学的可扩展脑信号解码应用中前景广阔，但其预训练流程仍鲜为人知。在众多设计选择中，掩码策略尤为关键：它决定了网络需要预测的内容以及依据的上下文。然而，该策略从未被独立消融研究过，因为每个新模型都将新的掩码策略与新的骨干网络和目标函数捆绑在一起。本文，我们形式化了时空掩码策略的设计选择，并在两种自监督学习框架（MAE和JEPA）下，使用统一流程训练了不同掩码配置的各种模型。随后，我们在OpenEEGBench的12个数据集上，使用线性探测对生成的58个预训练模型进行了系统评估。两种框架在最优掩码配置和共同故障模式上达成一致。除这些之外，模型性能表现稳健：11种MAE和9种JEPA配置与最佳配置在统计上无显著差异。我们还发现了一种新的、仅存在于JEPA框架的故障模式——标记偏差膨胀崩溃，它对标准检测器不可见。通过精心选择掩码，我们的流程以远低于REVE的预训练计算成本，达到了其下游性能水平。

查看arXiv页面 (https://arxiv.org/abs/2609.33487)查看PDF (https://arxiv.org/pdf/2609.33487)项目页面 (https://pierregtch.github.io/eeg-fm-masking/)GitHub (https://github.com/PierreGtch/eeg-fm-masking)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.33487)

社区

论文提交者

12分钟前 (https://huggingface.co/papers/2609.33487#6abb6f35e0fab20d66ba9c6e)

什么掩码几何形状最适合EEG基础模型？

本文，我们展示了在MAE和JEPA框架下的受控评估。

通过拖拽、粘贴或点击此处上传图像、音频和视频到文本输入框。

点击或粘贴到此处上传图像

通过您的代理获取此论文：

hf papers read 2609\.33487

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型58

PierreGtch/eeg-fm-masking_mae_r9cm_L2 特征提取• 12.7M• 约1小时前更新 • 16 (https://huggingface.co/PierreGtch/eeg-fm-masking_mae_r9cm_L2)

PierreGtch/eeg-fm-masking_mae_rone_L1 特征提取• 12.7M• 约1小时前更新 • 14 (https://huggingface.co/PierreGtch/eeg-fm-masking_mae_rone_L1)

PierreGtch/eeg-fm-masking_mae_rone_L2 特征提取• 12.7M• 约1小时前更新 • 11 (https://huggingface.co/PierreGtch/eeg-fm-masking_mae_rone_L2)

PierreGtch/eeg-fm-masking_mae_rone_L4 特征提取• 12.7M• 约1小时前更新 • 10 (https://huggingface.co/PierreGtch/eeg-fm-masking_mae_rone_L4)

浏览引用本文的58个模型 (https://huggingface.co/models?other=arxiv:2609.33487)## 引用本文的数据集0

没有数据集链接本文

在数据集README.md中引用arxiv.org/abs/2609.33487以从本页链接。

引用本文的Space0

没有Space链接本文

在Space README.md中引用arxiv.org/abs/2609.33487以从本页链接。

包含本文的收藏1