论文页面 - 可解释的感知语音 MEG 解码：皮层源与驱动检索的刺激特征

来源：https://huggingface.co/papers/2608.01481

摘要

通过使用 CLIP 风格目标函数、针对 wav2vec2.0 音频嵌入训练的深度网络，可以从非侵入性脑磁图（MEG）记录中检索到所感知语音的短片段。然而，其权重并不映射到电生理量，并且仍不清楚哪些语音属性驱动了检索。我们基于一种高性能的 MEG 到音频检索架构，但重新设计了其前端和解码器。其空间注意力作用于展平的传感器布局；我们将其替换为定义在三维 MEG 头盔几何形状上的球谐函数。我们将受试者特定表示从 270 个分支减少到 25 个，为每个分支添加时间滤波器以使其在空间和时间上与神经源匹配，并使卷积解码器变得更浅。在训练之前移除眼动和心电成分，以降低刺激锁定捷径的风险。在 MEG-MASC 上，该模型在六个训练解决方案中对 1005 个候选项达到了 39.75 ± 0.34% 的 Top-1 准确率，解码器参数大约减少 20 倍。其权重映射到源空间，恢复出与语音感知网络一致的生成器，而左侧偏侧化的分支携带了右侧不明显的高频节律成分。配对 MEG 遮挡显示，19 个刺激特征中有 15 个有贡献，其中对静音、声音强度、元音和声学起始的影响最大。随机单词列表的表现则相反：将叙事性 MEG 代入其中可改善检索，这表明缺乏叙事结构的活动所携带的可恢复信息少于连贯语音期间的活动。wav2vec 目标可以缩减到约十二个学习到的特征维度而不损失准确率，而强时间压缩则会导致明显损失。总之，源映射和输入干预揭示了驱动检索的因素。

查看 arXiv 页面 (https://arxiv.org/abs/2608.01481) 查看 PDF (https://arxiv.org/pdf/2608.01481) 项目页面 (https://ivsemenkov.github.io/LISA/) GitHub1 (https://github.com/ivsemenkov/LISA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.01481)

在您的代理中获取此论文：

hf papers read 2608\.01481

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.01481 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.01481 以从此页面链接它。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.01481 以从此页面链接它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。