论文页面 - 移除时间捷径可改善非侵入式脑到文本解码

来源: https://huggingface.co/papers/2609.40359

摘要

我们发现，从非侵入式脑记录中解码词语的大幅性能提升，很大程度上在完全不使用任何脑数据的情况下即可复现。在 d’Ascoli 等人（2025）这项有影响力的工作中，受试者感知连续语音时的脑活动时间序列，被以每个词为起点切割成固定长度的窗口。随后，一个神经网络对句子中所有词语联合生成预测。相邻窗口部分重叠，隐式地泄露了词语之间的间隔。由于这些间隔反映了所说词语的持续时间，而不同词语往往具有不同长度——例如 “the” 远比 “supercalifragilisticexpialidocious” 短——神经网络便无需依赖底层脑活动就能改进对词语的预测。与此一致，该方法在不含任何脑信息的合成信号上达到了 22.0% 的平衡准确率，而在真实脑记录上为 22.3%。为阻止网络学到这一捷径，我们只做了一个简单改动：不再对句子中的所有窗口联合编码，而是各自独立地处理每个窗口。由此，神经网络通过学习来自脑记录的词语特有信息，获得了更好的性能。这使得两种已有策略变得比以往有效得多：对同一词语的不同神经反应的预测进行聚合，以及使用预训练 LLM 作为语言先验，现在都能显著提升结果。在我们的感知语音基准上，这一简单方案（SimpleB2T）在每词五次观测下达到了 36.6% 的词错误率，接近以往侵入式语音解码的性能，尽管所处条件不同。本研究的结果揭示了脑到文本解码中的一个重要捷径，并表明移除该捷径能带来一种更简单且显著更有效的策略。

查看 arXiv 页面 (https://arxiv.org/abs/2609.40359)查看 PDF (https://arxiv.org/pdf/2609.40359)GitHub 0 (https://github.com/neural-processing-lab/SimpleB2T)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.40359)

在你的 agent 中获取这篇论文：

hf papers read 2609.40359

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2609.40359，即可从本页面链接过去。

引用本文的数据集 0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.40359，即可从本页面链接过去。

引用本文的 Space 0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.40359，即可从本页面链接过去。

包含本文的合集 0

没有合集包含这篇论文

将本文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接过去。