Brain-CLIPLM：基于脑电压缩语义表征的语言重建解码

arXiv cs.CL 论文
eeg-decoding brain-computer-interface semantic-anchor language-reconstruction contrastive-learning chain-of-thought neural-decoding

摘要

研究人员提出Brain-CLIPLM，一个两阶段脑电到文本解码框架，利用对比学习提取语义锚点，并结合基于检索的大语言模型（LLM）及思维链（CoT）推理进行句子重建。该方法在测试中达到67.55%的Top-5句子检索准确率和85.00%的Top-25准确率，显著优于直接解码基线模型，跨被试评估证实了其良好的泛化能力。研究结果表明，脑电到文本解码应聚焦于恢复压缩后的语义内容，而非完整句子重建。

arXiv:2604.16370v1 公告类型：新增 摘要：从非侵入性脑电图（EEG）解码自然语言仍然受到低信噪比和信息带宽受限的根本限制。这引发了一个基本问题：在如此受限的信号条件下，句子级语言结构能否被可靠地恢复？在这项工作中，我们认为在现实的信息约束下，这一假设可能并不成立。相反，我们提出语义压缩假说——脑电信号编码的是一组压缩的语义锚点，而非完整的语言结构。在这一新视角下，直接进行句子重建相对于脑电信号的内在信息容量而言是一个参数过多的目标。为解决这一不匹配问题，我们提出Brain-CLIPLM，这是一个两阶段框架，将脑电到文本解码分解为：通过对比学习提取语义锚点，以及使用基于检索的大语言模型（LLM）结合思维链（CoT）推理进行句子重建，遵循粒度匹配原则，使解码复杂度与神经信息容量相匹配。在苏黎世认知语言处理语料库（Zurich Cognitive Language Processing Corpus）上评估，Brain-CLIPLM实现了67.55%的Top-5和85.00%的Top-25句子检索准确率，显著优于直接解码基线方法，跨被试评估确认了稳健的泛化能力。控制分析（包括置换检验）进一步表明，脑电衍生表征携带了超出语言模型先验的句子特异性信息。这些结果表明，脑电到文本解码更适合被框架为恢复压缩语义内容而非重建完整句子，为非侵入性脑机接口提供了一条具有生物学基础且数据高效的路径。
查看原文

相似文章

利用语言模型的稀疏特征解读大脑对语言的反应

arXiv cs.CL

本文介绍了Augmented Sparse Encoding Models，利用语言模型的稀疏特征解读大脑对语言的反应，并在高场7T fMRI数据上进行了验证。该模型恢复了已知的神经调谐特性，并发现了一个新的体素群体，该群体对与人相关的内容具有调谐特性。

从神经活动进行端到端的大脑皮层内语音解码

arXiv cs.CL

本文提出了一种端到端的基于Conformer的神经解码器，用于从一位肌萎缩侧索硬化症（ALS）参与者的皮层内记录进行语音解码，在没有任何外部语言模型的情况下，字符错误率达到23.80%。该研究表明，在完全端到端的框架中实现有意义的字符级解码是可行的。