Brain-CLIPLM：基于脑电压缩语义表征的语言重建解码

arXiv:2604.16370v1 公告类型：新增 摘要：从非侵入性脑电图（EEG）解码自然语言仍然受到低信噪比和信息带宽受限的根本限制。这引发了一个基本问题：在如此受限的信号条件下，句子级语言结构能否被可靠地恢复？在这项工作中，我们认为在现实的信息约束下，这一假设可能并不成立。相反，我们提出语义压缩假说——脑电信号编码的是一组压缩的语义锚点，而非完整的语言结构。在这一新视角下，直接进行句子重建相对于脑电信号的内在信息容量而言是一个参数过多的目标。为解决这一不匹配问题，我们提出Brain-CLIPLM，这是一个两阶段框架，将脑电到文本解码分解为：通过对比学习提取语义锚点，以及使用基于检索的大语言模型（LLM）结合思维链（CoT）推理进行句子重建，遵循粒度匹配原则，使解码复杂度与神经信息容量相匹配。在苏黎世认知语言处理语料库（Zurich Cognitive Language Processing Corpus）上评估，Brain-CLIPLM实现了67.55%的Top-5和85.00%的Top-25句子检索准确率，显著优于直接解码基线方法，跨被试评估确认了稳健的泛化能力。控制分析（包括置换检验）进一步表明，脑电衍生表征携带了超出语言模型先验的句子特异性信息。这些结果表明，脑电到文本解码更适合被框架为恢复压缩语义内容而非重建完整句子，为非侵入性脑机接口提供了一条具有生物学基础且数据高效的路径。