论文页面 - 面向脑编码的参数高效微调扩展

来源: https://huggingface.co/papers/2610.26802

摘要

利用低秩适配器进行参数高效微调，能够高效地将超大多模态骨干模型适配到脑编码任务中，在提升性能和可解释性的同时降低计算成本。

脑编码模型旨在预测大脑对刺激的神经响应。目前最广泛采用的方法是从冻结的预训练骨干模型中拟合读出层。由于神经数据获取成本高且数量有限，从零开始用神经数据训练大模型或在任务预训练后对其进行全量微调一直困难重重。我们证明，参数高效微调能够以极少量的可训练参数有效地将超大预训练骨干模型适配到脑编码任务。为了使其在计算上切实可行，我们利用骨干模型的因果结构，在单次前向传播中预测多个时间点，取代了滑动窗口方法，显著降低了特征提取成本。这使得我们能够高效地对参数量高达 1040 亿的多模态骨干模型进行微调——据我们所知，这是迄今为脑编码任务适配的最大模型。我们的方法 BrainLoRA 采用低秩适配器和轻量级读出层进行训练，在九个不同的多模态骨干模型上均一致地提升了脑编码性能。在与先前最先进方法相同的 Qwen3-Omni 骨干模型上，我们的方法 BrainLoRA 在 Algonauts 2025 挑战赛中取得了已发布的最佳成绩。我们还展示了经过适配的多模态骨干模型仍保持可解释性：模态归因分析恢复了经典的感知地形图——此前的工作通常需要从独立的单模态编码器中通过构造获得；而神经适配增加了音频输入以及骨干模型内部跨模态混合的贡献。为了扩展适配模型的数量，我们开发了一个多 LoRA 内核，加速了在共享骨干模型上对多个 LoRA 的联合训练。这使得我们能够构建一个包含 200 多个适配模型的集成模型，在撰写本文时于公开的 Algonauts 赛后排行榜上排名第一。综上所述，我们的结果凸显了参数高效微调作为脑编码高效且强大范式的优势。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26802) | 查看 PDF (https://arxiv.org/pdf/2610.26802) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.26802)

在你的代理中获取这篇论文:

hf papers read 2610.26802

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

zfying/brain-lora 约 4 小时前更新 • 1 (https://huggingface.co/zfying/brain-lora)

引用本文的数据集 0

暂无关联本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.26802 以从本页面链接它。

引用本文的 Space 0

暂无关联本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.26802 以从本页面链接它。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接它。