面向计算神经科学的视觉、听觉与语言全皮层编码模型 [R]

Reddit r/MachineLearning 模型
neuroscience brain-encoding fmri multimodal open-source vision audition

摘要

发布了一个名为 Cajal-1 的 2.18 亿参数全脑皮层编码模型，基于 2000 人观看影片、电视和图片时的 fMRI 数据训练，可预测视觉、听觉和语言刺激在 20,484 个皮层位置上的响应。模型与 Colab 演示已在 Hugging Face 上开源。

我基于 2000 个人在观看影片、电视和图片时的 fMRI 数据，构建并训练了一个 2.18 亿参数的模型——Cajal-1。在 Meta 留出用于测试 TRIBE v2 的影片上，Cajal-1 在 32 段记录中有 27 段的准确率高出 25%，预测结果更接近真实大脑的反应。给它任意视频、播客或歌曲，它就能以每 1.49 秒一次的速度，预测人类皮层上 20,484 个点位的 fMRI 响应。同样的速度，无需扫描仪。模型以 Santiago Ramón y Cajal 命名，他是第一位获得诺贝尔科学奖的西班牙人。在 19 世纪 90 年代，他使用 Golgi 银染色法（与 Golgi 小体同名的技术）手绘神经元，证明了大脑由独立的细胞构成。一个世纪后的今天，我们可以预测这些细胞在整个大脑范围内对任何刺激的响应。模型和 Colab 演现已开源：https://huggingface.co/ffh92r32rm0/Cajal-1
查看原文

相似文章

面向脑编码的参数高效微调扩展

Hugging Face Daily Papers

该论文提出使用参数高效微调（PEFT/低秩适配器）来适配超大多模态骨干网络进行脑编码，Brain LoRA 在 Algonauts 2025 挑战赛中取得最佳公开成绩，并通过 multi-LoRA kernel 支持 200+ 模型集成。

LiquidAI/LFM3-VL-2B

Hugging Face Models Trending

Liquid AI 发布 LFM3-VL-2B，一款面向端侧视觉理解的 1.92B 视觉语言模型，支持文本、图像和视频输入，并引入视频理解、逐步思考以及空间与具身推理能力。

利用语言模型的稀疏特征解读大脑对语言的反应

arXiv cs.CL

本文介绍了Augmented Sparse Encoding Models，利用语言模型的稀疏特征解读大脑对语言的反应，并在高场7T fMRI数据上进行了验证。该模型恢复了已知的神经调谐特性，并发现了一个新的体素群体，该群体对与人相关的内容具有调谐特性。