论文页面 - BrainJanus：脑、视觉与语言理解与生成的统一模型

来源：https://huggingface.co/papers/2606.30319 作者：

,

,

,

,

,

,

,

,

,

摘要

BrainJanus 代表了首个统一的大脑模型，通过共享的 Omni 空间整合了脑、视觉与语言，借助 token 化表示和自回归架构实现了神经活动与感官刺激之间的双向映射。

建模外部感官刺激与内部神经活动之间的双向对应关系已成为神经科学的前沿关键领域。然而，现有方法普遍将脑编码与解码视为独立任务，严重依赖单模态对齐和外部先验，忽视了大脑作为多模态整合系统的固有本质。为克服这些局限，我们提出 BrainJanus——首个在单一框架内整合脑、视觉与语言的统一大脑模型。具体而言，我们引入统一的脑 Token 化器，将连续神经动态量化为离散 Token，使其与共享 Omni 空间中的视觉和语言表示对齐。在此基础上，我们采用一体化自回归架构，利用下一 Token 预测实现无缝的任意输入到任意输出生成，涵盖图像到脑和文本到脑的编码，以及脑到图像和脑到文本的解码。大量实验表明，BrainJanus 在多种基准上均取得了优越性能。此外，我们的框架展现出零样本泛化能力，并保留了可解释的生物拓扑结构，凸显其作为通用大脑建模范式的潜力。代码可在 https://github.com/HaitaoWuTJU/BrainJanus{GitHub} 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30319)查看 PDF (https://arxiv.org/pdf/2606.30319)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30319)

在您的 agent 中获取此论文：

hf papers read 2606\.30319

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.30319 即可在此页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.30319 即可在此页面链接。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.30319 即可在此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection) 即可在此页面链接。