新型AI可通过读取脑活动重建你眼前所见的图像

# 新型AI可通过读取脑部活动重建你正在观看的内容 来源：https://www.thebrighterside.news/post/new-ai-can-reconstruct-what-youre-looking-at-by-reading-brain-activity/ - Brain-IT能够重建fMRI扫描期间受试者观看的图像，同时改善了视觉内容和空间布局的恢复效果。 - 在多人数据上完成训练后，它仅使用一个新受试者一小时的数据便能生成有竞争力的重建结果。 - 该实验系统仍存在错误；解码梦境、帮助患者交流以及应用于EEG等仍属拟议中的拓展方向。 一只在浴缸中的狗被重建成了颜色相近的山羊。一个蛋糕变成了三个三明治。这些错误揭示了该AI系统的局限——尽管它在其他情况下能够从观看者的大脑活动中重建出令人意外地细致的图像。 这些项目共同应对同一问题的两个方向：预测大脑对图像的反应，以及从这些反应中重建图像。所展示的任务涉及扫描期间观看的图片，而涉及梦境或患者交流的应用仍停留在研究愿景阶段。 使用"Brain-IT"从fMRI重建所见图像。(a) 使用完整NSD数据集（每位受试者40小时）的图像重建。(b) 利用极少量数据高效迁移学习到新受试者：仅用15分钟的fMRI记录即可获得有意义的重建结果。(图片来源：Michal Irani 等，ICLR 2026) ### 数千张图片，八颗深度扫描的大脑 该研究利用了公开可用的自然场景数据集（Natural Scenes Dataset），这是一份异常密集的脑部记录集合。八名精心挑选的志愿者在多次功能性磁共振成像（fMRI）会话中观看了数千张照片。 每位参与者在一年内分布在30到40次会话中观看了9,000至10,000个不同场景。汇总所有参与者，该数据集包含对70,566张不同图像的反应。其深度提供了大量样本，展示了单个大脑如何响应视觉信息。 记录使用了7特斯拉扫描仪和1.8毫米的空间分辨率。这些测量将大脑划分为称为体素（voxel）的小体积单位，而非记录单个神经元。 功能性MRI测量与神经活动相关的血氧变化。因此它提供的是间接信号，研究人员利用该信号来学习记录反应与展示图片之间的关系。 志愿者在参加完整实验前经过了数据质量筛选。这有助于产生异常有价值的记录，但八名深度采样的个体仍然代表了一个较小的受试者群体。该数据集强调的是个体内的深度，而非人群范围的变异。 ### 恢复对象及其空间布局 早期的重建系统可能产生正确的总体对象，但无法忠实恢复其外观。例如，识别出香蕉并不能确定它们的位置、形状或周围场景。 Brain-IT的图像重建概览。(图片来源：Michal Irani 等，ICLR 2026) Brain-IT将这些挑战分为互补的两个分支。一个分支预测语义特征，描述图片的内容。另一个分支预测结构特征，帮助保留图片的大致布局、颜色和轮廓。 这些预测引导一个扩散模型，通过逐步去除噪声来生成图像。结构分支帮助确定初始布局，而语义分支引导输出生成合适的物体。 该系统还将来自功能相似体素群组的信息进行整合。其Brain-Interaction Transformer允许信息在这些群组之间传递，然后预测局部图像特征。 这一区分很重要，因为一张令人信服的生成图片仍可能与受试者实际所见的内容不同。目标是忠实的重建，包括空间关系，而非仅生成一个属于正确类别的看似合理的样本。 ### 将训练扩展到扫描记录之外 收集足够的配对照片和脑部记录仍然是一个主要限制。每增加一个测量反应都需要一个人、一台扫描仪和实验时间。 研究人员使用一个编码器来应对这一短缺，该编码器从图像预测fMRI反应。解码器执行相反的任务，从脑部反应中估计视觉信息。 Brain-IT与3种领先方法进行比较，其重建结果在语义内容和低级视觉属性方面均保持得更好。(图片来源：Michal Irani 等，ICLR 2026) 这创建了一个训练循环，可以使用从未在扫描仪内展示过的图片。图像输入编码器，编码器预测一个大脑反应。解码器随后尝试从该预测反应中恢复原始图片的信息。 将重建的信息与原始图片进行比较有助于训练系统。Irani报告称，约70%的训练数据来自没有原始配对fMRI记录的图像。 这些额外样本扩展了可用的训练材料，但其预测反应并非人类大脑的新测量结果。该过程依赖于从实际记录中学到的关系。保持这一区分清晰可以防止合成训练数据被误认为是额外的实验观测结果。 ### 一小时的校准，以及一个重要的比较 大脑解剖结构和记录反应因人而异，这使得在不同受试者之间复用模型变得复杂。该团队的方法共享了大部分学到的机制，同时适应新受试者的记录。 在报告的测试中，Brain-IT使用一小时的受试者专属fMRI数据产生了重建结果。作者将这些结果与在完整40小时记录上训练的早期方法进行了比较，发现性能相当。 一小时适配本身并非前所未有。MindEye2（https://medarc-ai.github.io/mindeye2/）于2024年发表，同样展示了使用新受试者一小时数据进行重建的能力。Brain-IT的实验在相同的有限数据条件下与该系统及MindTuner进行了比较。 语义图像生成。语义分支旨在生成既与自然图像分布一致、又在语义上忠实于底层所见图像的图像。(图片来源：Michal Irani 等，ICLR 2026) 对于完整数据基准测试，作者报告在八项评估指标中的七项上取得了领先性能。主要比较结果是在四位自然场景数据集参与者上取平均，而非代表广泛的临床评估。 不同的指标评估不同的属性，包括图像结构和语义相似性。在这些指标上的强表现支持了重建这一主张，但并不意味着系统能够精确地复制每一张图片。 ### 一扇研究窗口，怀有临床抱负 相关的通用编码器能够预测跨人、跨数据集的反应。其学到的表示按功能相似性对体素进行分组，为研究视觉处理提供了另一种方式。 某些群组对食物、人脸、文字和户外场景等类别表现出优先响应。这些模式可能有助于研究人员考察不同脑区表征了哪些视觉信息。但它们并不能证明每个人的大脑在这些功能上具有完全相同的解剖边界。 Irani希望将该工作扩展到想象的图像、梦境、视频和音频。帮助无法行动或无法说话的人进行交流是另一个拟议中的应用，同时还有探索诸如PTSD闪回等体验。 这些可能性尚未通过这些图像观看实验得到证实。重建扫描期间呈现的照片不同于恢复一段私密记忆或翻译一个预期传达的信息。 Brain-IT与两种也提供1小时重建结果的领先方法（MindEye2和MindTuner）的比较。Brain-IT展现了对所见图像更高的保真度。(图片来源：Michal Irani 等，ICLR 2026) "这是我们目前尚未实现的，"Irani在谈到这些期望中的拓展方向时说道。目前的结果提供了一个研究感知的工具，还需要进一步工作来确定它能捕捉哪些其他心理体验。 ### 心理隐私问题超越扫描仪 更广泛解码的可能性引起了神经伦理学家的关注。担忧的核心在于未来系统是否可能提取超出个人明确同意分享范围的心理信息。 目前的fMRI研究需要大量设备和受试者的深度参与。这些实验并未展示对任意思想或记忆的隐蔽获取。将类似方法转移到脑电图（EEG）上需要独立的证据来证明这些信号支持预期的解码任务。 EEG通过电极记录电活动，正在被探索作为脑解码的另一条路径。专家警告称，更易获取的记录可能带来同意和隐私风险，因为模型可能从中推断额外信息。 对于Brain-IT而言，近期成就是更狭窄且可衡量的：在受控条件下更好地重建所见图像。其错误、校准需求和有限的受试者样本仍然是评判这一成就意义的核心要素。 ### 深入探索脑解码与心理隐私 以下资源探讨了视觉重建、语言解码、底层脑部数据集以及神经技术的伦理保障。 研究成果可在[此处](https://proceedings.iclr.cc/paper_files/paper/2026/hash/c9fd326fd03eaf52f672c31cde9658af-Abstract-Conference.html)在线获取。 --- - Meta发布读心AI，以惊人精度将你的想法打成文字(https://www.thebrighterside.news/post/meta-unveils-mind-reading-ai-that-types-your-thoughts-with-shocking-precision/) - 梦境中的大脑不会重播人生，而是重建它(https://www.thebrighterside.news/post/the-dreaming-mind-doesnt-replay-life-it-rebuilds-it/) - AI模型在识人与社交场景方面展现人类水平能力(https://www.thebrighterside.news/post/ai-model-shows-human-level-skill-in-reading-people-and-social-situations/) ---