人工神经网络如何构建自身的学习机制 [R]
摘要
MIT报道《美国国家科学院院刊》(PNAS)一项新研究:随机连接的神经元单元通过共享可塑性规则,可自行组装出能够学习的结构,在模式识别和图像分类任务中达到与反向传播训练的网络相近的性能。作者强调,这是对生物合理性的探索,而非反向传播的替代方案。
MIT 报道(2026 年 10 月 13 日):https://news.mit.edu/2026/how-artificial-neural-networks-build-their-own-learning-machinery-1013 论文:《生物突触如何自组装形成梯度学习机制》(PNAS,10 月 9 日):https://www.pnas.org/doi/10.1073/pnas.2606245123 据 MIT 报道,受共同可塑性规则支配、随机互连的类神经元单元能够组装出学习基元,并学会模式识别和图像分类。报道中的比较发现,其性能与所测试的经反向传播训练的网络相近。两者的区别在于,是直接设计学习回路,还是指定局部规则,让学习机制由此自行组织形成。在结合分类准确率评估这一结果时,值得考察的问题包括:这些基元在不同初始连接条件下是否稳定,以及这一方法能否扩展到已展示任务之外。作者明确提醒,自组织现象并不能证明大脑使用了这种机制。这项研究的出发点是探索生物学上的合理性,而非提供证据表明它能够替代大规模模型中的反向传播。
相似文章
人工神经网络如何构建自身的学习机制
麻省理工学院的研究人员在《美国国家科学院院刊》(PNAS)上发表了一篇论文,表明人工神经网络能够通过简单的局部规则构建自身的学习机制,在没有开发者引导的情况下,将随机连接的单元重塑为有效的信息处理网络,为理解大脑如何学习提供了新的见解。
神经网络的模块化程度比单个神经元所显示的更高
该论文提出一个形式化的嵌套模块化层级(单元级、正交、线性),发现尽管单个神经元常常承担多种功能,神经网络在子空间层面仍表现出清晰的功能模块化,并在视觉、语言模型和多任务RNN中通过选择性消融得到验证,且这些子空间与脑数据有差异化对应。
神经网络本身就是干净的
Goodfire 研究者发文论证,此前被广泛接受的神经元多义性与叠加假说是对 InceptionV1 证据的误读;经架构改进后的模型中,99–100% 的末层神经元已可解释,他们主张网络本身就是可读的构建块,无需先用稀疏自编码器解缠。
[R] 我构建了一个像大脑一样学习的认知架构——无需反向传播、无需GPU、不会遗忘
介绍了一种新颖的认知架构,它无需反向传播、GPU或遗忘即可学习,模仿了生物学习方式。
AI记忆正在学习自我重构
本文讨论了AI中一种新的方法,其中记忆系统可以自主地自我重组,可能带来更具适应性和更高效的学习。