标签
作者进行了一次权重空间编程(Weight-Space Programming)实验,让 Claude Fable 5.2 手动设置一个 CNN 的全部5,994个权重来对 MNIST 进行分类,整个过程没有任何拟合或搜索。结果发现,生成的网络类似于深度学习出现之前的手工设计技术——这与原始 WSP 文章中由 GPT-6 Astra 构建的围棋网络所呈现的模式一致。
一篇博客文章探讨了 Weight-Space Programming(权重空间编程),即前沿大模型直接读写神经网络权重,结果显示,让 LLM 手工构建 MNIST 卷积神经网络的权重,本质上重新发现了深度学习之前的经典技术。
Sakana AI 推出了 PC-ALM,这是一种 backpropagation 的本地学习替代方案,能够仅使用局部动态训练 1000 层神经网络。
作者分享了用C语言构建MNIST分类器的经历,强调理解基础比编码更重要,并解释了一维向量矩阵乘法的直觉。
本文提出了一种使用正交Procrustes对齐的审计协议,用于在Neural Collapse后检测神经网络中的供体特异性功能指纹,证明了在使用MLP-5网络对MNIST进行训练后,即使收敛后,不同的功能变化仍然可区分。
本文提出了一种新型并行量子卷积神经网络(QCNN)架构,能够高效地经典模拟大规模QCNN,并在128量子比特模型上展示了MNIST二分类的训练过程。
Bit-Mass理论提出,决定模型准确率的是权重位的总数,而非计算格式。在MNIST上的实验表明,相同的Bit-Mass下,二进制网络与浮点网络性能相当。
本文挑战了关于平坦最小值能导致神经网络更好泛化的普遍观点,认为‘弱性’——一种函数简单性的重参数化不变度量——才是真正的驱动力。在MNIST和Fashion-MNIST上的实验结果表明,弱性能够预测泛化,而尖锐性则与之负相关,且随着训练数据增加,大批次泛化优势消失。