标签
Goodfire 研究员 Nick Cammarata 发布了一篇 26,000 字的博客文章，声称大语言模型（LLM）可能比人们想象的更容易被理解、监控和控制，这一观点在 AI 社区引发了巨大的兴奋与质疑。
该论文提出对特征选择层（Feature Selection Layer）的多项扩展，用于神经网络的嵌入式特征加权，以提升多分类任务中标签特定相关性的捕获能力，并在基因表达数据等基准上优于现有方法。
该论文提出ΣΔ-Sampler优化器，将二值和三值神经网络训练损失映射为高阶Ising模型能量，并通过噪声整形与退火实现高效的边缘设备训练，在CIFAR-10、ImageNet-1k和MatMul-free语言模型上验证了接近全精度的精度，同时将训练内存减少超过50%、速度提升一个数量级。
论文表明，在模加法任务中，ReLU 网络可以在保持 100% 训练准确率和近乎平坦的训练交叉熵的同时，隐藏特征持续演化，留出集准确率上升至 90% 以上。作者通过有限窗口定理证明了这种共存现象，并在更深的网络和 Transformer 中成功复现了该结果。
Chris Olah 在其广受关注的非正式研究随笔之后，反思了机制可解释性的深远影响。他认为，绘制现代语言模型中的神经元、电路和归因图可能远比此前假设的更容易实现，同时提醒人们既不要过度悲观，也不要过度炒作。
一篇关于 Nick Cammarata 在 Goodfire 发表的文章《Neural Networks Are Already Clean》的评论，探讨稀疏的双极神经元“语义骨架”加上外部 VSA 超向量记忆，是否能让小型冻结模型实现持续学习，同时指出事实路由纠缠和坐标注册表对齐等障碍。
一篇回顾性深度文章，追溯 AI 架构从单个感知器、早期神经网络、梯度消失问题、LSTM 到 Transformer 时代的进化历程，并探讨自注意力机制之后的下一个范式转变。
一篇技术博客，通过"关联记忆"的视角重新推导 Transformer：从线性层的外积记忆，到 MLP 的容量提升，再到自注意力的近乎无界记忆容量，并给出各层可存储记忆数量的启发式估算（如 64 维键可从约 64 条提升到上百万条记忆）。
该论文提出一种基于学习的列预填充方法来加速分支定价切割（BPC）精确求解器：用神经网络边打分器生成普通列池并配合Wentges平滑的预测初始中心，在RouteOpt中将根节点定价时间降至原来的13.2%，并在无关并行机调度问题上实现12倍加速。
本文提出对抗性参数分解（VPD）方法，将语言模型参数分解为可解释的子组件，即使在对抗性消融下也能保持网络输入-输出行为，从而实现新的电路级机制分析。
该论文研究中心化二次神经网络的谱可辨识性与学习曲线辨识问题，构造了谱摘要一致但损失曲线不同的输入分布，并在高斯输入下证明单条精确标量损失曲线可辨识初始预测器与教师谱。
本文提出“求解器充分符号化”概念，从推理算法视角定义符号的计算有用性，并开发反例引导的符号发明算法，用于混合离散-连续机器人规划，在仿真与真实机器人任务中降低求解成本同时保持解质量与可解释性。
Handwired 是一个趣味项目，可将普通 JavaScript 代码转换为神经网络，无需训练即可获得与原程序完全一致的输出，并且完全可微，全部在浏览器中运行，无需 GPU。
Goodfire 研究者发文论证，此前被广泛接受的神经元多义性与叠加假说是对 InceptionV1 证据的误读；经架构改进后的模型中，99–100% 的末层神经元已可解释，他们主张网络本身就是可读的构建块，无需先用稀疏自编码器解缠。
MIT报道《美国国家科学院院刊》（PNAS）一项新研究：随机连接的神经元单元通过共享可塑性规则，可自行组装出能够学习的结构，在模式识别和图像分类任务中达到与反向传播训练的网络相近的性能。作者强调，这是对生物合理性的探索，而非反向传播的替代方案。
Quanta Magazine 探索「注意力」机制如何成为现代 AI 的核心：从 Dzmitry Bahdanau 2014 年的机器翻译研究，到 Google 2017 年的 Transformer 论文，再到 ChatGPT 等大语言模型的崛起。
该论文提出一个形式化的嵌套模块化层级（单元级、正交、线性），发现尽管单个神经元常常承担多种功能，神经网络在子空间层面仍表现出清晰的功能模块化，并在视觉、语言模型和多任务RNN中通过选择性消融得到验证，且这些子空间与脑数据有差异化对应。
Sabi 在 Khosla Ventures 领投下完成 5000 万美元种子轮融资，用于开发一款棒球帽形态的脑机接口，配备多达 10 万个传感器、由 TSMC 代工定制的 EEG 芯片，以及基于 10 万小时神经信号记录训练的脑基础模型，据报该初创公司估值达 6 亿美元。
MaRN（Mapping Networks）是一个新的开源 PyTorch 库，它通过优化一个紧凑的潜在表示而非直接优化全部参数来训练神经网络，在 MNIST 上实现了最高 57.7 倍的参数缩减，同时仅带来适度的精度损失。作者分享了探索性的基准测试结果，并邀请社区对该方法提供反馈。