“已然干净”的神经网络或可实现持续学习

我一直在消化 Nick Cammarata 在 Goodfire 上的新文章《Neural Networks Are Already Clean》，并思考它对模型规模和持续学习的启示，而不仅仅是安全性方面的问题。文章中有四项发现引起了我的注意： - 神经元的作用更像是双极性（+/-）的控制流开关，而不是静态的名词标签。 - 除了早期的“旋钮”层之外，最弱的 75% 激活值几乎可以在不损失精度的情况下被置零。 - 基础构建模块在非常不同的模型之间反复出现（例如，Qwen3-32B 和 Claude 3.5 Haiku 在子痫前期这一概念上收敛到同一个 4 神经元枢纽）。 - 记忆化的事实直接位于输出端，通过已有回路进行路由（比如“雨伞到蜜蜂”的 9 步实验，或者对 Qwen3.6 中 99.9 百分位的激活值进行截断，以消除逐字背诵同时保持推理能力完好）。 由此引出一个推测性的问题：如果模型确实收敛到了一种类似 Spelke 的、由双极开关构成的“语义骨架”，我们是否可以将具体事实编码为稀疏三值配方（+1 表示正极，-1 表示负极，0 表示未激活），并将其作为超向量存储在模型之外的向量符号架构（VSA）中？理论上，一个更小的冻结模型就可以将输入转换到该向量空间并查询外部记忆——这意味着增加或删除一条知识只是增加或删除一个向量，无需重新训练。 我知道这里存在真正的障碍：早期层仍然需要连续的信号强度；记忆化的事实是通过已有语义通路连接的，可能无法干净地拆分；而且多个模型必须就一个标准坐标注册表达成一致。我写了一篇简短的文章：[https://markwaltz.substack.com/p/already-clean-neural-networks-might](https://markwaltz.substack.com/p/already-clean-neural-networks-might) 对于从事过超维计算/VSAs 或机制可解释性研究的人来说：“语义骨架”与后期层记忆化事实之间的边界，真的足够干净、能够像这样被拆分吗？还是说路由已经将它们纠缠得太紧了？