@HistedLab：我对 @nickcammarata 和 Goodfire 非常尊重，但我想从大脑/神经科学的角度补充一些想法。首先……

我非常尊敬 @nickcammarata 和 Goodfire，但我想从大脑/神经科学的角度补充一些想法。

首先，多义性和分布式表征在生物大脑中是广泛存在的。（某种意义上，这正是我整个职业生涯所研究的。）1/

在神经科学中，我们讨论“混合表征“（参见 @StefanoFusi2 @MillerLabMIT），这与神经元是“纯净的“还是“不纯净的“密切相关。在我们考察的几乎每一个脑区中，都存在强烈的多义性。

即使在初级视觉皮层——可能是被理解得最透彻的皮层区域——“只做一件事的感受野”（大致对应于纯净表征）的概念也十分罕见。

在 V1 中，当单独记录神经元并使用简单的光栅条纹刺激时，确实存在简单细胞。但正如我们和其他人（如 C Gilbert 等人）所展示的，一旦使用自然视觉刺激，群体/网络效应就会使神经元反应变得“不纯净“。

来自我们实验室的 C Deveau 等人

混合选择性！直接对应于机制可解释性（mech interp）中的多义性。

另外，大脑中存在多义性和非纯净表征这一事实，并不意味着 AI 系统不能被训练出纯净的表征。也许可以。但我的感觉是，高度非线性函数拟合的性质——通过连接网络/Transformer 块——本身就导致了难以解释的神经元。我们对大脑和 LLM 网络计算的了解还不够充分，无法确定这一点。

我相信，在未来几年里，这将成为两个领域的研究重点。

这篇帖子中有一个有趣的观点：神经元的高激活水平可能是单义的（这暗示了其他激活水平对计算同样重要）。我认为大脑中也有强烈的迹象表明这一点是真的。

把回复链中的这条也提上来。