@GoodfireAI：神经网络可能说英语，但它们用形状思考。理解它们丰富的*神经几何*是…
摘要
Goodfire AI宣布了一项新的研究议程，专注于神经几何，以提升对神经网络的理解、调试和控制。
神经网络可能说英语，但它们用形状思考。
理解它们丰富的*神经几何*是理解它们如何工作的关键——也是精确调试和控制它们的关键。
从今天开始，我们将发布一系列关于这一研究议程的帖子。🧵 https://t.co/CE3Xw7kFGV
查看缓存全文
缓存时间: 2026/05/08 10:46
神经网络可能说英语，但它们用形状进行思考。
理解它们丰富的神经几何，是理解其工作原理的关键——也是精准调试和控制它们的关键。
从今天开始，我们将发布一系列关于这一研究议程的文章。🧵 https://t.co/CE3Xw7kFGV
相似文章
@GoodfireAI：神经网络通过旋转形状进行数学运算。我们发现了一个隐藏在大语言模型中的旋转形状计算器——而且它被用于……
GoodfireAI发现，神经网络通过旋转形状进行数学运算，并在一个大语言模型中发现了一个旋转形状计算器，该计算器不仅用于数学。
@FinanceYF5: 神经网络会说英文，但它们用“形状”思考 1/ 神经网络不是按词思考 它们表面上会说英文，内部却可能是在几何空间里组织信息：曲线、环、曲面、流形。 理解 neural geometry，可能是理解、调试和控制模型的关键。
神经网络表面会说英文，但内部在几何空间里组织信息（曲线、环、曲面、流形），理解“神经几何”可能是理解、调试和控制模型的关键。
我们移除了一个语言模型说德语的能力（3分钟阅读）
GoodfireAI发布了一项关于理解语言模型中神经几何结构的研究议程，展示了精确控制模型能力的可能性，例如移除其说德语的能力。
@k_solidified_: https://arxiv.org/abs/2106.10165 全人类都该读一读
这本书为深度神经网络建立了一套有效理论，表明其预测近似高斯分布，且由深度与宽度的比值主导；并引入了表示群流（representation group flow）来分析信号传播和学习动力学。
SAEs 能否捕捉神经几何？（6分钟阅读）
本文探讨了稀疏自动编码器（SAEs）如何捕捉弯曲的神经几何，揭示了SAE特征表示流形的三种不同方式，并提出了一个无监督流程来揭示神经表征中的几何结构。