标签
GoodfireAI发布了一项关于理解语言模型中神经几何结构的研究议程，展示了精确控制模型能力的可能性，例如移除其说德语的能力。
本文探讨了稀疏自动编码器（SAEs）如何捕捉弯曲的神经几何，揭示了SAE特征表示流形的三种不同方式，并提出了一个无监督流程来揭示神经表征中的几何结构。
神经网络表面会说英文，但内部在几何空间里组织信息（曲线、环、曲面、流形），理解“神经几何”可能是理解、调试和控制模型的关键。
Goodfire AI宣布了一项新的研究议程，专注于神经几何，以提升对神经网络的理解、调试和控制。
一篇介绍Three-Phase Transformer（3PT）的研究论文，该模型将特斯拉的多相几何应用于Transformer架构，将残差流组织成三个120°偏移的相位。该方法在WikiText-103上以极少的参数（0.00124%的开销）实现了7.2%的困惑度提升，以及1.93倍的收敛加速。