第10天（AI研究者基础文献系列——并非特指某篇论文，而是那些能为你提供AI研究实际方法视角的作品）

《叠加的玩具模型》作者：Elhage等人（Anthropic，2022年）

如果你要涉足机械可解释性领域，这基本上就是必读的基础文献。

为什么可解释性很难？这篇论文给出了最清晰的机制性答案——模型通过将特征存储在叠加状态中，用少于维度的方式表示更多特征，并因为特征的稀疏性而容忍干扰。

网络正在对多于其神经元数量的世界概念进行有损编码，这意味着多语义神经元并非噪声或失败——它们是压缩。一旦理解了这一点，所有“我们找到了X神经元”的说法读起来都会不同。

这篇论文的直接后果是整个稀疏自编码器研究计划——如果特征存在于叠加中，就需要一个过完备基来将它们分离。

所以当你看到SAE论文、字典学习、转码器时，它们都可以追溯到这一个玩具模型的结果。这是一个理论论文在短短几年内催生整个工具生态的罕见案例。

http://transformer-circuits.pub/2022/toy_model/index.html…

叠加的玩具模型

来源：https://transformer-circuits.pub/2022/toy_model/index.html 如果人工神经网络的单个神经元能对应到清晰可解释的输入特征，那将非常方便。例如，在一个“理想”的ImageNet分类器中，每个神经元只应在特定视觉特征出现时激活，比如红色、朝左的曲线或狗鼻子。根据经验，在我们研究过的模型中，确实有一些神经元能清晰地映射到特征上。但特征并不总是能这么清晰地对应到神经元，尤其是在大型语言模型中，神经元对应清晰特征的情况实际上很少见。这引发了许多问题：为什么神经元有时与特征对齐，有时又不对齐？为什么有些模型和任务有很多这种清晰的神经元，而在其他模型中却极其罕见？

在这篇论文中，我们使用玩具模型——在具有稀疏输入特征的合成数据上训练的小型ReLU网络——来研究模型如何以及何时表示多于其维度的特征。我们将这种现象称为叠加。当特征稀疏时，叠加允许超越线性模型的压缩，代价是需要非线性滤波的“干扰”。

考虑一个玩具模型：我们训练一个嵌入，将五个重要性不同的特征（重要性是均方误差损失上的标量乘数）映射到两个维度，然后添加一个ReLU用于滤波，并改变特征的稀疏度。对于密集特征，模型学会了表示最重要的两个特征的正交基（类似于主成分分析可能给出的结果），而其他三个特征则未被表示。但如果让特征变得稀疏，情况就会改变：

模型不仅可以通过容忍一定干扰将额外特征存储在叠加中，我们还将展示，至少在特定有限情况下，模型可以在叠加状态下进行计算。（特别是，我们将展示模型可以将计算绝对值函数的简单电路放在叠加中。）这使我们假设，我们在实践中观察到的神经网络在某种意义上是在嘈杂地模拟更大的、高度稀疏的网络。换句话说，可能我们训练的模型可以被视为“做着”与一个想象中更大的模型“相同的事情”，表示完全相同的特征但没有干扰。

特征叠加并非新想法。许多先前的可解释性论文都考虑过它，并且它与数学中研究已久的压缩感知、以及神经科学和深度学习中的分布式编码、密集编码和群体编码思想密切相关。那么，这篇论文的贡献是什么呢？

对于可解释性研究者来说，我们的主要贡献是直接证明了在相对自然的设置下，人工神经网络中会发生叠加现象，暗示这在实践中也可能发生。也就是说，我们展示了一个案例，其中将神经网络解释为具有叠加中的稀疏结构不仅是一种有用的后验解释，而且是模型的“真实情况”。我们提供了这种现象何时以及为何发生的理论，揭示了叠加的相图。这解释了为什么神经元有时是“单语义的”（响应单一特征），有时是“多语义的”（响应许多不相关的特征）。我们还发现，至少在玩具模型中，叠加表现出复杂的几何结构。

但我们的结果可能也具有更广泛的意义。我们发现了初步证据表明叠加可能与对抗样本和grokking有关，并且可能为混合专家模型的性能提供理论。更广泛地说，我们研究的玩具模型具有出乎意料的丰富结构，展现出相变、基于均匀多面体的几何结构、训练期间类似“能级”的跳跃，以及在物理上定性类似于分数量子霍尔效应的现象，以及其他引人注目的现象。我们最初研究这个主题是为了理解更大模型中清晰可解释的神经元，但我们发现这些玩具模型本身出奇地有趣。

来自我们玩具模型的关键结果（https://transformer-circuits.pub/2022/toy_model/index.html#key-results）

在我们的玩具模型中，我们能够证明：

• 叠加是一个真实存在的观察到的现象。
• 可以形成单语义和多语义神经元。
• 至少某些类型的计算可以在叠加中执行。
• 特征是否存储在叠加中由相变控制。
• 叠加将特征组织成几何结构，例如二角形、三角形、五边形和四面体。

我们的玩具模型是简单的ReLU网络，因此可以说神经网络至少在某种状态下表现出这些属性，但尚不清楚如何推广到真实网络。

定义与动机：特征、方向与叠加（https://transformer-circuits.pub/2022/toy_model/index.html#motivation）

在我们的工作中，我们通常将神经网络视为具有以激活空间中的方向表示的输入特征。这并非一个微不足道的说法。我们并不清楚神经网络表示应该具有什么样的结构。当我们说“词嵌入有一个性别方向”或“视觉模型有曲线检测神经元”时，我们隐含地对网络表示的结构做出了强烈的主张。

尽管如此，我们相信这种“线性表示假说”既得到了重要的经验发现，也得到了理论论证的支持。我们可以将其视为两个独立的属性，我们将在稍后详细探讨：

• 可分解性：网络表示可以用独立可理解的特征来描述。
• 线性：特征由方向表示。

如果我们希望反向工程神经网络，我们需要一个像可分解性这样的属性。可分解性使我们能够推理模型，而无需把整个模型装进脑子里！但仅仅可分解还不够：我们需要能够以某种方式访问这种分解。为此，我们需要在表示中识别各个特征。在线性表示中，这对应着确定激活空间中的哪些方向对应于输入的哪些独立特征。

有时识别特征方向非常容易，因为特征似乎对应于神经元。例如，InceptionV1早期层的许多神经元明显对应于特征（例如曲线检测神经元）。为什么我们有时能得到这个极其有用的属性，而其他时候却不能？我们假设实际上有两种相反的力量在驱动着这一点：

• 特权基：只有某些表示具有特权基，它鼓励特征与基方向对齐（即对应于神经元）。
• 叠加：线性表示可以表示多于维度的特征，使用一种我们称为叠加的策略。这可以看作是神经网络在模拟更大的网络。这推动特征远离对应于神经元。

叠加在先前的工作中已被假设，并且在某些情况下，假设类似叠加的东西已被证明有助于找到可解释的结构。然而，据我们所知，在此之前没有明确证明特征叠加在神经网络中发生（展示了模型叠加这一密切相关现象）。这篇论文的目标是改变这一点，展示叠加并探索它与特权基的交互。如果叠加在网络中发生，它将深刻影响哪些可解释性研究方法有意义，因此明确的证明似乎很重要。

本部分的目标是阐述这些想法并详细解析它们。

值得注意的是，本节中的许多想法与其他可解释性研究方向（特别是解纠缠）、神经科学（分布式表征、群体编码等）、压缩感知以及其他许多工作线有密切联系。本节将专注于阐述我们对该问题的观点。我们将在相关工作中详细讨论这些其他工作线。

经验现象（https://transformer-circuits.pub/2022/toy_model/index.html#motivation-empirical）

当我们谈论“特征”以及它们如何表示时，这最终是围绕几个观察到的经验现象构建的理论。在描述我们如何概念化这些结果之前，我们将简单描述一些推动我们思考的主要结果：

• 词嵌入 – Mikolov等人的一个著名发现表明，词嵌入似乎有对应于语义属性的方向，允许嵌入算术向量，例如 V("king") - V("man") + V("woman") = V("queen")（但也见其他研究）。
• 隐空间 – 类似的“向量算术”和可解释方向的结果也出现在生成对抗网络中（例如）。
• 可解释神经元 – 有大量结果发现似乎可解释的神经元（在RNN中；在CNN中；在GAN中），它们响应某些可理解的属性。这项工作面临一些质疑。作为回应，有几篇论文旨在提供对少数特定神经元的极其详细的描述，希望决定性地建立一些真正检测到可理解属性的神经元例子（特别是Cammarata等人，但也有其他）。
• 普遍性 – 在网络中可以找到许多响应相同属性的类似神经元。
• 多语义神经元 – 同时，也有许多神经元似乎不响应输入的可解释属性，特别是许多多语义神经元，它们似乎响应输入的无关混合。

因此，我们倾向于认为神经网络表示由表示为方向的特征组成。我们将在以下部分阐述这个想法。

什么是特征？（https://transformer-circuits.pub/2022/toy_model/index.html#motivation-features）

我们对“特征”一词的使用是由我们观察到的神经元（或词嵌入方向）所响应的输入的可解释属性所驱动的。这些观察到的属性种类繁多！在视觉的背景下，这些范围从低级神经元如曲线检测器和高低频检测器，到更复杂的神经元如定向狗头检测器或汽车检测器，再到极其抽象的神经元对应于名人、情感、地理区域和更多。在语言模型中，研究人员发现了词嵌入方向，例如男性-女性或单数-复数方向、消除出现在多种语言中的单词歧义的低级神经元、更抽象的神经元，以及帮助产生某些单词的“动作”输出神经元。我们希望使用“特征”一词来涵盖所有这些属性。

但即使有这种动机，要创建一个令人满意的特征定义也相当具有挑战性。我们不提供一个我们确信的单一定义，而是考虑三个潜在的工作定义：

• 特征作为任意函数。一种方法是将特征定义为输入的任何函数（例如在[某篇论文]中）。但这似乎不太符合我们的动机。我们观察到的这些特征有一些特别之处：它们在某种意义上似乎是用于推理数据的基本抽象，相同的特征可靠地在不同模型中形成。特征似乎也是可识别的：猫和车是两个特征，而猫+车和猫-车在某种重要意义上似乎是特征的混合而不是特征本身。
• 特征作为可解释的属性。我们描述的所有特征对人类来说都非常易于理解。人们可以尝试将其用于定义：特征是输入中人类可理解的“概念”的存在。但允许我们可能不理解的特征似乎很重要。如果AlphaFold发现某种重要的化学结构用于预测蛋白质折叠，它很可能不是我们最初能理解的东西！
• 足够大模型中的神经元。最后一种方法是将特征定义为输入中足够大的神经网络会可靠地专门用一个神经元来表示的属性。这个定义比看起来更棘手。具体来说，某物是一个特征当且仅当存在一个足够大的模型尺寸使得它获得一个专门的神经元。这创建了一种类似“ε-δ”的定义。我们目前的理解——正如我们将在后面章节中看到的——是任意大的模型仍然可能使其大部分特征处于叠加状态。然而，对于任何给定的特征，假设特征重要性曲线不是平坦的，它最终应该得到一个专门的神经元。这个定义在说明某物是一个特征时可能有用——曲线检测器是一个特征，因为你在一系列大于某个最小尺寸的模型中都找到它们——但对于更常见的情况，即我们只是假设或仅在叠加中观察到的特征，则无济于事。