Anthropic 研究 - 语言模型中的全局工作空间

# 语言模型中的全局工作空间 来源：https://www.anthropic.com/research/global-workspace 当你阅读这句话时，你大脑中的电路正在调整你的姿势、控制你的呼吸，并将屏幕上的线条和曲线转化为可识别的单词。这些处理过程大部分对你来说是不可见的。但你*确实可以*访问到大脑中发生的一些事情——比如一个突然出现在脑海中的图像，或者你计划去购物地点的有意识决定。神经科学家和哲学家有时将后一种大脑活动称为“意识可访问的”，以区别于所有其他无意识进行的处理。这种活动具有特殊属性：我们可以描述它、控制它，并用它进行有意识的推理，而所有自动处理则是在我们无意识的情况下进行的。 在一篇新论文中，我们提供了证据表明，现代语言模型（如Claude）中也出现了类似的区分。我们发现Claude已经发展出一小部分内部神经模式，与其所有其他内部处理相比，这些模式扮演着特殊的角色。 我们将这些模式的集合称为**J-space**——以我们用于发现它们的技术命名，该技术涉及一个称为雅可比（Jacobian）的数学概念。每个J-space模式都与一个特定单词相关联。但当这些模式之一被激活时，并不意味着该模型正在*说出*那个词——只是那个词在它的脑海中。如果你听说过语言模型有“草稿本”或“思维链”——它们在推理时为自己写下的文本——那么J-space是不同的。它无声地运作，在模型的内部神经激活中，允许模型在不写下来的情况下思考一个概念。值得注意的是，J-space并非由我们设计或编程，而是在Claude的训练过程中*自行涌现的*。 J-space揭示了模型输出中未出现的内部想法。 我们发现，与Claude的其他处理相比，J-space具有若干独特属性： - Claude可以报告这些表征。如果你问Claude它在想什么，它会告诉你J-space中的内容。非J-space的表征则较难报告。 - 它还可以按要求调节这些表征。如果你让Claude思考某件事，或在心里默默地解决一个问题，它会在其J-space中点亮相应的模式。相比之下，它很难调节不在J-space中的模式。 - Claude使用其J-space进行内部推理。如果你让Claude解决一个需要多个步骤的问题，中间步骤会在其J-space中点亮，即使它没有大声说出来。这些J-space模式因果性地介导了它在这类任务中的表现，尽管其规模小于其他表征。 - J-space中的表征可以灵活地用于许多任务——例如，一旦“法国”在Claude的J-space中点亮，模型就可以回忆起它的首都、其国家货币或它所属的大洲。 - 然而，尽管扮演着重要角色，J-space并不参与语言模型的大部分工作——流利地说话、回忆简单事实、使用正确的语法等。在我们阻止Claude使用其J-space的实验中，它仍然正常交互，但失去了其高阶认知功能。 全局工作空间的五个功能属性，以及我们用于在语言模型中测试这些属性的风格化实验图示。 我们的实验受到神经科学中一个著名理论的启发，该理论旨在解释意识访问如何运作：全局工作空间理论（Global Workspace Theory）。这一理论将大脑描绘成一个并行运作、无意识且彼此大致隔离的专业化系统集合。当一条信息获准进入一个共享的小渠道——“工作空间”时，它就变得有意识可访问，该工作空间会广播给其他能看到并利用它的脑系统。基于我们的发现，我们认为J-space在Claude中扮演了类似的“工作空间”角色。例如，我们发现证据表明Claude的J-space与其神经网络的其他部分有特别强的连接，使其能够履行这种广播角色。 这些发现并不能告诉我们Claude是否像人类一样具有*意识*，或者它是否感受到任何东西；我们将在本文末尾回到这个问题。但无论其哲学意义如何，J-space对我们来说是一个实用的工具，因为它让我们能够看到Claude在想什么但没说出口。例如，我们可以利用它捕捉到Claude私下注意到自己正在被测试、故意生成伪造数据，或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响Claude的J-space中点亮的内容，从而影响其决策。 更广泛地说，这些发现改变了我们对Claude心智运作方式的理解，揭示了一个特权的心理工作空间，可用于有意识的推理，在大量更自动、僵化的处理中运作。Claude的内部并非混乱的数字堆积，而是以类似于我们自身心智的方式组织起来。 本文是对一篇更详尽的研究论文的简短总结，你可以在那里找到关于我们实验的更多细节。我们还发布了一个代码仓库，包含核心方法的开源实现，并与Neuronpedia合作，在开放权重模型上提供了我们方法的交互式演示。为了提供关于这项工作更广泛影响的额外视角，我们还邀请了多位神经科学、哲学和LLM可解释性领域的专家发表评论，可在这里查看。 ## 我们如何发现J-space 这项研究的起点受到人类意识可访问思想的一个关键特征的启发：与*无*意识处理不同，它们通常可以转化为语言。如果一个想法对你来说是有意识可访问的，当有人问起时，你通常可以描述它。我们寻找具有相同属性的Claude中的表征：这些表征处于能够影响Claude说出的内容的位置——不一定是在它正在说的内容，而是如果被问及，它*可以*谈论的内容。我们的技术称为雅可比透镜（Jacobian lens），简称为J-lens。对于Claude词汇表中的每个单词，J-lens会找到使Claude在未来某个时候更有可能说出该词的内部活动模式。 当我们对Claude的内部活动应用该透镜时，我们会得到一个单词列表——即该时刻J-space的内容——我们可以直接读取。Claude通过一系列称为层的多个内部阶段处理文本，通过在不同层应用该技术，我们可以观察这些J-space中的无声单词在模型思考该说什么时如何演变。 J-space中出现的内容远不止Claude正在阅读或编写的文本。当Claude阅读含有从未被指出的错误的代码时，其J-space中包含“ERROR”。当它阅读蛋白质序列的原始字母时，J-space中包含该蛋白质的生物学功能。当它阅读那些秘密企图操纵它的搜索结果（一种称为“提示注入”的攻击）时，J-space中包含“injection”和“fake”。当我们要求Claude解决一个多步数学问题时，中间步骤会按正确顺序出现在J-space中。因此，尽管J-space是通过寻找可以言说的表征而发现的，但它仍然揭示了Claude的内部想法。从某种意义上说，这类似于一些人“用语言思考”，而不必大声说出来。 J-lens对六个提示在不同层的读数。在每种情况下，透镜都浮现出文本中任何地方都未出现的内部评估或计算：推理或数学问题的步骤、错误的存在、图像的识别、蛋白质的功能，以及怀疑搜索结果是被伪造的。 ## Claude报告其J-space中的内容 我们的第一组实验测试了J-space如何参与Claude的口头报告。在一个实验中，我们让Claude默默思考某个类别的一个项目——比如说，一项运动——然后说出它。如果我们刚好在Claude回答*之前*读取J-lens，我们可以看到它选择了什么：“足球”出现在列表顶部，果然，Claude说了“足球”。不过，这本身只是一个相关性。J-space可能是Claude答案的来源，也可能只是反映了别处做出的决定，就像一个记分牌，记录比赛但不影响比赛。 为了验证，我们直接进行了干预。我们深入Claude的神经网络，移除了“足球”模式，并代之以同样强度的“橄榄球”模式，其余部分保持不变。结果Claude报告说它想到的运动是橄榄球。如果J-space只是一个记分牌——别处做出决定的被动记录——那么编辑它应该毫无作用：Claude仍然会说“足球”。相反，Claude的回答跟随了这次编辑，这告诉我们答案确实是从J-space中读取出来的。 在另一个实验中，我们告诉Claude，可能有一个想法被注入了它的脑海，并让它报告它注意到了什么（如果有的话）。例如，在下面的例子中，当Claude还在阅读问题时，我们将“闪电”模式注入其J-space。Claude报告说被注入的想法是关于闪电的。同样的结果在许多注入的概念中都成立。 左：我们让Claude默默思考一项运动，然后说出它。J-lens在其回答前显示了它的选择（“足球”），将“足球”模式替换为“橄榄球”会改变它的报告。右：我们告诉Claude一个想法可能被注入了，并要求它识别出来。将“闪电”注入其J-space会使Claude报告该想法是关于闪电的。 ## Claude可以按要求控制其J-space 我们测试的第二个属性是，Claude在被要求时是否可以调节其J-space，就像人类可以专注于一个图像或单词一样。我们告诉Claude在抄写一句关于画作的无关句子时，专注于柑橘类水果。在它抄写文本时，J-space中包含“橙子”和“水果”，以及描述这种心理行为本身的词语，如“思考”和“意象”。我们还可以让Claude在心里做数学：当要求它在抄写同一句子时计算32−2时，J-space中先包含“九”，然后在后面的层中包含“七”。重要的是，关于水果或算术的内容没有出现在Claude的输出中，输出只是关于画作的抄写句子。数学活动完全在内部、在J-space中进行。 当Claude抄写关于画作的句子时，J-lens显示它被指示记在心中的内容（“橙子”；中间值“九”和答案“七”），以及描述这种记在心中行为的词语（“想法”、“专注”）。 Claude对其J-space的控制并不完美。当我们告诉它*不要*去想某件事时，该概念在J-space中亮起的程度*低于*我们说它应该想的时候，但远高于我们从未提及它的时候。告诉Claude避免某个想法部分地使它想起那个想法，就像被告知*不要*去想一只白熊的人会发生的情况一样。Claude似乎也注意到它的控制失败了：在禁忌概念闯入的同时，词语“该死”和“失败”也经常在J-space中亮起，仿佛Claude在识别自己的失误。 ## Claude在其J-space中思考 在上面J-lens的读数中，我们看到了数学问题的中间步骤出现在J-space中。但看到概念出现在J-space中并不一定意味着J-space在做认知工作。原则上，真正的计算可能发生在别处，而J-space只是被动地反映它。为了测试Claude是否真的使用其J-space进行推理，我们回到了我们的交换技术。 考虑提示“织网的动物的腿的数量是”。要回答这个问题，Claude首先必须弄清楚这种动物是蜘蛛，然后回忆起蜘蛛有多少条腿。词语“蜘蛛”从未出现在提示或Claude的回答中（它只说“8”）；这是Claude内部使用的一个垫脚石。J-lens显示“蜘蛛”在Claude的处理过程中亮起，交换它会改变结果：如果你将“蜘蛛”模式替换为“蚂蚁”，Claude回答“6”而不是“8”。 Claude推理的第二步从J-space获取输入，并遵循我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当Claude写一首押韵的短诗时，它会提前选好韵脚词，计划好的词位于行首的J-space中；如果你把它换成J-space中的另一个词，整行就会改变。 通过交换J-space内容来重定向Claude的无声推理的两个示例。 我们还测试了J-space表征是否可以灵活使用——一个表征是否可以服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性，我们给模型四个提示，询问关于法国的不同事实：首都、语言、大洲和货币。然后我们在J空间中将“法国”交换为“中国”，在每个上下文中使用完全相同的干预措施。Claude分别回答了“北京”、“中文”、“亚洲”和“人民币”。换句话说，四种不同的下游计算都捕捉到了同一个J-space编辑，并且每个都正确使用了它。如果Claude为每种问题存储了国家的单独副本，那么编辑最多只影响其中一个。所有四个答案一起改变的事实意味着它们都从同一个共享表征中读取，而这正是工作空间的用途：信息被写入一次，许多不同的系统可以使用它。 *一个J-space表征可以有多种用途。同样的“法国”→“中国”交换改变了Claude关于首都（巴黎→北京）、语言（法语→中文）和大洲（欧洲→亚洲）的回答。* 一个概念的一个表征如何能服务于如此多不同的任务？之前，我们提到J-space似乎与Claude神经网络的其他部分连接得特别紧密。对于任何活动模式，我们可以测量网络各个组件与它的连接强度——有多少组件能够从该模式读取信息，或者向该模式写入信息。J-space模式在此项测量上脱颖而出：与普通模式相比，读取和写入它们的组件数量要多得多，在网络某些部分甚至高出约一百倍。这正是你期望的一个广播中枢所具有的连线方式，许多系统在那里发布信息，许多其他系统则接收信息。 ## Claude的自动处理绕过了J-space 在人类中，大脑的大部分处理并不是有意识的——我们不会去深思熟虑