可言语化的表征构成语言模型中的全局工作空间

# 语言模型中的可言语化表征构成全局工作空间  
来源：https://arxiv.org/html/2607.15495  

Wes Gurnee∗, Nicholas Sofroniew∗  
Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson  
Jack Lindsey∗†  

Anthropic  
∗核心贡献者；†通讯作者：jacklindsey@anthropic\.com (https://arxiv.org/html/2607.15495v1/mailto:[email protected])  

###### 摘要  

在人类大脑处理的所有信息中，只有一小部分能被意识所及，即可用于言语报告、有意控制和灵活推理。在本文中，我们提供了证据，表明大型语言模型中也出现了类似的功能性区分。利用一种新的可解释性技术——雅可比透镜（Jacobian lens），我们识别出模型在处理的任何时刻准备言语化的表征。这些表征（我们统称为J空间）展现出全局工作空间特有的功能特性：其内容可以被报告、有意唤起并保持、用于承载沉默推理的中间步骤，并作为参数传递给任意下游计算，而文本解析和常规推理等自动处理过程则无需这些表征的参与。J空间还具有全局工作空间理论与意识通达相关的结构特征：它仅在一个中间层带中承载连贯内容，一次最多容纳数十个概念，并且比其它表征更广泛地被模型权重广播。这些特性使其成为窥探模型未言明思考的实用窗口。在对齐审计中，它揭示了战略性斟酌、评估意识以及训练中习得的、从未在模型输出中出现的失调倾向。我们发现，后训练将助手的观点安装到了工作空间中，并引入了反事实反思训练，该方法仅通过训练模型在被打断并要求反思时会说出的内容来改善行为。这些结果表明，语言模型维护着一个小的、特权化的表征集合，这些表征具有意识通达的部分功能特征，并且解码这些表征有助于揭示正在进行的认知过程。  

## 1 引言  

如果心灵是一片海洋，我们一生都漂浮在海面上。在我们之下，大量的处理过程在我们不知情的情况下进行：我们的视觉系统解析着面孔的轮廓，我们的运动回路维持着我们的姿势。在任何给定时刻，只有一小部分神经活动是我们可以通达的。然而，正是这一小块特权的活动片段，支撑着我们进行深思熟虑的推理：计划购买食谱所需的食材，或琢磨引擎为何无法启动。这些想法可以被大声表达出来，有意地保持在脑海中，并应用于当前任务所需的任何情境。这种可通达思想与无意识处理之间的区分，或许是人类认知最显著的特征。  

在本文中，我们提供证据表明，现代AI模型中也出现了类似的功能性区分。具体来说，我们观察到语言模型维护着一组特权化的内部表征，可用于报告、调节和灵活的内部推理，而这些表征位于一个更大量的自动处理过程之上。我们使用一种新的可解释性技术来识别这些表征，该技术能够揭示模型在处理任何时刻准备言语化的概念。测量并干预这些表征为我们提供了窥探模型思维过程的窗口，揭示了其输出中未曾显现的内部推理和反应。  

### 1.1 动机：意识通达与全局工作空间  

上述现象有时被称为**通达意识**：在大脑处理的所有信息中，只有一部分是意识可通达的，即可用于推理以及直接控制行为和言语[18 (https://arxiv.org/html/2607.15495#bib.bib678),24 (https://arxiv.org/html/2607.15495#bib.bib776)]。请注意，通达意识纯粹是一个功能性概念；它与主观体验（有时称为**现象意识**）之间的关系存在广泛争论。在本文中，我们对这个问题不持立场，而是专注于意识可通达信息所扮演的**功能性**角色。它与其它信息的表征或处理方式有何不同？哪些心智功能依赖它，哪些不依赖？  

通常认为，几个功能属性可将意识可通达信息与无意识处理区分开来。这种信息通常是**可报告的**，即可以根据要求用语言表达出来；事实上，言语报告常常被用作意识通达的主要经验性标志[18 (https://arxiv.org/html/2607.15495#bib.bib678),163 (https://arxiv.org/html/2607.15495#bib.bib702)]。它受**自上而下控制**：一个概念可以被有意唤起、保持在脑海中并予以放弃[11 (https://arxiv.org/html/2607.15495#bib.bib696),38 (https://arxiv.org/html/2607.15495#bib.bib675)]。它是**深思熟虑推理**的媒介：将一个思想到另一个思想的费力、逐步的链接[132 (https://arxiv.org/html/2607.15495#bib.bib767),77 (https://arxiv.org/html/2607.15495#bib.bib774)]。它允许**灵活泛化**：相同的内容可以被路由到当前任务所需任何操作，并以新颖的方式与其它可通达内容重新组合[18 (https://arxiv.org/html/2607.15495#bib.bib678),38 (https://arxiv.org/html/2607.15495#bib.bib675),115 (https://arxiv.org/html/2607.15495#bib.bib773)]。并且它具有**选择性**：在任何时刻，大脑持续处理中只有一小部分能以这种方式被通达，大量的知觉、运动和语言计算是自动进行的，无需意识通达的参与[81 (https://arxiv.org/html/2607.15495#bib.bib775),32 (https://arxiv.org/html/2607.15495#bib.bib700),107 (https://arxiv.org/html/2607.15495#bib.bib769)]。  

神经科学中一个颇有影响力的理论——**全局工作空间理论**，将这些功能属性归因于大脑的结构和计算特征[10 (https://arxiv.org/html/2607.15495#bib.bib676),36 (https://arxiv.org/html/2607.15495#bib.bib683)]。在该理论中，大脑由许多高度并行且相对隔离的专业处理器组成，它们的活动在意识通达之外进行。当一个表征被发布到一个共享的“全局工作空间”中，众多下游过程可以从中读取时，它就变成了意识可通达的[108 (https://arxiv.org/html/2607.15495#bib.bib677)]。根据该理论，工作空间是一个处理和广播信息的枢纽，使其可用于灵活的内部推理和报告[38 (https://arxiv.org/html/2607.15495#bib.bib675),35 (https://arxiv.org/html/2607.15495#bib.bib768)]。值得注意的是，该工作空间被认为容量有限，因此进入是竞争性的，并受注意力调节，而工作空间在任何时刻的内容都是大脑持续活动中很小的一部分选择[10 (https://arxiv.org/html/2607.15495#bib.bib676),107 (https://arxiv.org/html/2607.15495#bib.bib769)]。尽管全局工作空间模型并未被普遍接受，并且存在其它以不同方式解释意识通达的理论（§9.4 (https://arxiv.org/html/2607.15495#S9.SS4)），但我们发现它作为一个有用的比较点，可以为我们对语言模型的研究奠定基础。  

### 1.2 语言模型中的全局工作空间  

已知现代大型语言模型（LLMs）会执行复杂的多步内部计算来选择合适的动作[97 (https://arxiv.org/html/2607.15495#bib.bib531),59 (https://arxiv.org/html/2607.15495#bib.bib684),166 (https://arxiv.org/html/2607.15495#bib.bib478),51 (https://arxiv.org/html/2607.15495#bib.bib491),95 (https://arxiv.org/html/2607.15495#bib.bib737),121 (https://arxiv.org/html/2607.15495#bib.bib143),158 (https://arxiv.org/html/2607.15495#bib.bib396)]。作为其内部处理的一部分，LLMs 是否可能已经发展出自己的全局工作空间，以扮演类似于意识通达的功能角色？目前尚不清楚它们是否应该如此；在大脑中，工作空间与循环动力学和脑区交互密切相关，而这些在 LLMs 所基于的 Transformer 架构中并没有直接的对应物。另一方面，维护一个全局工作空间可能在计算上是有**用的**：一种通用的表征格式允许中间结果被一次写入，并被多个神经过程读取。一个需要链式推理步骤、在任意上下文中应用通用操作以及回答关于自身处理过程问题的语言模型，也应受益于这种组织方式。即使实现方式不同，我们自然要问：与全局工作空间相关的功能特性是否已经在 LLMs 中涌现？  

对于 LLM 来说，拥有一个全局工作空间意味着什么？LLMs 将内部状态表示为高维向量，这些向量由更原始的具体概念向量表征组成。这些表征编码了多种信息，从低层次的簿记（例如当前单词的词性[148 (https://arxiv.org/html/2607.15495#bib.bib356),99 (https://arxiv.org/html/2607.15495#bib.bib770)]，或一行文本的字符长度[59 (https://arxiv.org/html/2607.15495#bib.bib684)]）到更高层次的抽象概念，如实体（例如金门大桥[147 (https://arxiv.org/html/2607.15495#bib.bib364)]）、心理状态（例如绝望[140 (https://arxiv.org/html/2607.15495#bib.bib685)]）和情境知识（例如意识到处于评估中[5 (https://arxiv.org/html/2607.15495#bib.bib686)]）。如果语言模型拥有任何类似全局工作空间的东西，我们可能会假定这些表征中的**一部分**属于它，但并非全部。因此，我们的问题变成：在 LLMs 的向量表征库中，是否存在一个特权子集，扮演着类似于全局工作空间的计算角色？  

如果一组向量表征满足以下属性（这些属性反映了前述意识通达的特征），我们就将其定义为类似工作空间的：  

参见图注。  

**图1：** 全局工作空间的五个功能属性，以及我们用于在语言模型中测试这些属性的实验的示意性说明。  

- **言语报告。** 当模型被问及它在思考什么时，它会说出工作空间中表征的概念。将一个活跃的工作空间向量换成另一个，会导致其答案相应改变。  
- **定向调制。** 当被指示将某个概念记在脑海中或进行心算时，模型能够激活并利用工作空间向量进行计算，且独立于其输出。此外，那些通常不在工作空间中表征的信息，也可以在任务需要时被拉入。  
- **内部推理。** 当模型链式推导推理步骤或制定计划时，工作空间向量可用于表示中间计算的值，并且对其进行干预足以改变最终结论。  
- **灵活泛化。** 同一个表征可以作为许多不同下游计算的有效参数。换句话说，将一个从某个上下文提取的工作空间向量放入另一个上下文，新的上下文所提供的任何函数都能正确地对其操作。  
- **选择性。** 工作空间仅占模型激活中总表征内容的一小部分。它只对模型行为的一小部分有贡献，尤其不参与诸如文本解析或语法流畅性这类普遍、常规的处理过程。  

在本文中，我们提供了 LLMs 确实拥有此类类似工作空间表征的证据。我们通过搜索满足第一个属性（即可言语化）的表征来识别它们。然后我们发现，相当令人惊讶的是，它们也满足其它属性。这些表征由一组小型、不断演化的未言说词语组成，既非输入的纯粹回声，也非对下一个词的预测，而是命名了模型当前正在推理所用的概念。下面，我们以示意方式说明我们为展示这些特性而进行的一些实验，这些实验将在后续章节中详细阐述。  

### 1.3 雅可比透镜与 J 空间  

我们的结果利用了一种新的可解释性技术，称为**雅可比透镜**（J-lens），它旨在识别那些易于言语化的内部表征。对于模型词汇表中的每个词，雅可比透镜识别出一个向量表征，该向量编码了模型未来言语化该词的**潜力**。具体来说，对于每一层，它计算一个激活对模型产生特定词（现在或将来）可能性的平均线性化效应，并对大量上下文语料进行平均（详见**方法 (https://arxiv.org/html/2607.15495#S2)**）。平均步骤是关键，因为它区分了**可言语化的**表征（即准备好在适当时机被谈论的表征）与那些仅在特定上下文中恰好被言语化的表征。  

J-lens 可以理解为 logit lens 的一个原则性改进[118 (https://arxiv.org/html/2607.15495#bib.bib688)]。Logit lens 假设所有层中表征使用相同的坐标系，而雅可比透镜则修正了跨层发生的表征变化，使其能够在较早的层中发现有意义的信息，而 logit lens 在这些层中会产生无法解释的读数。总的来说，J-lens 向量构成了模型表征空间的一个子成分，我们称之为**J 空间**。¹¹¹ 从数学上讲，如果我们将模型的激活视为稀疏活动的线性特征的总和[42 (https://arxiv.org/html/2607.15495#bib.bib237),21 (https://arxiv.org/html/2607.15495#bib.bib305),125 (https://arxiv.org/html/2607.15495#bib.bib547)]，这些定义了跨越激活空间的稀疏框架，其中 J 空间是一个稀疏子框架。J 空间更详细的正式描述见 §A.8 (https://arxiv.org/html/2607.15495#A1.SS8)。  

我们发现 J 空间的功能远不止支持言语化，它还扮演了与全局工作空间相关的其它功能角色：定向调制、内部推理、灵活泛化和选择性（§3 (https://arxiv.org/html/2607.15495#S3)）。模型可以在 J 空间被抑制的情况下流利地说话、解析输入并执行大量的自动推理；然而，它在执行更复杂形式的内部推理时会遇到困难。J 空间还具有全局工作空间的一些结构特征（§4 (https://arxiv.org/html/2607.15495#S4)）。它只在一部分层中扮演“类似工作空间”的角色：连贯的内容仅在初始的层带之后才出现，而抽象概念在最后的层中让位于与即将输出更直接相关的表征。在其运作的层内，它容量有限，模型的大部分表征特征都在其外。并且它在机制上具有特权地位：J-lens 向量与模型的权重（上游和下游）相互作用的范围比其它表征向量更广，这与它们被提出的功能角色一致。