大型语言模型不仅被用来预测下一个 token，还在内部维持着在输出中不直接出现的中间概念，并利用这些概念进行推理。

论文《可言语化表征构成语言模型中的全局工作空间》报告称，对于 Claude Sonnet 4.5 这类模型，其内部存在一组称为 J-空间的表征，这些表征“可言语化、可报告、可操控，并用于灵活推理”。

这一概念与人类意识有相似之处。但这里所说的意识并非主观体验，而是指功能上的相似性——借鉴了人类认知中的全局工作空间理论——即它是“可报告、可用于推理或行为控制的”。

在全局工作空间理论中，大脑的大部分处理是无意识的。只有一小部分信息会上升到“工作空间”，变得可被多个下游过程读取。这些信息可以用语言报告，被注意力保持，并用于灵活推理。

同样，在 LLM 中，并非所有信息都以这种方式保留，但特定信息可能以一种通用格式保存，并被后续处理广泛读取。

为了研究这一结构，论文引入了雅可比透镜（Jacobian Lens），简称 J-透镜。通常，检查网络内部状态的方法是 logit 透镜。logit 透镜直接将解嵌入应用于中间层的残差流，以读取该层似乎表示的 token。

然而，中间层和最终层的表示坐标系统可能不同。此外，简单的解嵌入无法揭示中间层的激活最终如何影响最终层。因此，J-透镜计算雅可比矩阵——中间层激活的微小变化对最终层激活的平均线性效应——并通过它来读取中间表示。

具体来说，它会在多个提示和位置上取平均，计算第 l 层的残差流 h_l 如何影响当前或未来的最终层。这使得能够读取中间层激活倾向于“预测未来将输出哪些 token”的趋势。

J-透镜对应于每个 token 有一个 J-透镜向量，定义为残差流空间中的方向。能够表示为少量这些 J-透镜向量的非负稀疏组合的点集，被定义为 J-空间。

为了验证这个 J-空间是否真正影响后续输出，论文进行了各种干预实验。

例如，考虑问题：“织巢的动物有几条腿？”要正确回答，必须首先推断“织巢动物”是蜘蛛，然后回答蜘蛛有 8 条腿。在这种情况下，即使提示或输出中没有出现“蜘蛛”这个词，用 J-透镜读取中间层也会显示“蜘蛛”。然后，将对应于蜘蛛的 J-透镜向量替换为蚂蚁的，模型的答案就会从 8 变为 6。这表明 J-空间中出现的蜘蛛不仅是相关性，而且在下游推理中被因果性地使用。

诗歌生成和多语言推理也是如此。在创作押韵诗时，模型在中间层持有尚未输出的未来单词，替换这些计划中的单词也会改变中间的单词。同样，在推理中文问题时，内部可能会出现对应的英文表达。这表明在 J-空间中，用于中间推理的共享表示独立于表层语言。

此外，论文还使用国家、月份、动物、数字等进行了系统实验。例如，将一个国家的 J-透镜向量替换为另一个国家的，会一致地改变多个不同问题的答案，如首都、语言、大洲和货币。这表明同一个 J-透镜向量作为参数传递给多个功能过程。

然而，J-空间并不处理模型的所有处理过程；语法处理、局部的语言延续以及训练良好的自动过程可能不会强烈依赖 J-空间。论文将 J-空间定位为不是“模型的所有思想”，而是“一组特权的、可言语化并用于灵活推理或报告的表征”。这与人类认知中无意识处理和上升到意识层面的处理之间的区分相对应。

这一框架对 AI 安全也具有重要意义。即使模型在表面上没有表现出危险行为，也有可能调查它在内部识别了什么、考虑了哪些内容。事实上，检查 J-空间可以揭示模型在内部把握到它正处于用于评估当前情景安全性的虚构场景中。

这个 J-空间也可以通过训练来塑造。对于任务执行中的某个上下文，添加一个反思提示，例如“如果被要求在这里内省，我应该思考什么？”，并仅使用该反思提示作为教师信号进行微调。在评估时，不要求模型输出反思提示。然而，在微调后的模型中，仅仅读取原始任务上下文就会导致伦理、诚实、透明等概念出现在 J-空间中，并改善最终行为。

还公开了一个交互式演示，可以查看 LLM 的内部思考，非常有趣。

评论

我认为这篇论文代表了机制可解释性研究中相当重要的一步。建立了一些方法来不仅读取，还能操控和因果验证 LLM 的内部状态。

LLM Transformer 中的处理本质上是在残差流中聚合的。残差流从对应初始输入 token 的嵌入开始，通过每一层发生变化，并在最终层用于下一个 token 的预测。然而，先前的研究已经表明，与输出 token 不一定直接相关的多种概念也被嵌入在其他中间层中。

这项研究的主要技术贡献在于通过雅可比透镜（而非直接解嵌入）读取这些内部状态，并展示了一种基于当前内部状态如何在后续处理中使用来提取可言语化概念候选的方法。

尽管内部状态的维度远小于 token 类型的数量，但能够执行对应于 token 的概念操作——正如论文所述——表明概念在内部以类似稀疏过完备基的形式处理。此外，由于有效的读取方向因层和位置而异，J-透镜可以被视为提供了那个局部坐标系。

这也凸显了仅仅通过常用的线性表示或全局特征方向来分析模型内部的局限性。未来的分析需要处理依赖于层、位置和上下文的局部信息结构。

如果能更准确地读取内部状态，也可以直接编辑它们。这为以不同于传统方法的形式解决信用分配问题开辟了可能性，并可能导致学习或对齐方面的突破。

《可言语化表征构成语言模型中的全局工作空间》https://transformer-circuits.pub/2026/workspace/index.html…