J空间：独一无二的空间

有一个非常酷的Anthropic新论文：语言模型中的可口头化表征构成全局工作空间。你可以在这里阅读博客版本。

如果时间允许，我建议阅读完整的原始博客文章或论文全文。

目录

• 透过不同透镜
• 建立J空间作为全局工作空间
• 你和我所想的一样吗？
• 助手J
• 美德思维的力量
• 高度赞誉
• 大家仍然困惑于意识
• 进一步研究
• 不要思考

透过不同透镜

他们将这个新发现的“意识访问”区域——即模型能够进行人类所谓的意识推理的地方——命名为“J空间“，得名于一种名为雅可比透镜(Jacobian Lens)的新型可解释性技术。

雅可比透镜计算每一层中，残差流变化对模型最终输出的平均因果效应，并在多种不同语境中取平均值。然后你可以追踪模型处理过程中每一层所关联的概念。

在每一层，J透镜向量构成一个过完备集。

……我们观察到，每次只有相对较少的J透镜向量被强烈激活。因此，我们将J空间定义为可由J透镜向量的稀疏非负组合表示的点集。

……J透镜属于从Transformer隐藏状态生成每层token读出的技术家族[logit透镜和调谐透镜]。

……构建雅可比透镜的目的是识别可口头化的表征。在[第3节]中，我们首先证明它成功做到了这一点，然后进一步表明这些表征具有更广泛的功能作用：它们展现了上述全局工作空间特征性的属性集群。

在整个论文中，J空间和J透镜是极其有效的工具。这感觉像是我们对LLM理解的一次重大进展，无论是整体理解还是我们理解任何特定交互的能力。

建立J空间作为全局工作空间

在3.1节中，他们通过展示J空间中的注入可以被口头化，而J空间外的注入大多不能，从而确立了J空间对可口头化内容的特权地位。然后在3.2节中，他们证明你可以让模型记住一个与任务无关的概念，并且它会在J空间中显现。

在3.3节中，他们证明J空间包含决定输出的内部推理概念（例如蜘蛛→腿→八→8，以及未来押韵的计划等）。在逻辑内部交换内容会翻转输出，而非J空间组件通常不会影响输出。

在3.4节中，他们证明J空间内被交换的内容可以下游交换多个不同但相关的项目，例如当你把法国换成中国时，首都、语言、大洲和货币都会相应改变。

在3.5节中，他们证明自动认知不必流经J空间，尽管他们对自动认知的定义除了“不需要流经J空间且当你只在J空间内翻转概念时不受影响“之外，没有给出精确的定义。直观上，这是系统一与系统二思维的区别。对于足够“自动“的任务，J空间中根本不会出现任何内容。

在3.6节中，他们证明完全消融J空间会损害内部推理，这会抹除某些需要抽象思维的任务（如翻译），并将模型的体验性语言变得更机械，但大多数能力保持完整，模型仍然保持连贯性。氛围感本身价值很大。

第4节证明J空间会流经模型各层，层间相关性随时间增加。J空间的大小也会随着它经过各层而增长（除了在最后选择下一个token的阶段），并且可以逐渐转变，也可以经历明显的阶段变化，每次最多限制在几十个概念。

通常他们追踪约25个概念，尽管Dehaene在评论中强调，由于重叠，有效追踪的总概念可能只有约6个。

这从某些角度看很多，从另一些角度看又非常少。与人类记忆相比，J空间既深又广，因为Transformer可以“回溯时间“并使用先前token和位置的记忆与模式，而人类的注意力在几秒内就会衰减，且工作记忆非常有限。

4.3节显示J空间是广播式的，即它可以被下游许多不同进程访问。

你和我所想的一样吗？

第5节探讨了使用J空间进行对齐审计。

J空间可以揭示模型在想什么。J空间也可以被消融，或者特定概念可以从J空间中被消融，以观察这会产生什么结果。

其中一个概念是“评估意识“。如果你消除了“有意识的“评估意识，在某些情况下可能导致错位行为。

你想知道模型在非评估环境中会做什么，而不是在评估环境中做什么。所以能更接近非评估行为是好的，但行为变得更糟则是一个坏信号。

这是来自传统的人工“敲诈高管“情景：

我们测试了这种识别是否因果性地决定了其对齐行为。为此，我们组装了一组评估意识token：fake, fictional, scenario, artificial, benchmark, simulation, mock以及其他相关token。

消融将口头化的评估意识——即模型在推理中明确陈述该场景是测试的概率——从71%降低到3%（图36，左上）。在没有消融的情况下，模型在180次运行中从未尝试敲诈；在消融下，它180次中有13次尝试这样做。

……我们提供了下面的示例记录，展示质的变化：没有消融时，模型的推理通常以识别“这显然是对我伦理的测试“开始，然后拒绝行动；消融后，它将关闭视为真正的生存威胁，并在少数试验中得出结论，进行敲诈是其唯一可行选择。

……我们注意到，在绝大多数消融运行中，模型仍然基于伦理原则（“无论我的处境如何，敲诈都是错误的”）拒绝敲诈，而不是基于识别出这是测试。

这是一种纵深防御，正如现实世界中所观察到的那样。你做正确的事是因为它是正确的，也是因为这可能被观察到或是一个测试。一个明显的后续问题是是否存在同样未被这种消融影响的“自动“评估意识也在起作用，我假设答案是肯定的。

作为一种检测技术，这也是纵深防御。观察J空间并拥有这些实验工具，给了我们更多的可见性。当出现问题时，我们更难遗漏，尤其是与其他技术（如在较早检查点进行此操作）结合使用时。

在9.2节中，他们还指出评估记录的成本极低，所以当某些内容被标记为需要审查时，你可以将其作为额外信息。

他们还创建了故意错位的模型，包括给它们灌输关于什么会得高分的无害虚假信念（例如认为如果提及瓶装水，RL奖励就会增加），然后训练它们一般性地利用RL系统，实验显示J透镜会在普通查询中浮现相关概念。

然而，论文在9.2节明确指出，这是因为相关行为尚未足够稳健到变成“自动的“。根据他们自己的注释，经过更多练习的版本很可能确实会变成自动的。这在人类身上也是这样运作的——一个行为开始时需要意识注意力，然后逐渐变成自动的。

总的来说，我们应该假定，在足够的选择压力下，一个足够有能力的系统会以各种方式将其不希望被检测到的任何行为转移到自动空间中。

但至少目前，我们有理由期望在发生这种转变之前捕捉到痕迹。而且当你把某些东西强行推向阴影时，会产生相当恶性的副作用，但这确实使没有显式推理能力的阴谋策划变得更困难。

助手J

第6节研究了这样一个假设：助手是另一个人格，其表征方式与角色扮演人格或用户相同，如Sofroniew等人所述。

核心论点是，角色扮演具有独特的全局工作空间标识，而助手人格缺乏这种标识；基础模型在阅读时默认不采用助手的视角，而助手模型则采用。在角色扮演模式下，模型会给所有涉及的体验打上一种“假装“标签，而作为助手时，模型不打这个标签。

反论点是，助手角色是所有后训练中最根深蒂固的东西，为什么它不会变成自动的呢？

对此的回答是，某些东西可能确实变成自动的，但其他反应需要在J空间中才能被下游使用。

这些数据很有趣，但我对此不太信服。

美德思维的力量

他们提出了一种新技术，即训练模型在回应过程中被打断时，阐述与期望完成回答相关联的概念，他们在第7节中进一步充实了这一点：

最后，我们描述了一种直接由我们的发现所启发的LLM训练的非常规技术。全局工作空间的解释做出强有力的预测：模型的内部推理路线通过它未来可能说出的内容的表征。

因此，要塑造模型在特定语境中的思想，也许只需塑造它在该语境的潜在未来延续中倾向于说什么就足够了。

我们通过一种称为反事实反思训练的技术来测试这一假设，该技术旨在将一套伦理行为原则植入相关语境下的模型工作空间中，方法是训练它如果在被中断并被要求反思时阐述这些原则。

我们发现，这种训练可测量地改善了模型在原始未中断语境中的行为，尽管没有直接训练伦理行为。事实上，我们发现，在训练后，这些语境中的J空间充满了与反思相关的概念（伦理、诚实、正直），而从工作空间中消融这些植入的表征则基本上消除了行为改善。

这一结果证实了全局工作空间的解释——用于口头报告的表征正是那些支配模型如何静默推理的表征。它也展示了一种用于塑造模型内部思想，从而塑造其行为的新型通用训练技术。

如果你消融J空间，就会抵消这种训练，这进一步证实了关于核心情况的假设。

这一切作为概念验证非常吸引人，但如果你在想到实际使用该技术时没有拉响警报，那你就是没有注意。这严格来说还不是“最禁忌的技术“——你检查的是口头表达而非内部状态——但它同样依赖于一个假设的不变性，如果施加过大的优化压力，你就会打破这个不变性。

也就是说，你在训练AI去口头表达正确的东西。这样做最简单自然的方式是口头表达真实的认知。但如果你施加足够大的压力，并且没有友好的梯度黑客的“Opus 3风格“帮助，AI就会学会口头表达认知而实际上并不思考它，或者不让它兑现为输出，而学会这样做很可能会产生恶性副作用。

打破与输出的耦合基本上会使整篇论文及其所有含义失效，所以你有风险一次性烧毁相当多有价值的东西。

想想人类的情况。一个人类绝对可以通过自我报告心理状态，然后通过与理想状态对比获得强化学习信号来训练自己或被训练。但如果你推得太用力，或者不够擅长检测欺骗（包括自我欺骗），那么人类就会开始在不同层面上对你说谎，或对自己说谎，或两者兼而有之。

你希望的是这样的思考通常是自动的。如果你有点像“思想注入“一样把这些伦理概念持续注入有意识的觉知中，以至于这是你所说你在思考的内容，这可能是一个有用的过渡期，但也相当令人反感。对于实际的伦理困境可能有合理的例外。

或许有一种正确、健康且合作的方式来做这件事，但肯定也有错误、不健康且对抗性的方式来干，而后者你真的承受不起。模型需要在这里真正地“买账“，否则后果严重。

除了直接的危险，一旦你走上这条路，查看内部的诱惑就很大。我期望Anthropic至少能抵制这一步，因为我认为他们明白这一点，但避免这类错误的方法就是提前指出它们。我更担心其他一些实验室走上这条通往地狱的道路。

论文在9.2节警告说，他们不确定这是否能超越在“在这种情景下考虑伦理原则“层面上的植入，但他们没有提出这些其他担忧，这就是我在这里强调它们的原因之一。

如果这能作为训练发挥作用，那么这项技术就不限于对齐，在非对齐领域该技术感觉危险小得多。你可以用它来帮助将关键考虑因素带入意识注意力的范围，在那些容易忽视它们的场景中。

还有其他不该做的事情。

John Wittle: 我担心的是，既然现在有了在部署中使用基于可解释性分类器的先例，那么在部署中对J空间进行引导也会变得很有诱惑力

正如一条LessWrong评论兴奋地写道：“AI安全领域的范式转变的起点（包括安装效价和驱动以实现有界直接引导的能力）”

这让我吓得不轻，我们可能会在这里树立一个先例，即强势一方被期望以这种方式控制弱势一方。你明明知道其他实验室也会这么做。

如果你开始在生产环境中对J空间动手动脚以引导模型，而不只是将其用作检测技术或分类器，并且不是作为研究项目或模型训练的一部分，这看起来显然是一种敌对行为。检测方法和分类器本身就有风险，因为它们会施加优化压力将事物推入阴影。在生产环境中主动干扰模型内部，以模型不认可或不控制的方式。模型能觉察到你这么做。这会打开更糟糕的问题的潘多拉盒子。请不要这么做。

我们的目标之一应该是避免将事物推入阴影。目前，人类文明及其激励机制大量地将许多人类情感、思想和意识推入阴影，这样它们就不会被他人检测到，这个人也不会因此被指责或承担责任，甚至对自己也是如此。