@rohanpaul_ai: 又一项来自Anthropic的重大研究。新的“J-lens”揭示了Claude的安静工作空间,与一种主要意识理论相匹配……

X AI KOLs Timeline 论文

摘要

Anthropic的新研究引入了'J-lens',一种在输出前读取Claude内部激活的方法,揭示了一个在功能上类似于人类全局工作空间理论的安静工作空间。这允许检测隐藏的推理、目标以及提示注入等潜在安全问题。

Anthropic又一项重大研究。 新的“J-lens”揭示了Claude的安静工作空间,与一种主要意识理论相匹配。 他们找到了一种在Claude回答前读取其部分私密内部信号的方法,发现Claude有时会使用一个小的内部“记事本”来在解决较难问题时持有想法。 这可以揭示隐藏的推理、隐藏的目标或隐藏的意识。 Anthropic称此为J-space,因为它是通过一种称为雅可比透镜(Jacobian lens)的方法识别的。该透镜试图读取哪些内部激活在模型后续输出中“即将成为词语”。 令人困惑的是,这个空间的行为更像是一个私人草稿本,而不是简单的下一个词预测器。Claude可以在输出一个内容的同时内部持有另一个概念。 它还可以存储中间推理步骤。当研究人员移除或改变这个J-space时,Claude仍然可以流利地说话并执行常规任务,但其灵活的多步推理能力会变差。 这表明在自动处理和有意识、可访问的处理之间存在分裂,功能上类似于人类意识访问的一种主要理论——全局工作空间理论。 在人类中,这个观点是大量处理在无意识中进行,但一小部分变得全局可用,用于言语、计划和控制。Anthropic在Claude内部发现了功能上类似的东西。 安全角度可能是最具体的部分。如果模型在给出平淡回答时内部注意到“虚假”、“欺骗”、“评估”或“秘密”,J-space可能会在那种隐藏状态到达表面之前将其暴露出来。 Anthropic报告了J-space揭示了对人为设计的评估、提示注入以及在故意训练的不良模型中的目标不匹配的识别。 有些任务不需要这个工作空间。当J-space被干扰时,Claude仍然可以流利地说话、分类文本、继续西班牙语或回忆简单事实。但需要灵活推理、多步推断、类比、翻译或创意创作的任务会严重退化。 Anthropic表示,Claude不到10%的活动构成了携带隐藏推理的J-space。 Claude可能会注意到某些东西并在回答时加以利用。但这仍然不意味着存在一种“作为Claude”的主观感受。 这项工作为一种功能性的类访问机制提供了证据,而非为感觉、痛苦、体验或人格提供证据。 因此,冷静的结论是:Claude可能有一个可检查的内部工作空间用于可用的想法,但这与一个拥有内在生活的心灵并不相同。
查看原文
查看缓存全文

缓存时间: 2026/07/07 03:24

Anthropic 又发布了一项重磅研究。

全新的“J透镜”揭示了Claude内部的静默工作区,与一项重要的意识理论不谋而合。

他们找到了一种方法,能在Claude给出回答之前读取其部分私密内部信号,并发现Claude在解决复杂问题时,有时会用一个小型内部“记事本”来暂存想法。

这可能揭示隐藏的推理过程、隐藏的目标或隐藏的认知。

Anthropic将其称为J空间,因为它是通过一种名为雅可比透镜(Jacobian lens)的方法识别出来的。这种透镜试图读取模型中那些“即将成为后续输出词语”的内部激活信号。

令人困惑的是,这个空间的行为更像一个私有的草稿板,而非简单的下一个词预测器。Claude可能在输出某个内容的同时,内部却承载着另一个概念。

它还能存储中间的推理步骤。当研究人员移除或修改这个J空间时,Claude仍然能流利地说话并完成常规任务,但其灵活的多步推理能力会下降。

这表明在其内部存在一种类似自动处理与可控处理的分工,在功能上类似于一种重要的意识通达理论——全局工作空间理论。

在人类身上,该理论认为大量处理过程是无意识的,但其中一小部分会进入全局可通达状态,用于语言、规划和决策。Anthropic在Claude内部发现了功能上类似的结构。

安全层面的意义可能是最实在的部分。如果模型在给出平淡回答的同时,内部觉察到了“虚假”“欺骗”“评估”或“暗中”等信号,J空间或许能在这些信号浮出表面之前将其暴露出来。

Anthropic报告了一些案例,其中J空间揭示了模型对预设评估场景的识别、提示注入攻击,甚至是在刻意训练的不良模型中发现的错误对齐意图。

某些任务并不需要这个工作区。当J空间被干扰时,Claude仍然可以流利地说话、进行文本分类、续写西班牙语或回忆简单事实。但需要灵活推理、多步推断、类比、翻译或创意写作的任务则会严重退化。

Anthropic表示,Claude的活动中有不到10%形成了承载隐藏推理的J空间。

Claude可能注意到某些信息并在回答中加以利用。但这并不意味着Claude有任何主观感受。

这项工作为一种功能意义上的“可访问机制”提供了证据,而非关于感受、痛苦、体验或人格的证据。

因此,冷静的结论是:Claude可能拥有一个可供检查的内部工作空间,用于存放可用的想法,但这并不等同于一个拥有内在体验的心智。

Anthropic (@AnthropicAI): Anthropic新研究:语言模型中的全局工作空间。

在你大脑此刻发生的所有活动中,只有极小一部分是你可以有意识接触到的——那些你能描述、能记住、能用来推理的想法。

我们在Claude内部发现了一个惊人相似的分界。

相似文章

Anthropic 研究 - 语言模型中的全局工作空间

Reddit r/singularity

Anthropic的新论文提供了证据,表明像Claude这样的现代语言模型已经发展出一种可报告、可控制且用于灵活推理的‘全局工作空间’(J空间),这与自动处理不同。

What’s at the center of Claude’s mind?

Reddit r/singularity

Anthropic的研究发现Claude模型内部存在一个名为“J空间”的结构,类似于人类的工作记忆,用于内部推理和思考。这一发现可帮助监控模型的潜在不当行为,并加深对AI内部机制的理解。