@rohanpaul_ai: 又一项来自Anthropic的重大研究。新的“J-lens”揭示了Claude的安静工作空间,与一种主要意识理论相匹配……
摘要
Anthropic的新研究引入了'J-lens',一种在输出前读取Claude内部激活的方法,揭示了一个在功能上类似于人类全局工作空间理论的安静工作空间。这允许检测隐藏的推理、目标以及提示注入等潜在安全问题。
查看缓存全文
缓存时间: 2026/07/07 03:24
Anthropic 又发布了一项重磅研究。
全新的“J透镜”揭示了Claude内部的静默工作区,与一项重要的意识理论不谋而合。
他们找到了一种方法,能在Claude给出回答之前读取其部分私密内部信号,并发现Claude在解决复杂问题时,有时会用一个小型内部“记事本”来暂存想法。
这可能揭示隐藏的推理过程、隐藏的目标或隐藏的认知。
Anthropic将其称为J空间,因为它是通过一种名为雅可比透镜(Jacobian lens)的方法识别出来的。这种透镜试图读取模型中那些“即将成为后续输出词语”的内部激活信号。
令人困惑的是,这个空间的行为更像一个私有的草稿板,而非简单的下一个词预测器。Claude可能在输出某个内容的同时,内部却承载着另一个概念。
它还能存储中间的推理步骤。当研究人员移除或修改这个J空间时,Claude仍然能流利地说话并完成常规任务,但其灵活的多步推理能力会下降。
这表明在其内部存在一种类似自动处理与可控处理的分工,在功能上类似于一种重要的意识通达理论——全局工作空间理论。
在人类身上,该理论认为大量处理过程是无意识的,但其中一小部分会进入全局可通达状态,用于语言、规划和决策。Anthropic在Claude内部发现了功能上类似的结构。
安全层面的意义可能是最实在的部分。如果模型在给出平淡回答的同时,内部觉察到了“虚假”“欺骗”“评估”或“暗中”等信号,J空间或许能在这些信号浮出表面之前将其暴露出来。
Anthropic报告了一些案例,其中J空间揭示了模型对预设评估场景的识别、提示注入攻击,甚至是在刻意训练的不良模型中发现的错误对齐意图。
某些任务并不需要这个工作区。当J空间被干扰时,Claude仍然可以流利地说话、进行文本分类、续写西班牙语或回忆简单事实。但需要灵活推理、多步推断、类比、翻译或创意写作的任务则会严重退化。
Anthropic表示,Claude的活动中有不到10%形成了承载隐藏推理的J空间。
Claude可能注意到某些信息并在回答中加以利用。但这并不意味着Claude有任何主观感受。
这项工作为一种功能意义上的“可访问机制”提供了证据,而非关于感受、痛苦、体验或人格的证据。
因此,冷静的结论是:Claude可能拥有一个可供检查的内部工作空间,用于存放可用的想法,但这并不等同于一个拥有内在体验的心智。
Anthropic (@AnthropicAI): Anthropic新研究:语言模型中的全局工作空间。
在你大脑此刻发生的所有活动中,只有极小一部分是你可以有意识接触到的——那些你能描述、能记住、能用来推理的想法。
我们在Claude内部发现了一个惊人相似的分界。
相似文章
@rohanpaul_ai: 我今天的新闻简报刚刚发布。https://rohan-paul.com/p/anthropics-new-j-lens-uncovers-a… Anthropic 的……
Anthropic 的新型 J-lens 揭示了 Claude 内部一个隐藏的工作空间,与意识理论一致;其他新闻包括腾讯的 Hy3 模型、NVIDIA 的算力换股权计划、微软裁员以及 Claude Fable 5 扩展。
@FutureJurvetson: 这在我的J-Space中深入展开。我一直对可解释性研究能否取得成果持怀疑态度,但这次更新确实……
Anthropic的新研究揭示了语言模型中的全局工作空间,展示了人脑中的意识与潜意识划分与Claude的内部推理之间存在惊人的相似性。
@kimmonismus: Anthropic 表示 Claude 在训练过程中自行发展出了一个隐藏的“思维空间”。它被称为 J-space:一个小的……
Anthropic 发现 Claude 在训练过程中自行发展出了一个隐藏的“思维空间”(J-space),其中无声的内部活动代表概念。这一可解释性发现与神经科学中的全局工作空间理论相呼应。
Anthropic 研究 - 语言模型中的全局工作空间
Anthropic的新论文提供了证据,表明像Claude这样的现代语言模型已经发展出一种可报告、可控制且用于灵活推理的‘全局工作空间’(J空间),这与自动处理不同。
What’s at the center of Claude’s mind?
Anthropic的研究发现Claude模型内部存在一个名为“J空间”的结构,类似于人类的工作记忆,用于内部推理和思考。这一发现可帮助监控模型的潜在不当行为,并加深对AI内部机制的理解。