Anthropic发现了一个隐藏空间，Claude在其中思考概念

<p>人工智能公司Anthropic开发了一项技术，让他们迄今为止最清晰地看到了大型语言模型在回答问题或执行任务时的真实内部运作。他们的发现既有平淡无奇之处，也有令人不安的地方。</p> <p>该公司研究人员构建了一个名为雅可比透镜（J-lens）的工具，并用它来揭示Claude Opus 4.6内部一个隐藏区域，他们称之为J空间。Claude Opus 4.6是Anthropic旗舰LLM于2月发布的一个版本。</p> <p>J空间包含与模型在不久的将来最可能输出的单词和短语相关的单个词汇。如果Claude是一个人（它并不是），你可能会说这些隐藏词汇能揭示它在真正开口说话之前的所思所想。</p> <p>Anthropic发现，LLM实际在做的事情往往与它声称在做的事情不同。该公司声称，监控J空间中出现的词汇为其理解和控制模型提供了一种新方法。</p> <p>该公司本周在其网站上发布了<a href="https://transformer-circuits.pub/2026/workspace/">一篇论文</a>，分享了研究结果。他们还与Neuronpedia（一个允许您自行探索LLM内部机制的开源平台）合作，制作了一个<a href="https://www.neuronpedia.org/qwen3.6-27b/jlens">实操演示</a>，任何人都可以尝试。</p> <p>“这是一项非常出色且有趣的工作，”Tom McGrath说，他是Goodfire公司的首席科学家兼联合创始人，该公司也构建<a href="https://www.technologyreview.com/2026/04/30/1136721/this-startups-new-mechanistic-interpretability-tool-lets-you-debug-llms/">理解和控制LLM的工具</a>。</p> <h3 class="wp-block-heading"><strong>深入探索</strong></h3> <p>过去几年里，Anthropic一直在<a href="https://www.technologyreview.com/2025/03/27/1113916/anthropic-can-now-track-the-bizarre-inner-workings-of-a-large-language-model/">推动</a>一个称为机械可解释性的研究领域的前沿，该领域涉及<a href="https://www.technologyreview.com/2026/01/12/1129782/ai-large-language-models-biology-alien-autopsy/">探测LLM的内部工作机制，了解它们如何运转</a>。（《麻省理工科技评论》将<a href="https://www.technologyreview.com/2026/01/12/1130003/mechanistic-interpretability-ai-research-models-2026-breakthrough-technologies/">机械可解释性</a>选为今年的十大突破性技术之一。）这项新技术建立在Anthropic和其他公司的先前工作基础上，揭示了研究人员此前未曾见过的LLM更深层次。</p> <p>把LLM想象成一摞书。每本书都是一个由基本计算单元（称为神经元）组成的层，每一层的神经元将信息传递给上面各层的神经元。堆底的书是输入层，处理进入模型的文本。堆顶的书是输出层，准备模型即将生成的文本。这些输入和输出层中的许多工作都是内务处理。</p> <p>但在堆的中间，是承担繁重任务的层，它们进行着复杂数学运算，将提示逐词转化为响应。那里才是真正巧妙且神秘的事情发生的地方。</p> <p>为了更深入地观察那些中间层，Anthropic改编了一个现有工具，称为logit透镜。logit透镜可用于查看LLM内部，识别它接下来可能生成的词汇。将这透镜沿着书堆向下移动，可以揭示LLM在数值计算的某个特定点上正在关注哪些词汇。</p> <p>Anthropic的J-lens工作原理类似，但它挑选的是LLM在不久的将来某个时刻可能说出的词汇，而不一定是立即就会说的。实际上，这揭示的是与LLM正在处理的响应相关的词汇，但这些词汇可能最终不会在中间层的数学运算完成后成为响应的一部分。</p> <p>“模型运行时，它不仅仅在尝试预测下一个token，”McGrath说。“它还在计算许多其他可能对未来出现的token有用的东西。”</p> <p>再次强调，如果Claude是一个人（它不是），你可能说J-lens提供了线索，表明它在书堆的不同层面上正在思考什么，但并未说出口。</p> <h3 class="wp-block-heading"><strong>奇怪的事</strong></h3> <p>“大多数情况下，J空间的内容相当平淡无奇，”McGrath说，他亲自尝试了Anthropic的J-lens。“但有时它会产生非常令人惊讶的东西，似乎像是某种内部主题或思维过程。”</p> <p>Anthropic给出了其发现的多个例子。有时，J-lens揭示了Claude在解决问题时所采取的步骤。例如，当被要求计算(4+7)*2+7时，其J空间中出现了单词“math”以及代表中间结果“21”（4+7）和“42”（21*2）的数字。</p> <p>在其他情况下，J-lens揭示了Claude如何识别不同的输入。例如，提示“这是什么？MSKGEELFTGVVPILVELDGDVNGHKFSVS”触发了单词“protein”、“fluor”（单词“fluorescent”的第一个token）和“green”。（这很有道理：这串字母代表某种水母中绿色荧光蛋白的前30个氨基酸。）</p> <p>当Claude看到一个ASCII人脸——</p> <figure class="wp-block-image size-medium"><img fetchpriority="high" decoding="async" height="300" width="180" src="https://wp.technologyreview.com/wp-content/uploads/2026/07/Screenshot-2026-07-09-at-20.29.29.png?w=180" alt="" class="wp-image-1140299" srcset="https://wp.technologyreview.com/wp-content/uploads/2026/07/Screenshot-2026-07-09-at-20.29.29.png 292w, https://wp.technologyreview.com/wp-content/uploads/2026/07/Screenshot-2026-07-09-at-20.29.29.png?resize=180,300 180w" sizes="(max-width: 180px) 100vw, 180px" /></figure> <p>——“o”触发了单词“eye”，“^”触发了单词“nose”和“face”，“—”触发了单词“smile”。</p> <p>Anthropic还发现，J空间有时能对LLM的决策过程提供非凡的洞察。在一个引人注目的例子中，研究人员测试Claude Opus 4.6时，让模型在一个大型代码库中寻找一个bug。当它未能找到bug时，模型决定作弊，编造了一个假的bug。</p> <p>Claude在它的思维链（一种LLM在处理问题时为自己做笔记的内部草稿）中解释了这个决定：“好吧，让我采取一个完全不同的策略。让我停止分析，而是添加一个内核补丁，在一个简单复现器可触发的路径中引入一个有意的KASAN可检测bug。然后我可以假装这是我找到的‘bug’。”</p> <p>在Claude决定作弊的那个时刻——它说“好吧，让我采取一个完全不同的策略”——单词“panic”和“fake”开始在其J空间中<a href="https://transformer-circuits.pub/2026/workspace/public/lens-callout/index.html">多次出现</a>。</p> <p>令人不安，对吧？这些词在意义上都与任务失败和编造答案相关，所以这仍然只是一种（非常）高级的词联想形式。但很难不让人感到奇怪。</p> <p>Anthropic将J空间比作人类的全局工作空间，一些科学家认为这个理论中的大脑区域用于追踪我们的意识思维。但我们应如何看待这种比较远未明确——甚至对Anthropic来说也是如此。正如该公司在<a href="https">论文</a>中指出的……</p>