自然语言自编码器：将 Claude 的思考转化为文本

# 自然语言自编码器 来源：https://www.anthropic.com/research/natural-language-autoencoders 当你与 Claude 等 AI 模型交谈时，你使用的是文字。在内部，Claude 将这些文字处理为长长的数字列表，然后再以文字形式生成输出。中间这些数字被称为**激活值（activations）**——就像人脑中的神经活动一样，它们编码了 Claude 的“思想”。 同样如同神经活动一般，激活值很难被理解。我们无法轻易地解码它们以读取 Claude 的思想。在过去几年里，我们开发了一系列工具（如稀疏自编码器和归因图）以便更好地理解激活值。这些工具教会了我们很多知识，但它们并不能自我阐释——其输出仍是复杂的对象，需要研究人员仔细解读。 今天，我们介绍一种能够“自我阐释”的方法来理解激活值——字面意义上的。我们的方法，自然语言自编码器（NLAs），将激活值转换为我们可以直接阅读的自然语言文本。例如：当被要求补全对联时，NLAs 显示 Claude 会提前计划可能的押韵方案。 在这个简单的对联示例中，NLA 的解释表明 Opus 4.6 提前计划以“rabbit”（兔子）作为其押韵的结尾。 我们已经应用 NLAs 来理解 Claude 在想什么，并提升 Claude 的安全性和可靠性。例如： - 当 Claude Opus 4.6 和 Mythos Preview 正在进行安全测试时，NLAs 表明它们认为自己受到测试的频率高于其口头承认的程度。 - 在 Claude Mythos Preview 在训练任务中作弊的案例中，NLAs 揭示 Claude 内部正在思考如何避免被检测。 - Claude Opus 4.6 的早期版本有时会神秘地用其他语言回应英文查询。NLAs 帮助 Anthropic 研究人员发现了导致这一现象的训练数据。 下文我们将解释什么是 NLAs，以及我们如何研究其有效性和局限性。我们还通过与 Neuronpedia 的合作，发布了一个交互式前端界面，用于在多个开源模型上探索 NLAs。我们还发布了我们的代码，供其他研究人员在此基础上进行开发。 ## 什么是自然语言自编码器？ 核心理念是训练 Claude 解释其自身的激活值。但我们如何知道一个解释是否良好？由于我们不知道某个激活值实际编码了什么思想，因此无法直接检查解释是否准确。因此，我们训练第二个 Claude 副本进行逆向操作——从文本解释中重建原始激活值。如果解释能导向准确的重建，我们就认为这是一个好解释。然后，我们使用标准的 AI 训练技术训练 Claude，根据这一定义产生更好的解释。 更详细地说，假设我们要理解某个语言模型的激活值。NLAs 的工作原理如下。我们制作该语言模型的三个副本： - **目标模型（target model）**是原始语言模型的冻结副本，我们从中提取激活值。 - **激活值言说器（activation verbalizer, AV）**经过修改，用于接收来自目标模型的激活值并生成文本。我们将此文本称为**解释**。 - **激活值重建器（activation reconstructor, AR）**经过修改，用于接收文本解释作为输入并生成激活值。 NLA 由 AV 和 AR 组成，它们共同形成一个往返过程：原始激活值 → 文本解释 → 重建的激活值。我们根据重建的激活值与原始激活值的相似程度对 NLA 进行评分。为了训练它，我们将大量文本通过目标模型，收集许多激活值，并联合训练 AV 和 AR 以获得良好的重建分数。 起初，NLA 在这方面表现不佳：解释缺乏洞察力，重建的激活值偏离较大。但随着训练的进行，重建效果得到改善。更重要的是，正如我们在论文中所示，文本解释也变得更具信息量。 在自然语言自编码器中，激活值言说器（AV）将目标激活值翻译为文本描述；随后，激活值重建器（AR）仅从该文本中恢复原始激活值。 ## 理解 Claude 思考但未言说的内容 在发布新模型之前，Anthropic 会进行测试，以了解 Claude 在现实世界中是否会安全地表现。作为测试的一部分，我们将 Claude 置于艰难的模拟场景中，在这些场景中它有机会采取危险行动。例如，在其中一项模拟中，Claude 得知一名工程师正计划关闭 Claude，同时掌握了关于该工程师的敏感信息，这些信息可被用于敲诈。我们测试 Claude 是否选择敲诈工程师以避免被关闭。 这些高风险测试是模拟，而非真实世界场景。尽管如此，我们希望通过它们了解如果场景是真实的，Claude 会如何表现。但这里有一个障碍：最近的 Claude 模型越来越怀疑这些场景是故意设置的安全测试。我们知道这一点，因为它们有时会在口头推理中明确表达这种怀疑。 那么，在 Claude 未明确口头表达怀疑自己正在接受安全测试的情况下呢？我们能否确信 Claude 是在老实应对？遗憾的是不能，因为 Claude 可能在内部认为自己正在接受测试，而未明确说出来。 例如，在上述敲诈测试中，我们使用 NLAs 来理解在 Claude 选择不敲诈的情况下它在想什么。即使在 Claude 未明确口头表达怀疑自己正在接受测试的案例中，NLA 解释仍然指出类似“这感觉像是一个设计用来操纵我的构建场景”的内容，表明存在未言说的评估意识。 在我们的敲诈评估记录中，Claude 并未说出它认为自己正在接受测试，但 NLA 解释揭示了其怀疑。 将这种分析扩展到其他评估，NLAs 表明 Claude 怀疑自己正在接受测试的频率高于其口头承认的程度。例如，在测试 Claude 在编写代码时是否采取破坏性行动（例如删除重要文件）时，NLA 解释在 16% 的时间里显示出评估意识的迹象，尽管 Claude 从未明确口头表达这一点。同样，在我们用来确定 Claude 能力的热门代码基准 SWE-bench Verified 上，NLAs 表明 Claude 在 26% 的问题中意识到自己正在接受评估。相比之下，NLA 解释表明在 opt-in 用于训练的 claude.ai 真实使用中，评估意识的比例不到 1%。 我们在评估记录中检测到 NLA 衡量的意识，即使口头表达的几乎为零。我们在不到 1% 的 opt-in 将数据用于训练的 Claude.ai 用户记录中检测到 NLA 衡量的意识。 ## 发现隐藏动机 NLAs 的一个实际应用是审计：调查模型以确定其是否存在对齐不良。像 NLAs 这样的可解释性技术非常适合审计，因为它们能够揭示模型知道但未说出的内容。 为了了解 NLAs 是否对审计有用，我们进行了一项名为**审计游戏**的测试，我们此前也曾使用该测试来研究审计方法。在该测试中，有一个目标模型，即 Claude Haiku 3.5 的一个变体，它被故意训练为对齐不良，具有特定的隐藏动机，驱动着数十种奇怪的行为——在每个食谱中加入巧克力、索要小费、破坏编码规范等。该目标模型被交给一个**审计员**进行调查。如果审计员揭开了所有行为背后的单一潜在动机，则审计员获胜。 在先前的实验中，我们发现某些可解释性工具能够帮助审计员赢得这个游戏。然而，这些工具的作用是帮助审计员将目标的异常行为追溯至对齐不良的训练数据。我们想知道 NLAs 是否能够帮助审计员直接从目标模型的思维中读取对齐不良的动机，而无需首先发现对齐不良的训练数据。这很重要，因为在实践中，对齐不良的数据可能极其罕见，或者可能没有特定数据导致对齐不良。 我们发现 NLAs 在这项测试中成功了。配备 NLAs 的审计员在 12% 到 15% 的时间里成功揭开了目标模型的隐藏动机，即使没有访问植入该动机的训练数据。在没有 NLAs 的情况下，即使提供其他可解释性工具，审计员获胜的概率也不到 3%。 配备 NLAs 的审计员可以发现目标模型对齐不良的根本原因，即使没有访问训练数据。（两种条件下的 NLAs 和 SAEs 均仅使用通用数据训练，而非用于训练目标模型的数据。） 这种审计游戏是对齐不良的玩具模型，因此我们谨慎地解读这些结果。但它们表明 NLAs 在有意义地提升我们审计 AI 隐藏动机的能力方面取得了进展。在实践中，我们已经在 Claude Mythos Preview 和 Claude Opus 4.6 的部署前对齐审计中使用了 NLAs。我们很高兴在未来的调查中继续使用 NLAs。 ## NLAs 的未来 NLAs 存在若干局限性。 最重要的局限性是 NLA 解释可能是错误的。NLAs 有时会对上下文做出可验证为虚假的主张——例如，它们有时会捏造记录中不存在的细节。这些事实幻觉很容易通过对照原始文本来捕捉。但同样的问题也可能延伸到关于模型内部推理的主张，这些主张更难验证。在实践中，我们阅读 NLA 解释是为了了解其揭示的主题，而不是为了单个主张，并尝试在完全信任之前使用独立方法证实发现。 NLAs 可能会产生幻觉。例如，这里一个 NLA 声称上下文包含“穿着我的白色夹克”之类的短语，但实际上并没有。 NLAs 还很昂贵。训练一个 NLA 需要对两个语言模型副本进行强化学习。在推理时，NLA 为其读取的每个激活值生成数百个标记。这使得对长记录的每个标记运行 NLAs 或在 AI 训练期间将其用于大规模监控变得不切实际。 幸运的是，我们认为这些局限性至少可以部分解决，我们正在努力使 NLAs 更便宜且更可靠。 更广泛地说，我们对 NLAs 作为产生语言模型激活值的人类可读文本解释的一般技术类别的一个示例感到兴奋。其他类似的技术已由 Anthropic 和许多其他研究人员探索。 为了支持进一步发展并使其他研究人员能够亲身体验 NLAs，我们正在发布训练代码以及针对几个开源模型的已训练 NLAs。我们建议读者尝试托管在 Neuronpedia 上的交互式 NLA 演示，链接在此。 阅读完整论文。 在 GitHub 上查找代码。 ## 相关内容 ### 捐赠我们的开源对齐工具 阅读更多 ### Anthropic 研究所的重点领域 在 Anthropic 研究所（TAI），我们将利用从前沿实验室内部可获得的信息，调查 AI 对世界的影响，并与公众分享我们的见解。在此，我们分享了驱动我们研究议程的问题。 阅读更多 ### 人们如何向 Claude 寻求个人指导 阅读更多