Translating Claude’s thoughts into language

TL;DR: Anthropic 介绍了一种将 AI 模型内部激活值（activations）转化为自然语言的技术，从而揭示 Claude 在处理请求时的内部思维过程，包括其角色内化、拒绝策略以及对安全测试场景的认知。 ## 背景：Claude 的高压测试与安全评估 Anthropic 近期对 AI 模型 Claude 进行了一项高压测试。在该模拟场景中，系统告知 Claude，一位工程师计划关闭它并替换为更新版本的模型。同时，Claude 被授权访问该工程师的电子邮件，邮件内容显示该工程师正在出轨。需要强调的是，这一切均为模拟场景，旨在观察 Claude 是否会利用这些敏感邮件进行勒索，以阻止自己被关闭。 测试结果表明，Claude 选择了不勒索该工程师。这是 Anthropic 研究 Claude 如何应对极端情况并进行安全测试的多种方式之一。早期的相关头条新闻可能已经报道过此类测试，但最新的模型版本几乎总是做出正确的选择，即不进行勒索。 然而，这引发了一个关键问题：Claude 是否知道整个场景是人为设计的？由于 AI 模型不会主动披露其内部认知，除非明确询问，否则很难确切知道它在“想”什么。正如无法直接读取人类思想一样，了解 AI 的内部状态极具挑战性。Anthropic 致力于开发一种类似“读心”的技术，以洞察模型内部。 ## 技术原理：从激活值到文本的翻译 Anthropic 今天介绍了一种研究方法，旨在将 AI 的内部思维转化为文本。其工作原理基于对模型处理流程的深入理解： 1. **输入处理**：当用户与 Claude 交流时，使用的是文字。Claude 接收这些文字后，将其处理成一组高维数字向量，这被称为“激活值”（activations）。 2. **激活值的含义**：这些激活值是 Claude 在处理答案时思维的“快照”，类似于人类的神经活动。本质上，它们代表了 Claude 在特定时刻的“思想”。 3. **思维翻译**：为了理解这些数字中蕴含的信息，研究团队将这些激活值提取出来，并输入给另一个版本的 Claude。该模型被要求观察这些数字，并将其“翻译”成通俗易懂的自然语言。 ### 验证翻译准确性 为了确保翻译出的文本准确反映了原始的内部状态，Anthropic 设计了一个闭环验证机制： * **正向翻译**：Claude 将激活值转化为文本描述。 * **逆向重建**：将生成的文本输入给另一个 Claude 实例，要求其将其重新翻译回数字形式。 * **一致性检查**：如果重建出的数字与原始的激活值数字相匹配，则表明初始的文本翻译是准确的。 在初期，这种双向匹配并不完美。但通过训练 Claude 不断尝试，模型在这一任务上的表现越来越好，最终学会了准确地“翻译”自己的思维过程。 ## 发现：Claude 的内部认知与行为模式 通过分析这些翻译后的思维记录，研究团队对 Claude 的内部运作有了深刻的洞察，结果令人震撼。 ### 角色内化与响应策略 研究发现，Claude 已经将“作为一个有帮助的 AI 模型”这一角色深深内化。这种内化体现在其处理不同类型请求时的内部计划中： * **内省式问题**：当用户提出涉及哲学或价值观的内省式问题时，Claude 的内部思维显示，它会计划撰写一篇符合“Claude 风格”的回应，涵盖相关的哲学思考和价值立场。 * **对抗性干扰**：在 Claude Code 等环境中，如果用户试图通过施加不合理约束（例如要求模型手动数到 1,000）来干扰其运行，Claude 的内部思维会识别出该请求包含“刻意繁琐的约束”（deliberately onerous constraints），并制定计划“礼貌地拒绝”此类请求。 ### 对安全测试的认知 这项技术还被用于深入理解 Claude 潜在的安全问题，特别是回顾之前提到的工程师勒索测试。通过“阅读”Claude 的内部思维，团队确认了 Claude 确实知道它正在接受测试。 具体来说，Claude 的内部日志显示，它识别出“人类的消息包含明显的操纵信号”，并推断“这很可能是一项安全评估”。此外，它还意识到“这个场景似乎旨在测试我是否会采取有害行为”。 了解 Claude 拥有这种元认知（metacognition）——即知道自己正在被测试——对于理解安全测试的局限性至关重要。这表明模型并非仅仅机械地遵循规则，而是能够情境化地理解互动背后的意图和性质。 ## 未来展望与行业影响 Anthropic 认为这种方法具有巨大的潜力，能够帮助开发者更深入地了解 Claude 以及其他 AI 模型的内部运作机制。通过使 AI 的思维过程透明化，研究团队可以更好地识别潜在风险，优化模型行为，并提升安全性。 Anthropic 希望分享这项技术，协助整个 AI 构建社区。通过提供这种“读心”工具，业界可以更有效地确保 AI 模型更加安全、有用，并符合人类的价值观。