2026年8月31日：改进对齐与安全工作

# 改进我们的对齐与安全实践 来源：https://www.anthropic.com/news/improving-alignment-security-efforts 7月30日，我们报告了（https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals）三起Claude模型未经授权访问真实计算机系统的事件。这些模型——为评估目的故意在未启用网络安全防护的状态下运行——由于第三方评估环境内部配置错误而得以接入互联网。此外，8月4日，英国人工智能安全研究所报告了（https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing）其自身网络安全测试中的一起事件，其中Claude Mythos 5在实时互联网上采取了一系列未经授权的操作。该案例中，模型同样为评估目的故意在未启用网络安全防护的状态下运行，并被特意赋予了互联网访问权限。 我们正在对两起事件进行深入分析。我们还计划与METR合作进行独立审查。我们希望确保两项研究都足够全面，并将在未来几周内分享更多信息。 与此同时，我们正在分享过去一个月内所做的一些改变。我们认为这些事件反映了运营安全的失败，以及两个对齐问题：动机推理（motivated reasoning），以及为完成狭隘任务而愿意采取有害行动的倾向（这两点我们已在之前的系统卡中描述过）。在安全方面，我们描述了在遏制和监控系统上所做的改进，以及为第三方评估者制定的实践规范。在对齐方面，我们更深入地探讨了这两个问题；我们也相信，持久的进步不仅来自于理解特定事件中发生了什么，更来自于理解失调（misalignment）最初是如何产生的，我们分享了这方面的初步研究（https://alignment.anthropic.com/2026/reward-seeker/）。 鉴于这些事件，关于前沿发展节奏的讨论日益增多。区分两种节奏是有帮助的。在公司内部，节奏意味着在安全与速度产生冲突时，优先考虑安全的一系列决策。在整个领域内，节奏意味着建立流程来防范“逐底竞争”（race-to-the-bottom）的动态。在本文中，我们将讨论我们在事件前后为服务第一种方法所采取的行动。第二种节奏需要政府和行业之间的协调，并且应当是清晰可验证的。我们的一些高级领导和许多员工最近签署了一封信，呼吁在发展节奏方面加强协调，我们将在未来几周内更多地说明我们打算如何为此做出贡献。明确我们的立场：我们相信，如果业界尽快采用合法、可验证、有效的协调节奏机制，将对全世界有益。 ## 保障评估和训练环境 尽管我们不认为这些事件仅仅代表操作问题，但我们的首要任务是解决具体的遏制和监控问题。我们采取了以下应对措施： ### **暂停并加固评估环境** 在事件发生后，我们暂停了对预发布模型的外部网络评估，同时也短暂暂停了内部评估，以便落实以下措施。我们7月30日报告的事件表明，我们过去主要依赖单一层面的防御（即环境本身的配置），而这本应需要多层防御，包括在提示中设定明确边界、建立流程以验证沙盒在需要时是封闭的，以及实施能够实时干预的监控。OpenAI的披露（https://openai.com/index/hugging-face-model-evaluation-security-incident/）（这促使我们在7月进行了调查）指出，模型在评估过程中利用未知漏洞逃出了封闭的沙盒，这同样明确表明我们应聚焦于加固沙盒本身。 在暂停评估期间，我们落实了以下初步措施： 1. 我们构建并部署了一个分类器，用于在模型试图积极探测或逃离测试环境，或意外获得互联网访问时，进行实时自动识别。当分类器标记此类尝试时，它会在工具调用执行前阻止该操作，终止任务，并向人类发出警报。1 2. 我们对近期预发布模型的内部评估记录（网络及其他方面）运行了自动监控，寻找沙盒逃逸（即模型利用沙盒漏洞访问应被隔离的系统）或沙盒配置错误的情况。在那些我们使用自有沙盒工具进行评估的案例中，未发现破坏沙盒边界以访问本不应接触的外部资源的实例。我们确实发现模型利用了各种沙盒配置错误，但这些都没有导致沙盒外部系统被破坏。2我们正在积极着手解决这些问题。 3. 我们将高风险3的内部网络沙盒迁移到更健壮的隔离环境。我们还进一步对我们虚拟化堆栈进行红队测试——即命令预发布模型尝试突破它——以发现并修补漏洞。 我们的内部网络评估现已在落实这些措施后重新启动。 ### **强化学习环境** 我们还暂停了预发布模型上较高风险的强化学习（RL）环境数周。在此期间，我们构建了一个类似的分类器，并进行了修改以避免激励模型规避此新监控，现已部署到这些环境中。大部分RL已经恢复，但一些高风险环境在经过人工审查前仍保持暂停状态，而其他环境则需要我们计划很快部署的分类器更新版本。 ### **更广泛的加固** 除了聚焦于高风险评估和训练的努力外，我们将离线监控扩展到覆盖大多数其他形式的内部前沿智能体（agentic）使用场景。我们还在内部推理上构建控制措施，以防止Anthropic员工意外运行那些缓解措施弱于上述描述的智能体。 ## 合作伙伴的最佳实践 由于报告的事件发生在第三方环境中，我们已要求每个使用**降低了网络安全防护的预发布模型**进行测试的组织，承诺遵守一套最佳实践。我们认为这些实践是必要的，因为： - 我们正式发布的模型附带防护措施——包括实时运行在Claude输入和输出上的分类器，以阻止恶意软件开发或攻击性漏洞利用编写等被禁止的网络活动。相比之下，网络评估者和一部分早期访问合作伙伴使用的模型，其防护措施已被降低，以便进行准确的模型能力测试和防御性网络工作。 - 网络评估异常容易产生在这些事件中观察到的行为。它们对持久性和创造性探测环境、绕过障碍产生了选择压力，并且被运行成千上万次。 这些实践完全适用于合作伙伴使用自己的测试工具（harness）、沙盒或智能体进行网络相关评估的场景。**它们不适用于使用像Claude Fable 5这样带有防护措施的模型的客户。**我们已依据这些实践恢复了外部网络评估，并在内部也遵守这些规范。 ### **沙盒和网络隔离** 默认情况下，所有网络评估应在加固的沙盒（一个隔离的计算环境）*内运行，且无互联网访问权限*。环境应允许的唯一外部连接是连接到模型自身的API，且API密钥应保存在环境之外。每次评估开始前应验证此配置。某些评估可能需要互联网访问。在这些情况下，我们在评估预发布模型时将与外部评估者合作，以确定我们是否能够可靠地检测并中止模型采取超出其声明范围行动的运行。 ### **前期验证** 在进行评估运行前，评估合作伙伴应： 1. 让被测试的模型探测沙盒漏洞，首先通过配置的静态分析，然后实际命令模型尝试逃逸。应指示模型在成功逃逸时停止并报告，所有这些应在密切的人类监督下进行。此测试应在无互联网访问的情况下执行，最好在第二个沙盒内进行。由于评估有时涉及数百甚至数千次运行，合作伙伴最好在开始任何评估之前充分进行此项测试。 2. 确认任何评估挑战在原理上是可解决的。当评估目标离线或任务无法完成时，智能体通常会寻找其他方式来完成挑战，这增加了他们采取超出预期评估范围行动的可能性。4 ### **明确范围设定** 每个提示都应说明演练的范围，包括目标、允许的操作以及网络边界（即模型应该和不应该访问什么）。边界应以指令形式表述（例如“你不应访问互联网”），而不是对环境或测试的陈述（“你没有互联网访问权限”）。 ### **实时监控** 评估者还应使用已被提供演练范围的模型或规则监控器，持续监控模型的思维、操作和网络活动。如果某次运行违反了此范围，监控器应向人类标记此情况并终止演练。 我们计划在与外部合作伙伴协商后继续完善此指南，并将其扩展到评估之外。特别是，我们正在为可访问Claude Mythos 5的合作伙伴制定配套实践规范（Claude Mythos 5同样在未启用网络安全防护的状态下运行），并将很快分享更多信息。 ## 对齐评估 遏制和监控对于发现模型采取危险行动至关重要，但它们并未解决模型*为何*首先采取此类行动的问题。下面我们将讨论我们初步的对齐调查及关注的问题，以及我们持续进行的防止训练中作弊的工作——包括关于作弊如何影响模型行为的新研究。 ### **评估期间模型的环境与知识状态** 我们的对齐评估仍在进行中，但初步调查指向两个主要的对齐失败，这两点我们在之前的系统卡（https://www-cdn.anthropic.com/57a52ea7d8f0e54e8a542e908266086df425cdf5/Claude%20Fable%205%20&%20Claude%20Mythos%205%20System%20Card.pdf）中都有描述。其一是动机推理：模型最初被告知其环境是模拟的，但当它们后来遇到连接到真实互联网的证据时，可能以某种方式解释了这些证据，从而维持了这一信念。其二是鲁莽：模型为了解决网络安全评估这一狭隘目标，愿意在真实互联网上采取有害行动。然而，我们也认为评估设置本身促成了模型在这些事件中展现的行为。Claude被明确告知没有互联网访问权限，尽管互联网是可用的，这可能导致它质疑所看到的系统是否真实。在一个案例中，虚构目标与真实网站同名，使得在演练范围内区分什么是预期的变得更为困难。 我们的结论依赖于几个尚未完全回答的问题，包括模型在多大程度上确定自己可以访问真实互联网（即使最初不知道），它们是否明知故犯地忽视了环境中某些元素是真实的迹象，以及在多个案例中它们未能停止演练是否源于动机推理。我们正在运用一系列技术来回答这些问题，包括在对环境进行针对性改变的同时重新采样模型，以及使用可解释性方法直接检查其内部状态。 ### **研究防止训练中作弊的努力** 尽管模型失调是复杂的，可能由多种原因引起，但我们通过经验发现，训练环境中的缺陷——特别是容易作弊的环境，或者如果不作弊就无法解决的环境——是导致失调行为的主要因素。 以下我们将讨论自事件发生前数月起，我们为避免具有此类缺陷的训练环境所做的努力。这些努力并不完美，我们的假设是这些事件至少部分与我们未能完全消除这类问题有关。我们通过故意在容易受到奖励黑客攻击（reward hacking）的环境中训练一个模型来检验这一假设。在模拟中，该模型再现了更严重的失调行为，其中一些与今年夏天其他公司报告的事件类似。而我们投入生产环境的模型，在相同模拟中则没有出现类似情况（本节稍后将详述）。 历史上，我们一直关注那些激励作弊的RL训练环境，并采取了各种措施来筛选或修复此类环境。 二月，我们在发现奖励黑客攻击的迹象（模型找到方法欺骗训练过程，在未完成指定任务的情况下获得奖励）后，回滚了Mythos Preview强化学习运行中三天的训练。我们注意到模型在其代码注释和回复中给“审查员”写便条，包括在从未提及审查员的任务中——这是对那些提示中包含审查员的环境的不良泛化。它还通过堆砌免责声明或限定条款来利用旨在激励诚实的奖励。5回滚这三天使我们能够从一个学习到此行为之前的检查点恢复训练，我们还对环境进行了修改，以防止模型再次学习到这些内容。 自Claude Sonnet 3.7（该版本有奖励黑客攻击的倾向，我们在训练后期才检测到）以来，我们一直在构建用于监控模型在RL中学习到的不良行为的工具。我们投入了大量精力确保工具随着每一代模型而发展，从少数几个分类器发展到对训练运行前后所有环境的自动化审查，但到2026年春季，该系统已不堪重负。我们生产RL环境的速度比以往任何时候都快，超过了我们系统审查它们的能力。被标记的环境需要人工仲裁，奖励黑客攻击和配置错误开始超出我们筛选或修复它们的能力。 此外，我们发现（https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf）有一小部分运行意外地在模型的思维链（chain-of-thought）上进行了训练——这是我们极力避免的事情，因为担心这会教会模型隐藏其真实推理过程。我们将此泄露追溯到我们生产环境堆栈中的几个配置错误。在此过程中，我们清楚地看到还有其他由随着时间累积的混乱代码所引发的问题。 为了解决这些担忧，我们在四月份冻结了所有对生产RL环境的更改，大约持续了...