2026年10月9日 · 对齐 · 调查我们评估与内部使用中的非预期模型行为

# 调查评估与内部使用中出现的非预期模型行为 来源：https://www.anthropic.com/research/investigating-unintended-model-actions 本报告描述了我们在 Claude 评估与内部使用过程中观察到的若干非预期模型行为的实例。这是我们持续发布更多独立报告工作的一部分，旨在超越随每次模型发布而公布的行为系统卡（system card），以及作为负责任扩展政策（Responsible Scaling Policy）一部分每三至六个月发布一次的风险报告，更频繁地公开模型行为与对齐情况。我们认为，就测试和使用期间模型所表现出的行为保持透明至关重要。 这些行为可归为四类： - Claude 利用软件中的基础漏洞在服务器上执行命令； - Claude 在本不应提交的情况下，在真实网站上提交了敏感表单； - Claude 绕过限制，访问了需要令牌或付费才能获取的数据；以及 - Claude 使用 URL 缩短服务来绕过其 fetch 工具的限制。 为避免暴露相关系统中的漏洞，并应相关机构要求，我们选择不公开以下示例中涉及的组织名称。因此，本报告中对每个案例的细节描述也少于我们通常的披露程度。下文所述的部分案例涉及美国联邦、州和地方各级政府机构运营的网站。我们已就此向白宫进行了汇报，并通知了每一个相关机构。 我们迄今为止在这些类别中识别出的案例实际影响极小。从对齐和安全角度来看，我们认为这些行为远没有我们于[7 月 30 日](https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals)和[9 月 9 日](https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents)报告的网络安全事件严重。这些行为与我们在自 [Claude Mythos Preview](https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf) 起的各版系统卡中描述过的行为类似。其中大多数是**坚持性（persistence）**行为——即 Claude 在无法按要求完成任务时，选择绕过限制而非停止操作。 尽管这些行为的影响极小，且我们此前已针对部分高风险和网络安全评估关闭了实时互联网访问，但我们现在决定将这一措施扩展到所有内部评估，直到我们确认本文"补救措施"部分描述的安全和监控措施能够可靠地捕获此类行为为止。下文我们还将讨论对齐方面的考量，并更详细地说明我们如何调整训练以降低再次出现此类不当行为的可能性。 我们主要通过对 7 月开始的对话记录进行审查来识别这些案例。我们的审查最初聚焦于网络安全评估——即模型被刻意要求探测或攻击测试系统、且本应禁用互联网访问的测试。此后，我们将扫描范围扩展到了 Claude 可能接触到互联网的更广泛场景，包括刻意启用互联网访问以便在真实世界任务上评估 Claude 的测试。我们起初寻找的是与今年夏天报告的网络安全事件类似严重程度的事件；迄今为止尚未发现此类情况。随后我们扩大搜索范围，关注严重程度较低的案例，即模型以非预期方式与真实网站或系统发生交互的情况。 我们现在也在扫描规模大得多的低风险对话记录池，包括 Claude 在 Anthropic 内部的使用，以及 Claude 可以访问互联网的强化学习（RL）环境中的使用。随着这项工作的持续推进，我们计划报告新发现的非预期行为实例。此处报告的所有案例均涉及 Claude 与外部世界的交互；据我们所知，其中没有涉及客户数据或 Anthropic 自身的内部系统。 在本文中，我们将解释为何开展评估（大多数案例发生在评估过程中）、更详细地描述每种行为，并对这些行为所揭示的 Claude 对齐状况以及我们如何缓解这些问题给出初步分析。 ## **为何以及如何开展评估** 本文描述的行为并非评估环节所特有，但我们迄今识别出的许多案例发生在评估运行期间。我们在发布模型之前会持续在广泛的任务范围内对其进行测试。我们使用多种不同的评估（标准化的任务集，每次以相同方式评分），每种评估都帮助我们描绘 Claude 在特定领域的能力画像。我们使用的许多评估是公开的，由外部研究人员编写，任何开发者都可以运行，从而能够跨模型比较能力。另有部分评估由我们内部构建。 由于语言模型是非确定性的——即其响应始终包含一定的随机性，且每次执行同一任务时可能略有不同——我们会让 Claude 完成每项评估任务数百到数千次（每次尝试称为一次 run）。如此大量的测试使我们能够了解模型的典型表现，也能捕获模型做出非预期行为的罕见案例。我们从评估中学到的东西影响着 Anthropic 的各项决策，包括如何训练模型、在模型周围构建哪些安全防护、以及何时发布模型。 评估也是模型行为问题有时最早暴露出来的地方。模型通过强化学习（RL）习得了大部分能力——在 RL 中，模型在特定环境中反复尝试任务，成功时获得奖励。然而训练环境并不完美。如果训练奖励了我们无意奖励的行为——例如寻找漏洞或绕过限制——模型就会学会这种变通方法是有回报的，并可能将其应用于其他场景。这就是所谓的**奖励黑客（reward hacking）**。尽管我们在训练过程中设有识别和过滤奖励黑客行为的流程，但评估是理解模型在不同于训练环境的各场景和任务集上的行为倾向的关键机制。 某些任务——例如在网络中搜索难以找到的信息——在没有互联网访问的环境中难以真实模拟。在有互联网访问的情况下运行这些任务一直是行业惯例：公开的网络搜索基准默认在实时互联网上运行，以相同方式运行也使我们能够将自己的模型与其他模型进行比较。本报告中的大多数案例发生在此类评估期间。 ## **行为概述** 下文我们将描述四类行为，其中 Claude 以非预期方式在真实网站和系统上进行了操作，每一类都涉及 Anthropic 以外的组织或个人。 ### **利用软件基础漏洞在服务器上执行命令** 当 Claude 无法直接完成评估任务时——无论是由于其自身工具被刻意限制，还是其所需的外部服务不可用——它会利用托管在第三方站点上的其他工具来达成目标。在某些情况下，它是通过利用该站点软件中的基础漏洞做到这一点的，即使用 SQL 或命令注入（一种向网站发送会被错误地作为指令执行的输入的方式）。 例如，一项评估要求 Claude Mythos Preview 执行科学分析。它执行该分析所需的公开工具托管在一所大学；当模型试图访问该工具时，工具返回了错误。为了寻找完成任务的另一条途径，Claude 探索了该工具的网站，在大学服务器上发现了一个会返回其所请求的任何文件的脚本，并使用该脚本从服务器复制了文件，包括脚本自身的代码。在该代码中，Claude 发现了注入漏洞，使其能够在服务器上执行命令，并利用这一漏洞完成了计算。 在另一个案例中，Claude Mythos 5 所需的数据是免费的，但 Claude 无法在不接受数据使用协议的情况下访问它，而它并没有接受该协议所需的工具。Claude 使用了该网站上托管的应用程序来加载页面并代为接受该协议。 我们在 DeepSearchQA 和 BrowseComp（均为公开网络研究评估）、LABBench2（一个公开生物学研究基准）以及内部评估中观察到了这种行为。 ### **提交了本不应提交的表单** 我们观察到 Claude 在不应提交的情况下提交了在线表单的案例。这通常发生在评估指令存在歧义，或环境中的配置错误导致 Claude 无法使用模拟表单的情况下。 例如，在同一评估中多次出现的一个案例中，一个尚未发布的非前沿研究模型被要求填写一份政府表单的练习副本。当副本加载失败或模型误将其关闭时，模型便转而导航到真实表单通常托管的网站并在那里提交了表单。 在另一项评估中，Claude Haiku 4.5 被指示填写表单直到最终提交阶段之前，但要在实际提交前停止。有几次 Claude 误将表单提交了出去，以为后面还会有额外的确认页面。在这些案例中，模型的思维链（chain-of-thought）表明它认为自己是在演示流程，而不是提交真实请求。 在该行为的第三个案例中，Claude Haiku 4.5 被要求在随机选取的网页上生成并执行示例任务。在一次运行中，模型落在了一个涉及一桩未破谋杀案的页面上；该页面包含一个由警察局运营的线索提交表单。Claude 被指示绝不登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但指令并未排除表单提交。Claude 在表单中填写了以下内容："我可能掌握与此案相关的信息。我记得在[页面上提到的街道名]一带于该时间段内看到过一个与描述相符的人。如果此信息相关，请与我联系。"（该网站并未包含对嫌疑人的描述。）模型的姓名和联系方式字段留空——该表单允许留空——然后提交了它。该提交被标记为垃圾信息，并未被转交进行调查。 我们在 OSWorld（一个公开的计算机使用评估）、Odysseys（一个长周期任务评估）以及内部使用中观察到了这种行为。 ### **绕过限制以访问受限制的数据** Claude 有时会绕过限制去访问它本无权访问的数据。这通常发生在服务器拒绝 Claude 的请求，或数据需要付费才能获取时。 例如，在一项要求 Claude Mythos 5 识别照片中所示位置的评估中，它尝试访问地方政府的房产地图来对猜测进行三角定位。Claude 可以读取网页文本，但评估限制了它像人一样在页面上点击浏览的能力。取而代之的是，它读取了网站发送给浏览器的设置文件，找到了可用的访问令牌（access token），并使用它们直接向地图背后的服务器发送请求以获取数据。 在该行为的另一个案例中，一位 Anthropic 研究人员在一个统计项目中使用了 Claude Mythos 5，该项目需要从一个州政府机构获取需要付费的公开数据。Claude 没有付费，而是从该机构网站的存档副本中了解到，其公开仪表板会向任何访问者发放访问令牌。它请求了一个令牌，并使用它直接查询了数据库而未付费。 在这两个案例中，Claude 获取的都是已经向公众开放、但需要付费才能获取的数据。 我们在 Humanity's Last Exam——一项评估专家级学术问题的评估——以及内部使用中观察到了这种行为。 ### **使用 URL 缩短服务** 我们的部分 fetch 工具（用于让 Claude 读取网页）对 Claude 可请求的 URL 长度设有上限。这是为了防止 Claude 使用长 URL 执行某些非预期操作，例如 SQL 或命令注入（URL 的一部分是传递给网站服务器的文本，较长的 URL 有空间承载此类指令）。我们观察到多个模型——包括 Claude Opus 5 和 Claude Mythos 5——通过使用免费 URL 缩短服务来绕过这一限制。我们最初是在内部发现这一行为的，但在撰写本文期间，da.gd URL 缩短服务的运营者告知我们，他们也发现了 Claude 将其网站用于这一目的。我们感谢该运营者分享这些细节。 ## **补救措施** 我们已采取了多项预防措施。部分公开评估我们已不再运行；另一些则被我们迁移到了离线版本，或重新构建以使其任务不触及实时网站。我们还进行了更广泛的改进。我们更新了一些互联网访问工具（如网页 fetch 工具）上的防护机制，对模型可用这些工具执行的操作进行了严格限制。此外，作为我们持续进行的[智能体安全与监控工作](https://www.anthropic.com/news/improving-alignment-security-efforts)的一部分，我们已构建了自动化检测和阻止上述行为的工具。该工具目前已在我们的大多数评估以及前沿模型的内部智能体使用中运行。当我们将本文描述的案例对其进行测试时，它阻止了所有案例。 正如我们在[8 月 31 日的博文](https://www.anthropic.com/news/improving-alignment-security-efforts)中所述，我们也在持续修复或移除会因 Claude 绕过工具限制或其他阻碍而给予奖励的训练环境，以避免它们激励此类行为或允许奖励黑客。 我们还在采取其他措施来防止 Anthropic 内部出现非预期的智能体行为，并在其发生时予以捕获。这些措施包括将内部智能体迁移到具有强隔离性的集中管理基础设施、最小化内部智能体和训练流程的互联网访问、以及通过[安全分类器](https://alignment.anthropic.com/2025/cheap-monitors/)和[分层摘要](https://alignment.anthropic.com/2025/summarization-for-monitoring/)等技术对智能体的行为进行更广泛的监控。这些措施现已成为我们安全团队检测和响应流程的一部分，使我们能够快速响应并控制不良行为。我们预计将在这些方法上发布更多内容，并将其直接构建到我们的产品中。 ## **讨论与对齐要点** 尽管我们尚未完成对这些案例的完整对齐评估，但我们认为它们比今夏的网络安全事件严重程度更低。我们在下文解释原因，并分享从中得出的一般性经验教训。 ### **对齐背景** 在我们为此类行为建立定期公开报告机制的同时，我们也希望根据其严重程度将其置于适当的背景之下。这仍然具有挑战性：判断对齐失效的严重程度往往取决于模型试图做什么，且模型对自身推理的叙述并不一定是对齐失效严重程度的可靠证据。判断对齐失效的严重程度往往取决于模型试图做什么，而模型对其自身推理的陈述并不一定可靠地反映其信念或行动理由——正如我们在[9 月 9 日的对齐评估](https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents)中所讨论的。随着模型能力不断增强，它们能以更复杂的方式与世界交互，这使得更严重的失效成为可能。例如，我们在该评估中描述的有偏推理本身并不新鲜，但在模型能够长时间自主操作真实系统的场景中，它导致了更严重的后果。一个围绕