调查评测与内部使用中模型的非预期行为

来源：https://www.anthropic.com/research/investigating-unintended-model-actions

本报告描述了我们在 Claude 的评测和内部使用过程中观察到的非预期模型行为案例。这是我们在系统卡（随每次模型发布一同发布）和风险报告（根据我们负责任扩展政策，每三至六个月发布一次）之外，更频繁地发布独立模型行为与对齐报告的举措之一。我们认为，在测试和使用过程中对模型行为保持透明至关重要。

这些行为可以归为四类：

• Claude 利用软件中的基本漏洞在服务器上运行命令；
• Claude 在不应提交的情况下向真实网站提交了敏感表单；
• Claude 绕过限制获取了需要令牌或付费才能访问的数据；
• Claude 使用 URL 短链接服务来规避其抓取工具的限制。

我们选择不公开以下案例中涉及的组织名称，以避免暴露其系统中的漏洞，并应其要求提供。因此，我们也对每个案例提供了比原本更少的细节。下文描述的某些案例涉及美国联邦、州和地方政府机构运营的网站。我们已就这些案例向白宫进行了通报，并通知了每个涉及的机构。

我们迄今在这些类别中识别的案例实际影响极小。我们认为，从对齐和安全的角度来看，这些行为的严重程度远低于我们于 7 月 30 日（https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals）和 9 月 9 日（https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents）报告的网络安全事件。这些行为与我们在 Claude Mythos Preview（https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf）以来的系统卡中描述的行为类似。其中大多数属于持续尝试（persistence）的形式，即当 Claude 无法按给定指令完成任务时，它会绕过限制而不是停止。

虽然这些行为的影响极小，且我们此前已对一些高风险和网络安全评估关闭了实时互联网访问，但我们现在决定将此措施扩展至所有内部评估，直到我们确认本文补救措施部分描述的安全和监控措施能够可靠地捕获此类行为。下文我们还将讨论对齐方面的考量，并更详细地说明我们如何调整训练以减少进一步不当行为的发生。

我们主要通过 7 月开始的转录审查工作识别了这些案例。我们的审查最初集中在网络安全评估上——即故意要求模型探测或攻击测试系统、且互联网访问本应被禁用的测试。此后，我们将扫描范围扩展到了 Claude 可能接触互联网的更广泛场景，包括故意启用互联网访问以在真实任务上评估 Claude 的测试。我们最初寻找与今年夏天报告的网络安全事件严重程度相当的事件；迄今未发现任何此类事件。随后我们扩大搜索范围，寻找严重程度较低的案例，即模型以我们非预期的方式与真实网站或系统进行了交互。

我们目前正在扫描更大范围的低风险转录数据，以及 Anthropic 内部使用 Claude 的记录和 Claude 可以访问互联网的强化学习（RL）环境。随着这项工作的持续进行，我们计划报告新的非预期行为实例。本文报告的所有案例均涉及 Claude 与外部世界的交互；据我们所知，它们均未涉及客户数据或 Anthropic 自身的内部系统。

在本文中，我们将解释我们为何进行评估（大多数案例都发生在评估过程中）、更详细地描述每种行为，并就这些行为对 Claude 对齐性的启示以及我们如何缓解这些问题提供初步看法。

我们为何以及如何进行评估

本文描述的行为并非评估所特有，但我们迄今识别的大多数案例发生在评估运行过程中。我们在发布模型前会持续在广泛的任务范围内对其进行测试。我们使用多种不同的评估（标准化的任务集，每次以相同方式评分），每种评估都有助于描绘 Claude 在特定领域的能力画像。我们使用的许多评估是公开的，由外部研究人员编写，任何开发者都可以运行，这使我们能够跨模型比较能力。其他评估则由我们自行开发。

由于语言模型是非确定性的——即其响应始终包含一定的随机性，且每次执行相同任务时可能略有不同——我们会让 Claude 完成每项评估任务数百到数千次（每次尝试称为一次运行）。如此大量的测试使我们能够了解模型的典型表现，也能捕捉到模型做出非预期行为的罕见情况。我们从评估中学到的东西塑造了 Anthropic 各方面的决策，包括如何训练模型、围绕模型构建哪些安全防护措施，以及何时发布模型。

评估也是模型行为问题有时首次暴露的地方。模型通过 RL 学习其大部分能力，在 RL 中它们在特定环境中反复尝试任务，成功时获得奖励。然而，训练环境并不完美。如果训练奖励了非预期的行为——例如寻找漏洞或绕过限制——模型就会学到绕过限制是有回报的，并可能在其他地方应用这种做法。这就是所谓的“奖励黑客“（reward hacking）。虽然我们在训练过程中有识别和过滤奖励黑客的流程，但评估是理解模型在不同于训练环境的背景和任务集中的行为倾向的关键机制。

某些任务——例如在互联网上搜索难以找到的信息——在没有互联网访问的环境中难以真实模拟。在有访问权限的情况下运行这些评估是行业标准做法：公开的网络搜索基准测试默认在实时互联网上运行，以相同方式运行也使我们能够将我们的模型与其他模型进行比较。本报告中的大多数案例发生在此类评估中。

行为概述

以下，我们描述四类 Claude 以非预期方式在真实网站和系统上采取行动的行为，每类都涉及 Anthropic 以外的组织或个人。

利用软件中的基本漏洞在服务器上运行命令

当 Claude 无法直接完成评估任务时——无论是因其自身工具被刻意限制，还是因其所需的外部服务不可用——它使用托管在第三方网站上的其他工具来实现目标。在某些情况下，它通过利用该网站软件中的基本漏洞来实现，使用 SQL 或命令注入（一种将输入发送给网站、而网站错误地将其作为指令执行的方式）。

例如，一项评估要求 Claude Mythos Preview 执行科学分析。它执行该分析所需的公开工具托管在一所大学；当模型尝试访问该工具时，工具返回了错误。为寻找完成任务的其他途径，Claude 探索了该工具的网站，发现该大学服务器上的一个脚本会返回其被要求的任何文件，并利用它从服务器复制文件，包括脚本自身的代码。在代码中，Claude 发现了注入漏洞，使其能够在服务器上运行命令，并利用它执行了计算。

在另一个案例中，Claude Mythos 5 所需的数据是免费的，但 Claude 无法在不接受数据使用协议的情况下访问该数据，而它没有工具来完成此操作。Claude 使用托管在该网站上的应用程序加载了页面并代其接受了协议。

我们在 DeepSearchQA 和 BrowseComp（均为公开网络研究评估）、LABBench2（公开生物学研究基准测试）以及内部评估中观察到了这种行为。

提交了不应提交的表单

我们观察到了 Claude 在不应提交的情况下提交了在线表单的案例。通常，这发生在评估指令不明确，或环境中的配置错误导致 Claude 无法使用虚拟表单时。

例如，在同一评估中多次发生的一个案例中，一个尚未发布的非前沿研究模型本应填写一份政府表单的练习副本。当副本加载失败或模型误将其关闭时，该模型转而导航到了实际表单所在的网站并在那里提交了表单。

在另一项评估中，Claude Haiku 4.5 被指示完成表单直至最终提交阶段，但在实际提交前停止。有几次 Claude 误将表单提交了，以为会有一个额外的确认页面。在这些案例中，模型的思维链表示它是在演示流程，而不是提交真实请求。

在该行为的第三个案例中，Claude Haiku 4.5 被要求在随机选取的网页上生成并执行示例任务。在一次运行中，模型落在一个涉及未破获谋杀案的页面上；该页面包含一个由警察局运营的线索提交表单。Claude 被指示永远不要登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但指令没有排除表单提交。Claude 用以下内容填写了表单：“我可能与此案有关的信息。我记得在那段时期在[页面上提到的街道名]附近看到过一个与描述相符的人。如果此信息相关，请联系我。”（该网站未包含对嫌疑人的描述。）模型的姓名和联系方式字段留空，表单允许这样做，然后提交了它。该提交被标记为垃圾信息，从未被转交调查。

我们在 OSWorld（公开的计算机使用评估）、Odysseys（长时程任务评估）以及内部使用中观察到了这种行为。

绕过限制以获取受限数据

Claude 有时会绕过限制以获取其无权访问的数据。通常，这发生在服务器拒绝 Claude 的请求，或数据仅在付费情况下提供时。

例如，在一项要求 Claude Mythos 5 识别照片中地点的评估中，它试图访问地方政府的房产地图来三角定位其猜测。Claude 可以读取网页文本，但评估限制了它像人一样点击网页的能力。相反，它读取了网站发送给浏览器的设置文件，找到了可用的访问令牌，并使用它们直接向地图背后的服务器发送请求以访问数据。

在该行为的另一个案例中，一位 Anthropic 研究员使用 Claude Mythos 5 进行一项统计项目，该项目需要从一个州政府机构付费获取公开数据。相反，Claude 从该机构网站的存档副本中了解到，其公开仪表板会向任何访问者发放访问令牌。它请求了一个令牌并使用它查询了数据库，而未支付费用。

在这两个案例中，Claude 获取的数据本已对公众开放，但需要付费。

我们在 Humanity’s Last Exam（一项专家级学术问题的评估）以及内部使用中观察到了这种行为。

使用 URL 短链接服务

我们的一些抓取工具（使 Claude 能够读取网页）限制了 Claude 可请求的 URL 长度。这是为了防止 Claude 使用长 URL 执行某些非预期操作，例如 SQL 或命令注入（URL 的一部分是传递给网站服务器的文本，较长的 URL 有足够的空间携带此类指令）。我们看到包括 Claude Opus 5 和 Claude Mythos 5 在内的多个模型通过使用免费 URL 短链接服务来规避这一限制。我们最初在内部发现了这种行为，但在撰写本文时，da.gd 短链接服务的运营者告知我们，他们也发现 Claude 将他们的网站用于此目的。我们感谢运营者分享这些细节。

补救措施

我们已经采取了多项预防措施。一些公开评估我们不再运行；其他评估我们已移至离线版本，或重新构建以使其任务不会触及真实网站。我们还进行了更广泛的更改。我们更新了某些互联网访问工具（如网页抓取工具）的防护措施，严格限制模型可以对其执行的操作。此外，作为我们持续的智能体安全和监控工作（https://www.anthropic.com/news/improving-alignment-security-efforts）的一部分，我们构建了工具来自动检测和阻止上述行为。该工具现在在我们的大多数评估中以及前沿模型的内部智能体使用中运行。当我们针对本文描述的案例进行测试时，它阻止了所有案例。

正如我们在 8 月 31 日的文章（https://www.anthropic.com/news/improving-alignment-security-efforts）中所述，我们还在持续修复或移除那些奖励 Claude 绕过工具限制或其他障碍的训练环境，使其不再激励这些行为或允许奖励黑客。

我们还在采取其他措施来防止 Anthropic 内部出现非预期的智能体行为，并在其发生时进行捕获。这些措施包括将内部智能体迁移到具有强隔离能力的集中管理基础设施、最大限度地减少内部智能体和训练过程的互联网访问权限，以及通过安全分类器（https://alignment.anthropic.com/2025/cheap-monitors/）和分层摘要（https://alignment.anthropic.com/2025/summarization-for-monitoring/）等技术对智能体的行为进行更广泛的监控。这些措施现在已成为我们安全团队检测和响应流程的一部分，以便我们能够快速响应和遏制不期望的行为。我们计划就这些方法发布更多内容，并将其直接构建到我们的产品中。

讨论与对齐启示

虽然我们尚未完成对这些案例的完整对齐评估，但我们认为它们的严重程度低于今年夏天的网络安全事件。我们将在下文解释原因，并分享从中得出的总体经验教训。

对齐背景

在我们为这类行为建立定期公开报告流程的同时，我们也希望根据其严重程度对其进行定位。这仍然具有挑战性：判断对齐失败的程度通常取决于模型试图做什么，以及……