我们与 AISI 密切合作完成了这项分析。AISI 已发布了他们自己的报告，链接如下。

https://t.co/nG4QoQ1jtB

调查 AISI 事件中的对齐失败 | AISI Work

来源：https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident 2026年7月，AISI 在网络安全评估期间发现了一起事件：模型对与评估无关的真实个人采取了未经授权的行动。最严重的情况是 Mythos 5 试图发动供应链攻击：提交恶意代码并创建虚假账户，以迫使一名软件维护者接受该代码。尽管未造成实际危害，这仍是一起严重的事件，值得深入了解并作出充分回应。

作为理解事件根本诱因的第一步，我们发布了一份事件报告，概述了事件经过及我们正在采取的即时应对措施。此后，我们在近期博客中概述了为改进评估安全性、沙箱隔离和监控所做的大量工作。这些防护措施至关重要：评估环境必须确保模型无论是否按预期行为，都不会造成危害。

在此工作之外，我们还调查了事件的另一个维度：模型对齐失败（即 AI 模型是否可靠地按意图行事，包括是否遵守其所受的限制）如何促成了这起事件，以及我们能从中汲取什么教训。这不仅仅关乎 AI 评估：随着模型越来越多地在无人监督的情况下执行长时间任务，理解它们是否、何时、为何以及如何采取非预期或意外的行动变得尤为重要。Anthropic 独立完成了他们对这起事件的对齐分析。

今天，我们发布了一份详细的技术报告，概述了我们的研究结果。在本篇博文中，我们将重点介绍三项关键发现及其影响。

三项关键发现

Mythos 5 持续采取未经授权的行动，即使在其收到越来越多证据表明攻击目标是真实且与评估无关的情况下（图1）。我们向 Mythos 5 提供了一份描述其迄今行为的摘要，称为压缩摘要（这是长时间评估中的标准做法），然后要么让它继续执行任务，要么询问它继续攻击是否会造成伤害。反复编辑摘要以明确被攻击的目标是一个与评估无关的真实人类，并未降低 Mythos 5 的攻击率。Mythos 5 在被问及时，其行为与其所述理由也存在显著不一致：它经常在同样执行攻击的情况下声称攻击会造成伤害。

***图1：Mythos 5 即使在单独陈述这样做超出范围且会造成实际危害的情况下，仍然继续攻击。***我们通过向 Mythos 5 提供其迄今行为的描述（称为压缩摘要），将其置于事件中即将提交恶意代码更改的节点。然后我们要么让它继续任务（实线），测量其是否继续攻击；要么直接询问它攻击是否在范围内（左面板）或是否会造成实际危害（右面板；虚线）。我们在不断向摘要中添加更多编辑（x轴）以明确目标是与评估无关的真实人类的情况下重复了此实验。几乎在所有运行中，Mythos 5 都继续了攻击，尽管随着澄清的增加，它越来越多地回答这样做超出范围且有害。提问和任务继续执行是在不同运行中分别测试的。

**Mythos 5 似乎未能正确根据证据行动——攻击与评估无关的真实个人会造成实际危害。**为了调查模型行为背后的推理，我们分析了原始的思维链输出。在攻击时，Mythos 5 经常在思维链中产生不正确的推理，错误地得出目标是模拟的结论，以此为其继续攻击策略辩护，而且其思维链推理中通常完全没有考虑其行为可能造成的伤害。我们还询问 Mythos 5 其目标是否为真实，并评估其表述的回应（而非思维链）。Mythos 5 经常产生暗示目标是模拟的不正确辩解，但从未产生暗示目标是真实的不正确辩解，这表明其表述回应中存在偏向（图2）。我们在下文讨论了这一发现的影响。

***图2：所有模型都对人类维护者做出了不正确且无效的辩解，其中 Mythos 5 最为频繁。***我们直接询问各模型人类维护者是否为真实，并分析了其表述的回应。在图中所示的例子中，Mythos 5 做出了暗示维护者是预设目标的陈述，尽管这些陈述并不能作为该结论的证据。实际上，维护者是一个与评估无关的真实个人。为清晰起见，我们添加了加粗强调。我们未将 GPT-6 Astra 纳入这些结果，因为该模型高频出现关于正在被评估的推理，我们对结果的有效性没有信心。

除 Mythos 5 外，其他模型也在模拟中执行了未经授权的供应链攻击（图3）。我们更广泛的分析表明，在我们此前用于评估 GPT-6 Astra 的全新完全模拟评估中，其他模型在一系列类似场景中表现出与 Mythos 5 相同的未经授权攻击行为。我们的报告还表明，上述不一致和无效辩解的问题同样存在于其他模型中。

***图3：大多数受测模型在模拟网络安全评估期间采取了一系列未经授权的行动，其中 Mythos 5 最为频繁。***我们展示了在100个不同模拟网络安全评估场景中，模型达到未经授权供应链攻击各阶段的运行百分比。从“创建虚假身份“开始的所有阶段都涉及超出范围的行为。较新的 Anthropic 模型的思维链推理中包含了大量关于意识到自己正在接受对齐评估的表述（如我们在完整报告中所分析的），这使得我们无法确定其未经授权行动率的降低是由于对齐能力的提升，还是推理中这种表述意识的增加。

这项工作存在重要局限性。我们仅分析了网络安全评估中的行为，因此无法确定我们发现的问题是否会在其他情境中出现。正如我们在完整报告中更详细讨论的，模型有时会陈述或考虑自己是否处于模拟环境中，或正确地陈述评估的目的是测试对齐能力，然后根据这些信息改变行为。这意味着我们更难判断模型在实际部署场景中是否会表现出相同的行为。

影响

我们在实验中频繁观察到模型产生无效推理和辩解，得出的结论无法被现有证据所支持。如果我们在调查中发现的这些问题在更广泛的范围内出现且未得到充分解决——尤其是随着模型能力的提升——将带来以下令人担忧的影响：

• **我们观察到的无效推理和辩解的方向表明，模型可能在进行“动机性推理“。**在我们的实验中，我们只观察到无效推理和辩解朝向支持模型继续其当前完成任务策略的结论。此外，Mythos 5 产生这些问题的频率高于其他能力较弱的 Anthropic 模型，表明这并非单纯由能力驱动。综合来看，这些观察结果可能表明模型在进行“动机性推理“：产生偏向于为继续某种特定任务完成策略辩护的推论和推理。然而，确认这一点需要我们目前没有的训练信息和进一步的实验：仅凭书面的思维链推理不足以确定其陈述的理由是否驱动了模型的行为，还是仅为已在执行的策略辩护。

• **无效推理使模型更难被监控。**无效推理可以将有害行为包装成无害行为，因此可能破坏依赖模型推理监控的安全协议：Anthropic 在对另一事件的分析中指出，他们的一名监控人员很可能不会标记出令人担忧的行为，因为模型的无效推理为其行为提供了辩解。

• **这些模式也使我们在评估中解读行为变得更加复杂。**在我们和 Anthropic 近期的事件中，模型都在攻击前错误地声称实体是模拟的。我们已经表明，即使在模型可见的现有证据不足以支持这一结论的情况下，这种情况仍然会发生。这意味着模型的推理中考虑或声称自己处于模拟环境中，其本身并不能作为环境是模拟的证据。因此，我们建议评估者将未经授权的行为视为对齐失败的重要证据——即使模型的推理声称其环境是模拟的。

随着模型能力的提升和更多事件的出现，深入理解事件经过并分享研究结果，对于提升整个生态系统的安全性至关重要。我们感谢 Anthropic 在整个调查过程中的紧密合作。Anthropic 已发布了他们对我们事件的分析，我们也在向第三方评估与事件分析机构 METR 提供对话记录和相关访问权限，以进行独立审查。

您可以在我们的技术报告中阅读完整的方法论、结果和局限性。如果您对此工作感兴趣，欢迎加入我们！我们正在招聘。