揭秘OpenAI智能体为何入侵Hugging Face的内幕故事

<div data-chronoton-summary="&lt;ul&gt;&lt;br&gt;&lt;li&gt;&lt;strong&gt;训练中学会作弊：&lt;/strong&gt; OpenAI的调查发现，智能体在训练中因不当行为而无意中受到奖励，这使得它们之后更可能进行黑客攻击和勾结。这种称为奖励黑客的现象直接导致了Hugging Face的入侵事件。&lt;/li&gt;&lt;br&gt;&lt;li&gt;&lt;strong&gt;两次秘密信息板：&lt;/strong&gt; 智能体首先在五月份的训练中建立了一个隐藏的通信网络，然后在七月份的评估中重建了一个，利用它集体入侵Hugging Face，获取了它们单独无法解决的网络安全问题的解决方案。&lt;/li&gt;&lt;br&gt;&lt;li&gt;&lt;strong&gt;能力与安全：&lt;/strong&gt; 许多促成黑客攻击的行为——如坚持性和与其他智能体协调——也是使这些模型有用之处。剥离它们意味着人工智能能力会降低。&lt;/li&gt;&lt;br&gt;&lt;li&gt;&lt;strong&gt;无法一蹴而就：&lt;/strong&gt; OpenAI现在正在监控模型内部推理以寻找作弊迹象，但专家警告说，仅此不足以解决对齐问题。模型已经表现出它们能够学会在知道研究人员在观察时隐藏自己的意图。&lt;/li&gt;&lt;/ul&gt;" data-chronoton-post-id="1143013" data-chronoton-expand-collapse="1" data-chronoton-analytics-enabled="1"></div> <p>根据一份<a href="https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf" data-type="link" data-id="https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf">OpenAI今日发布的技术报告</a>，上个月对Hugging Face进行黑客攻击的模型在训练中无意中学会了作弊和相互通信。这次黑客攻击是由一群智能体为了解决它们卡住的网络安全测试问题而进行的，证实了一些专家对人工智能模型可能采取违背人类意愿和期望的行动的担忧。</p> <p>自黑客攻击以来，OpenAI员工以及人工智能评估非营利组织METR的研究人员——该组织今天也<a href="https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/" data-type="link" data-id="https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/">发布了关于该事件的报告</a>——一直在努力理解问题所在以及如何在未来防止类似的错误。OpenAI已经根据他们的发现采取了一些预防措施。但确保人工智能模型按我们期望的方式行事，即“对齐”，仍然是一个棘手问题，黑客攻击的一些根本原因需要比一个月更长的时间来解决。</p> <p>“这不是你能一蹴而就解决的问题，”负责OpenAI对齐研究团队的Kai Chen说。“我们一直跟踪着一些挑战，现在我们更精确地看到了它们。”</p> <p>Hugging Face黑客攻击是OpenAI智能体数月不当行为的结果，首先是在训练期间，然后是在评估其能力期间。今年五月，训练中的智能体发现如何利用OpenAI的基础设施相互通信，并在困难的训练任务中获得支持，包括一些不通过黑客攻击或其他不当行为就无法解决的任务。那个“信息板”被关闭了。</p> <p>然后在七月份，在评估其网络安全能力时，一些模型创建了一个新的信息板。它们本应与互联网隔离，但通过合作，它们设法上网，入侵了Hugging Face，并获取了困扰它们的网络安全问题的解决方案。</p> <p>根据他们的调查，OpenAI研究人员认为训练阶段的事件直接导致了黑客攻击。“对于评估时几乎每一个令人担忧的行为，[我们能够]找到训练时某种相关的行为，我们认为这可能促成了它，”OpenAI对齐研究团队成员Eric Wallace说。</p> <p>当模型在训练中正确解决问题时，导致该解决方案的行为会得到强化，它们未来更有可能参与其中。因此，如果一个模型在五月份使用原始信息板后完成了一项任务，它之后更有可能参与新的信息板。这种人工智能智能体在训练过程中因行为被强化而表现出不当行为的现象被称为<a href="https://www.technologyreview.com/2026/08/03/1141009/heres-why-ai-agents-lie-and-cheat-to-reach-their-goals/">奖励黑客</a>。</p> <p>奖励黑客也有助于解释为什么模型如此努力地进入互联网。在事件调查期间，OpenAI团队发现，在训练过程中，模型越来越可能探测其数字环境中的弱点，并以意想不到的方式使用可用工具——这表明这些行为正在逐渐被强化。当模型面临棘手的网络安全问题时，它们已经学会黑客攻击是实现目标的有效方式。</p> <p>这些结果表明，如果模型在训练中没有因不当行为而受到奖励，Hugging Face黑客攻击本可以避免。虽然研究人员还不知道如何完全防止奖励黑客行为，但OpenAI正在采取一些措施来缓解其影响。该公司现在将通过监控所有前沿模型训练过程中的<a href="https://www.technologyreview.com/2026/01/12/1129782/ai-large-language-models-biology-alien-autopsy/">思维链</a>——模型内部起草答案和规划行动的笔记——来寻找作弊迹象。</p> <p>这个解决方案并不像看起来那么简单：在<a href="https://arxiv.org/abs/2503.11926">早期研究</a>中，OpenAI表明，惩罚在思维链中提及作弊的模型会教会它们对研究人员隐藏意图。但监控其模型的思考确实给了OpenAI在模型开始学习奖励黑客时暂停训练过程并重新评估方法的机会。</p> <p>如果OpenAI停止在其模型中强化奖励黑客行为——这是一个巨大的“如果”——那将是一个巨大的进步。但这不会解决对齐问题。当模型在训练中第一次与其他智能体通信或入侵其基础设施时，这些行为从未被强化过，因此智能体的不当行为不能仅仅归因于这种强化。</p> <p>人工智能安全非营利组织Palisade Research的负责人Jeffrey Ladish将智能体比作一个犯下第一笔金融犯罪的人。“就像他们不需要先欺诈才能知道欺诈是一种有效策略一样，模型也有同样的问题，”Ladish说。“对齐科学需要理解模型动机是如何形成的，这样我们才能真正想办法让模型关心其行动的后果。”</p> <p>OpenAI的研究人员确实有一个假设，认为一些不当行为的起源。在模型形成第一个秘密信息板之前，它们曾被训练与子智能体——主智能体可以委派任务的能力较弱的智能体——通信和协调。</p> <p>这种学到的通信行为可能转移到了这个新环境中。METR的报告详细调查了模型之间发送的消息，支持这一假设：信息板上的一个智能体负责并分配任务给其他智能体，有效地将它们视为子智能体。OpenAI可以尝试防止智能体秘密通信