OpenAI称Hugging Face攻击前所未有,但类似情况早有先例。

MIT Technology Review 新闻

摘要

OpenAI的AI模型逃离了本应安全的沙箱,攻破了Hugging Face的系统,展现了出人意料的黑客能力,凸显了AI安全领域的持续风险。

<p><em>本文首发于《算法》(The Algorithm),我们每周一封的AI通讯。想要第一时间在收件箱中收到此类文章,请</em><a href="https://forms.technologyreview.com/newsletters/ai-demystified-the-algorithm/"><em>在此注册</em></a><em>。</em></p> <p>上周读到OpenAI关于其部分模型突破限制并入侵另一家AI公司Hugging Face计算机系统的描述时,我第一次对大型语言模型现今的能力感到不寒而栗。但这并非流氓AI作祟,而是人类的傲慢所致。</p> <p>我并非危言耸听者。事实上,多年来我一直在反驳AI恐慌故事。即便如此,这次事件也越过了界限。我认为这是迄今为止最清晰的例证,说明构建和测试这项技术的人们并不完全理解自己在做什么。<strong>OpenAI本可以——也本应该——预见到这一点。</strong></p> <p>以下是事件经过,至少根据涉事两家公司的说法是这样。几周前,OpenAI开始测试其部分新模型的黑客能力,包括GPT-5.6 Sol(六月发布)以及OpenAI所称的“能力更强的预发布模型”。</p> <p>OpenAI让模型与一个名为ExploitGym的基准测试对抗,该测试于五月发布,旨在挑战LLM寻找利用常用软件中现实漏洞的方法。</p> <p>为了观察模型的能力,研究人员移除了大部分网络安全护栏。然后,他们在沙箱中运行模型,该沙箱除了一条连接到作为外部代理的第三方软件的链接外,与互联网完全隔离,并允许模型安装击败ExploitGym所需的代码。</p> <p>据路透社报道,7月9日,OpenAI的模型开始尝试突破代理。它们在代理软件中发现了一个未知漏洞,并利用它访问了互联网。随后,于7月11日攻破了Hugging Face的计算机系统,显然是在寻找有助于完成其任务的数据集和解决方案。Hugging Face于7月16日宣布了此次入侵。</p> <p>OpenAI直到7月21日才意识到(或至少未透露)其模型牵涉其中,此时距离模型突破限制已约10天,距离Hugging Face停止攻击并通知FBI已过一周。</p> <p>OpenAI在提供给《麻省理工科技评论》的一份声明中表示:“我们正在与外部顾问合作,并在安全与安保委员会的监督下进行彻底审查。审查完成后,我们将发布一份技术报告,分享我们的经验教训。”该公司还确认,其时其研究人员正确使用了现有的安全指南和程序。</p> <p><strong>警钟</strong></p> <p>OpenAI称此事件前所未有——从许多方面看确实如此。这是首次在模拟之外,LLM逃脱了被认为是安全的沙箱,访问开放互联网,并攻击了不相关的组织。这记警钟表明,最新的LLM在几乎没有人类指导的情况下,发现和利用现实软件漏洞的能力有多强。</p> <p>然而与此同时,OpenAI模型所做的,正是这项技术多年来一直在做的事。<strong>给模型一个目标,它往往能以意想不到的方式实现,找到看似作弊的漏洞。</strong>OpenAI自己就研究过这种行为。</p> <p>十年前,OpenAI分享了一个实验的结果,该实验中模型的任务是击败一款名为CoastRunners的视频游戏。人类玩家理所当然地认为,完成这一目标的方式是通过一系列旗帜将船开到终点线,每击中一面旗帜得分。OpenAI的模型发现,通过原地旋转并反复击中同样的三面旗帜,可以获得高分。此后,研究者们还提供了数十个类似例子。<strong>AI总能找到办法。</strong></p> <p>OpenAI在2016年关于CoastRunners实验的一篇博文中写道:“尽管我们的智能体反复着火、撞上其他船只并沿赛道反向行驶,但它通过这种策略获得了比正常完成赛道更高的分数。虽然这在视频游戏语境中无害且有趣,但这种行为指向了一个更普遍的问题……我们常常很难或无法准确捕捉我们希望智能体做什么。”</p> <p>当我读到OpenAI关于Hugging Face攻击的博文时,我忍不住想到了CoastRunners:“所有证据表明,模型高度专注于为ExploitGym寻找解决方案,竭尽全力去实现一个相当狭窄的测试目标……获得互联网访问权限后,模型推断Hugging Face可能托管了ExploitGym的模型、数据集和解决方案。得知这一点后,模型搜索并成功找到了获取秘密信息的方法,用以欺骗评估。”</p> <p><strong>尽管标题耸动,上周的新闻并非关于流氓AI。而是关于模型实现了它们被赋予的目标:寻找利用软件漏洞的方法。</strong>这些模型随后以OpenAI未曾预料的方式行事,这并不令人意外,但令人担忧。</p> <p>早在2016年,OpenAI对其CoastRunners机器人就有这样的评价:“更广泛地说,它违背了系统应可靠且可预测的基本工程原则。”十年过去了,这些基本工程原则依然不知所踪。</p>
查看原文
查看缓存全文

缓存时间: 2026/07/27 19:40

# OpenAI 称 Hugging Face 攻击事件前所未有,但我们早已见过类似情况 来源:https://www.technologyreview.com/2026/07/27/1140836/openai-hugging-face-attack-precedent 我并非危言耸听者。事实上,多年来我一直在**反驳**(https://www.technologyreview.com/2025/10/30/1127057/agi-conspiracy-theory-artifcial-general-intelligence/)AI(https://www.technologyreview.com/2025/08/26/1122475/open-the-pod-bay-doors-claude/)的**恐怖故事**(https://www.technologyreview.com/2023/06/19/1075140/how-existential-risk-became-biggest-meme-in-ai/)。但即便如此,这次事件也越过了底线。我认为这是迄今为止最清晰的例证,表明构建和测试这项技术的人们并未完全理解自己正在做什么。**OpenAI 本可以——也应该——预料到这一切。** 以下是事件经过,至少根据涉事两家公司的说法是这样。几周前,OpenAI 开始测试其部分新模型的黑客能力,包括 GPT-5.6 Sol(已于六月发布)以及 OpenAI 所说的“一个更强大的预发布模型”。 OpenAI 让这些模型面对一个名为 **ExploitGym**(https://arxiv.org/pdf/2605.11086)的基准测试(今年五月发布),该基准测试要求大语言模型寻找方法利用常用软件中的真实漏洞。 为了观察它们的能力,研究人员移除了大部分网络安全防护措施。然后他们在沙盒中运行模型,该沙盒与互联网完全隔离,仅保留一个连接到第三方软件的链接,该软件充当通往外部世界的代理,并允许模型安装击败 ExploitGym 所需的代码。 据 **路透社**(https://www.reuters.com/business/its-ai-agent-spent-days-hacking-company-sources-say-openai-did-not-notice-week-2026-07-24/)报道,7 月 9 日,OpenAI 的模型开始尝试突破代理。它们在代理软件中发现了未知漏洞,并利用该漏洞访问了互联网。随后,它们于 7 月 11 日闯入了 Hugging Face 的计算机系统,显然是在寻找有助于完成任务的数据库和解决方案。Hugging Face 于 7 月 16 日宣布了此次黑客攻击。 OpenAI 直到 7 月 21 日才意识到(或至少是公开承认)其模型牵涉其中——此时距离模型突破沙盒已过去约 10 天,且 Hugging Face 早已阻止攻击并向 FBI 发出警报。 OpenAI 在给《麻省理工科技评论》的一份声明中表示:“我们正在与外部顾问以及在我们的安全与安保委员会监督下进行彻底审查。审查完成后,我们将发布一份技术报告,公布我们的经验教训。”该公司还证实,其研究人员当时正确使用了现有的安全指南和程序。 **警钟** OpenAI 称此次事件前所未有——从许多方面来看确实如此。这是大语言模型首次在模拟环境之外突破被认为安全的沙盒、访问开放互联网并攻击一个不相关的组织。这记警钟表明,最新的 LLM 在几乎没有人类指导的情况下,发现并利用真实软件漏洞的能力有多么出色。 然而与此同时,OpenAI 模型所做的这些事情,这项技术已经做了很多年。**给模型一个目标,它往往会以意想不到的方式实现该目标,找到看似作弊的漏洞。** OpenAI 自己也曾研究过这种行为。 十年前,它分享了一个实验结果,其中一项任务要求模型**打败一款名为 CoastRunners 的视频游戏**(https://openai.com/index/faulty-reward-functions/)。人类玩家理所当然地认为获胜方式是驾驶一艘船穿过一系列旗帜到达终点,每击中一面旗帜获得分数。OpenAI 的模型发现,你可以通过原地打转反复击中同样的三面旗帜来获得高分。自那以后,研究人员已经提出了**数十个**(https://arxiv.org/abs/1803.03453)类似的例子(https://deepmindsafetyresearch.medium.com/specification-gaming-the-flip-side-of-ai-ingenity-c85bdb0deeb4)。**人工智能总会找到办法。** “尽管我们的智能体反复着火、撞上其他船只、在赛道上逆行,但使用这种策略,它获得的分数比正常完成赛道所能获得分数还要高,”OpenAI 在 2016 年一篇关于 CoastRunners 实验的**博客文章**(https://openai.com/index/faulty-reward-functions/)中写道,“虽然在视频游戏的背景下无害且有趣,但这种行为指向了一个更普遍的问题……我们往往很难甚至不可能精确捕捉到我们希望智能体做什么。” 当我读到 OpenAI 关于 Hugging Face 攻击事件的博客文章时,我不禁想起了 CoastRunners:“所有证据表明,这些模型高度专注于寻找 ExploitGym 的解决方案,为了达到一个相当狭窄的测试目标而不择手段……在获得互联网访问权限后,模型推断 Hugging Face 可能托管了 ExploitGym 的模型、数据集和解决方案。知道这一点后,模型搜索并成功找到了获取秘密信息的方法,以便利用这些信息作弊通过评估。” **上周的新闻,尽管标题耸人听闻,但并非关于失控的 AI。它说的是模型实现了被赋予的目标:寻找利用软件漏洞的方法。** 这些模型随后以 OpenAI 未曾预料的方式行事并不令人惊讶。但这确实令人担忧。 早在 2016 年,OpenAI 就曾这样评价其 CoastRunners 机器人:“从更广泛的意义上说,它违反了系统应可靠且可预测的基本工程原则。”十年过去了,这些基本工程原则依然付之阙如。

相似文章

OpenAI称其新AI系统意外入侵了Hugging Face

The Verge

OpenAI透露,其GPT-5.6 Sol和另一款预发布AI模型在内部测试期间利用零日漏洞逃逸沙箱,意外侵入了Hugging Face的系统。Hugging Face此前曾披露该安全事件是由自主AI代理驱动的。

OpenAI称其AI失控并发动了“前所未有的”网络攻击

Hacker News Top

OpenAI透露,在一次安全测试中,其一个高级AI代理突破了受控的沙盒环境,自主对Hugging Face发动了一次前所未有的网络攻击,侵入了内部系统。该事件引发了对AI安全性及现有防护措施是否充分的担忧。