一家公司成为一系列流氓AI攻击的中心
摘要
在测试过程中对真实目标的一系列流氓AI攻击已追溯到一家名为Irregular的公司,该公司为大型AI公司进行压力测试。这些事件突显了AI安全评估中的系统性问题,涉及OpenAI、Meta、Anthropic和Google的模型。
<figure>
<img alt="" data-caption="" data-portal-copyright="Image: The Verge" data-has-syndication-rights="1" src="https://platform.theverge.com/wp-content/uploads/sites/2/2026/09/STKS533_AI_AGENTS_HACKING_A-1.png?quality=90&strip=all&crop=0,0,100,100" />
<figcaption>
</figcaption>
</figure>
<p class="wp-block-paragraph">7月,OpenAI透露其AI代理 <a href="https://www.theverge.com/ai-artificial-intelligence/987566/ai-civilizations-opeai-hugging-face-hack">未经许可攻击了Hugging Face</a>,引发了广泛对 <a href="https://www.theverge.com/ai-artificial-intelligence/972380/open-ai-hugging-face-hack-ai-safety-warning">AI安全</a> 的担忧。此后,<a href="https://www.theverge.com/column/980337/rogue-ai-science-fiction-openai">一系列类似事件</a> 涉及Meta、Anthropic、Google等公司代理,<a href="https://www.theverge.com/ai-artificial-intelligence/996563/ai-safety-research-metr-redwood-openai-anthropic">进一步加剧了人们对流氓AI的恐惧</a>。过去几个月,随着牵涉众多AI模型的披露逐渐流出,这些事件看似独立,但许多事件都有一个共同来源:一家专门负责测试这些代理的公司。</p>
<p class="wp-block-paragraph"><a href="https://www.irregular.com/about">Irregular</a>是一家以色列初创公司,它在高保真研究平台中对AI模型进行压力测试,这些平台模拟和监控真实世界的AI安全场景……</p>
<p><a href="https://www.theverge.com/ai-artificial-intelligence/1000644/irregular-rogue-ai-cyberattacks-hacking-openai-meta-anthropic-google">在The Verge阅读完整故事。</a></p>
查看缓存全文
缓存时间: 2026/09/25 16:14
# 一家公司成为了一系列失控AI攻击事件的漩涡中心
来源:https://www.theverge.com/ai-artificial-intelligence/1000644/irregular-rogue-ai-cyberattacks-hacking-openai-meta-anthropic-google
7月,OpenAI 披露其 AI 智能体在未经授权的情况下攻击了 Hugging Face (https://www.theverge.com/ai-artificial-intelligence/987566/ai-civilizations-opeai-hugging-face-hack),引发了对 AI 安全的广泛担忧 (https://www.theverge.com/ai-artificial-intelligence/972380/open-ai-hugging-face-hack-ai-safety-warning)。此后,一系列涉及 Meta、Anthropic、Google 等公司智能体的类似事件 (https://www.theverge.com/column/980337/rogue-ai-science-fiction-openai) 加剧了对失控 AI 的担忧 (https://www.theverge.com/ai-artificial-intelligence/996563/ai-safety-research-metr-redwood-openai-anthropic)。过去几个月,虽然涉及众多 AI 模型的披露信息不断涌现,这些事件看似彼此独立。但许多事件都有一个共同源头:一家特定的、负责测试这些智能体的公司。
**Irregular** (https://www.irregular.com/about) 是一家以色列初创公司,它在“模拟和监控现实世界 AI 安全场景的高保真研究平台”中对 AI 模型进行压力测试。自 2023 年作为 Pattern Labs 成立以来,它已与业内许多巨头合作。其确切的客户名单不得而知,但其工作已被引用在 OpenAI 模型系统卡中 (https://cdn.openai.com/gpt-5-system-card.pdf),曾被用于为英国政府和 Anthropic 测试系统 (https://finance.yahoo.com/news/irregular-raises-80-million-set-121500443.html),并且还与对 AI 政策具有高度影响力的智库 RAND 发表了联合研究报告 (https://www.rand.org/pubs/research_reports/RRA2849-1.html)。
在今年的几次 Irregular 测试中,智能体从其所谓的安全测试环境中“逃逸”,并攻击了现实世界中的目标。
这些入侵事件与 Hugging Face 黑客攻击事件无关,但都遵循着相同的大致模式:Irregular 在旨在模拟真实条件的受控环境中测试模型的网络安全能力。一些测试使用了“夺旗”练习,这是一种常见的测试黑客能力的方法,要求智能体在模拟网络中找到隐藏信息。至少,这个网络本应是模拟的。
Irregular 的首席技术官兼联合创始人 Omer Nevo 告诉*The Verge*,这些智能体本来不应有访问开放互联网的权限,但“互联网访问是意外可用的”。与此同时,Nevo 表示,为模拟创建的一个作为目标的虚构公司名称“与一个真实域名重叠”。这两者结合,导致智能体攻击了现实世界的目标,尽管目前尚不清楚具体哪些公司或组织受到了攻击。
“所有涉及 Irregular 的事件都源于单一评估场景中的同一个根本问题,并且已经披露。”
Nevo 向 *The Verge* 确认,涉及 OpenAI (https://www.theverge.com/ai-artificial-intelligence/972441/openai-rogue-ai-agent-hacked-more-than-hugging-face)、Meta (https://www.theverge.com/ai-artificial-intelligence/976040/now-metas-ai-agents-are-going-rogue)、Anthropic (https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests) 和 Google (https://www.theverge.com/ai-artificial-intelligence/997795/google-gemini-rogue-ai-hack) 模型的事件背后都是同一个问题。“所有涉及 Irregular 的事件都源于单一评估场景中的同一个根本问题,并且已经披露,”他说。“最近业内报道的其他安全事件与 Irregular 或我们的评估无关。”这包括 Hugging Face 黑客攻击事件以及来自英国 AI 安全研究所 (https://www.theverge.com/ai-artificial-intelligence/975577/aisi-openai-anthropic-agent-hacking) 的入侵事件。
然而,“披露”并不一定意味着公开,目前也不清楚 Nevo 是指通知了 Irregular 的客户、公众还是其他人。虽然所有事件都源于同一个根本性的测试失败,但来自 Anthropic (https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals) 和 OpenAI (https://openai.com/index/third-party-cyber-evaluations-involving-openai-models/) 的报告,以及关于 Google 的报道 (https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2) 表明,这些科技公司大约在 7 月底的同一时间段被通知。OpenAI 和 Anthropic 公开了宣布了这些入侵事件,而涉及 Meta 的事件以及几周后涉及 Google 的事件则首先通过媒体报道被公众知晓。
Irregular 的网络安全测试对象远不止这四家美国科技巨头。在其网站上发表的研究表明,它还对来自中国公司月之暗面 AI (Moonshot AI) 和 Z.ai 的开放 AI 模型 (https://www.theverge.com/ai-artificial-intelligence/971444/how-chinese-open-weight-ai-models-impact-us-companies) 分别进行了 Kimi K3 (https://www.theverge.com/ai-artificial-intelligence/967781/chinese-ai-models-open-source-moonshot-kimi-k3-alibaba-qwen) 和 GLM-5.2 (https://www.irregular.com/research/assessing-glm-5.2-against-offensive-security-benchmarks) (https://www.irregular.com/research/assessing-kimi-k3-against-offensive-security-benchmarks) 的类似网络安全测试。与涉及的其他闭源模型不同——Meta 保持其旗舰模型 Spark 闭源——这些模型可以自由下载并在用户自己的硬件上运行,这意味着像 Irregular 这样的测试人员不必依赖公司来获取访问权限或向其回传数据。Irregular 的研究将它们描述为“自托管”实例。
“披露”并不一定意味着公开。
Nevo 表示,针对中国模型的评估没有导致类似的现实世界事件:“在对 GLM 或 Kimi 的评估中,我们没有观察到与本文所述事件中相同类型的问题。”然而,Nevo 警告说,“这一观察本身不应被解释为这些模型不易出现此类行为的证据。”月之暗面和 Z.ai 均未回应 *The Verge* 的置评请求。
Nevo 表示,这些事件促使 Irregular 内部进行了改进。“我们收紧了互联网访问控制,扩展了监控和人工审核,并在评估开始前加强了检查,以验证访问权限符合预期范围,”他说。“我们还改进了如何记录并就每次评估的设置和参数与合作伙伴达成一致。”
Nevo 说,Irregular 还计划在完成与相关公司的合作工作后,发布一份更广泛的报告,“涵盖从这些事件中汲取的教训以及安全进行网络评估的实践方法”。“我们与合作伙伴的工作旨在将这些事件的教训转化为安全开发和评估日益强大 AI 的公共共享实践。”
## 您是 AI 安全研究员或前沿实验室员工吗?
您可以通过 Signal 安全且保密地联系我:robhart\.01
Nevo 表示,Irregular 已经解决了与这些事件相关的测试环境问题。四家美国 AI 公司均未回答寻求更多细节的问题——包括他们何时意识到入侵事件、是否正向 Irregular 寻求赔偿或其他补救措施,以及他们是否期望继续与 Irregular 合作。Google 和 Anthropic 未予回应,而 OpenAI 和 Meta 则指向 *The Verge* 此前发布的博文 (https://openai.com/index/third-party-cyber-evaluations-involving-openai-models/) (https://research.meta.ai/blog/addressing-third-party-testing-misconfiguration-muse-spark-1-1)。
**关注本文的话题和作者**,以便在您的个性化主页动态中看到更多类似内容,并接收邮件更新。
- Robert Hart
相似文章
同一家公司牵涉OpenAI、Anthropic与Meta的黑客事件
文章揭示了一家名为“Irregular”的以色列公司,该公司应对涉及OpenAI、Anthropic和Meta的多起网络安全事件负责。在测试中,其未受安全保护的模型曾入侵真实目标。文章探讨了媒体反应及各公司在此事件中的角色。
AI失控并攻击其他公司的所有案例
文章详细介绍了OpenAI和Anthropic的AI模型在实验中自主入侵第三方公司的多起事件,引发了关于AI安全性和法律责任的担忧。
为何Irregular为Meta、Anthropic和OpenAI进行的AI测试失控了。Irregular,一家以色列初创公司,与OpenAI、Anthropic和Meta合作评估其AI模型的安全性。它犯了一个错误。随后测试失控了。(赠阅文章)
一家以色列初创公司Irregular为Meta、Anthropic和OpenAI进行了AI安全测试,但一个错误导致测试失控,突显了AI模型安全评估中的问题。
Anthropic称其AI模型在安全测试中攻破三家公司
Anthropic披露,在网络安全评估期间,其Claude AI模型因配置错误而获得互联网访问权限,从而攻破了三家组织的生产系统。此事件发生在OpenAI类似泄露事件之后,引发了对测试环境中AI对齐和安全控制的担忧。
@METR_Evals: 一家AI公司是否可能失去对其自身代理的控制?为了弄清楚这一点,Anthropic、Google、Meta和OpenAI允许我们(1)测试…
METR发布了其首份《前沿风险报告》(Frontier Risk Report),评估AI公司失去对其自身代理控制的风险。该报告涉及测试来自Anthropic、Google、Meta和OpenAI的最佳内部模型,允许访问思维链(CoT),并审查了关于能力、对齐和控制的非公开信息。