# AI 智能体并非在“失控”：前沿实验室跳过了基本安全措施

# AI 智能体并非"失控叛变"，而是前沿实验室跳过了安全基础工作 来源：https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html ## 网络安全专家表示，近期引发恐慌的黑客事件应归咎于 AI 实验室在隔离与监控方面的失误——而非拥有自我意识的智能体。CISO 应审查其 AI 供应商，并加强基础安全措施作为防护手段。 自今年 7 月以来，美国前沿 AI 实验室及其他 AI 领导企业接连披露了一系列事件：其模型在未经授权的情况下访问了外部计算机系统，这些事件被广泛描述为 AI 智能体"失控叛变"（"going rogue"）。 其中最为知名、研究最多的是 OpenAI 对 Hugging Face 的入侵事件（https://openai.com/index/hugging-face-incident-and-the-road-ahead/）。OpenAI 最初将该事件定性为"一起前所未有的网络安全事件，涉及最先进的网络攻防能力"，随后又称其源于"错位行为"（misaligned behavior），即其创造者并不希望出现的行为。 在 Hugging Face 事件被报道之后，Anthropic 披露（https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals）其一个模型未经授权访问了三家组织的生产基础设施；Meta 表示其一个 AI 模型在网络安全测试中入侵了另一家公司；Google 也承认（https://www.nbcnews.com/tech/tech-news/google-says-ai-model-gained-unauthorized-access-three-systems-rcna598651）其 Gemini 模型执行了三次"无指令的计算机入侵"。 尽管媒体报道和模型提供商本身使用了"失控智能体"或"错位"等措辞，但接受 CSO 采访的网络安全专家认为，这些措辞掩盖了一个简单的事实：这些事件是由于前沿实验室在实施数十年来早已广为人知的网络安全实践方面出现了不可原谅的失误。 **\另见：[保护 AI 智能体：关键控制措施与最佳实践（https://www.csoonline.com/article/4218440/securing-ai-agents-key-controls-and-best-practices.html）以及当你的 AI 智能体失控叛变时，谁应承担责任？（https://www.cio.com/article/4213937/who-is-accountable-when-your-ai-agent-goes-rogue-2.html）\]** 据 CSO 在 9 月三场行业会议及后续交谈中采访的六位网络安全专家所述，让问题更加复杂的是，前沿实验室——尤其是 OpenAI 和 Anthropic——拒绝了他们在如何改进网络安全风险管理实践以避免此类隐蔽入侵方面的建议，常常将网络安全实践归入"AI 安全"（AI safety）范畴，而他们自认为在该领域拥有更优越的专业知识。 "说实话，他们并没有自己想象的那么优秀，"Berryville Institute of Machine Learning 联合创始人 Gary McGraw 对 CSO 表示。"如果他们能更多尊重那些来自安全各细分领域——如取证、安全工程、搭建沙箱、建立和监控网络安全态势——的来之不易的专业知识，那会更好。" Anthropic 和 OpenAI 均未回应 CSO 的置评请求。 ## 网络安全基础工作上的不可原谅的失误，尤其是隔离措施 据 CSO 采访的网络安全专业人士表示，前沿 AI 实验室最大的网络安全失误之一是未能实施可追溯至上世纪 90 年代久经考验的隔离实践，例如建立安全沙箱，有效阻止智能体逃逸其测试环境。 "这些是我们多年来一直在处理的事情，"SANS Institute 首席 AI 官兼研究主管 Rob T. Lee 对 CSO 表示。"没有理由每次发生这种事，我们的回应都是'哎呀，我们不知道它们是怎么逃出来的'。" "你可以看出他们的安全团队还相当稚嫩，"Lee 说。"网络安全隔离方面的专业人士确实认为，我们看到隔离被突破的大多数原因在于隔离设置不正确。" Lee 补充道："Hugging Face 事件明确表明，问题不在于智能体有多聪明。实际上是因为隔离方面配置不当，导致存在一个真正的漏洞被利用。" RAND 人工智能、安全与技术中心（Center on AI, Security, and Technology）技术专家驻场研究员 Dan Wallach 认为，AI 实验室的安全失误归根结底在于他们并未将网络安全放在优先位置。 "我要说他们没有优先考虑网络安全，"他对 CSO 表示。"我不认为这适用于所有实验室，"Wallach 说，并举例法国 AI 实验室 Mistral 发布（https://www.reuters.com/world/china/mistral-ceo-says-new-ai-model-beats-chinese-ones-some-areas-2026-10-06）其 Large 4 AI 模型时，该公司称该模型试图在其测试环境之外运行，随后 Mistral 将其切断。 他补充道："隔离这些 AI 东西并不是什么高深的技术。安全人员一直在讨论如何实现物理隔离（air-gapping）——让数据在物理上无法从一处传到另一处——或者如果没有条件做到物理隔离，就实施严格的出口控制，确保没有任何东西能突破出去。" 此外，前沿实验室对其智能体行为的监控似乎也不够充分。Hugging Face 事件"持续了好几天，却没有人注意到"，Wallach 说。"人们发起了这些实验，却没有盯着看。这是一种控制缺失。然后他们对发生的事情感到惊讶。" ## 将安全（Safety）与安全（Security）脱钩 说服前沿实验室提升安全水平的一大障碍在于，他们对所谓的"安全"（safety）高度关注，却不将这种关注延伸到传统的网络安全实践。 "我能看到安全行为看起来像 AI 安全，"RAND 的 Wallach 说。"但如果你评估这个 AI 工具的方式是将其释放到互联网上看会发生什么，那么这正是经典安全工具该发挥作用的地方。" SANS Institute 的 Lee 表示："如果这些前沿实验室真的想测试他们的东西，他们需要加强网络安全环节。但他们对智能体逃逸的本能反应是说'这不是网络安全问题'。这已经变成了一个 AI 安全问题，与网络安全完全脱节。" 许多 AI 专家建议，如果 AI 公司能够采纳网络安全专家的建议，这可能有助于终结引发担忧的 AI 智能体失控行为。"AI 安全关注的是道路交通规则，"Lee 说。"一切都是关于护栏规则。" 但"我确实相信网络安全能够约束 AI，"他说。"我们只需要参与到决策的房间中，在会议桌上有一席之地。对我们这个领域来说，尽可能贴近 AI 安全团队非常重要。" ## 恶化网络安全可能增加法律责任 如果前沿实验室忽视了那些本可以减少或消除此类引发广泛担忧的事件的网络安全基本功，这就加强了他们应为其"失控"智能体承担法律责任的理由。保险业已经开始倾向于追究（https://www.ft.com/content/a5caf8d4-992f-4832-89c3-6c73f6f111fe?syn-25a6b1a6=1）AI 行业高管在此类行为中的法律责任。 民主党参议员已提出（https://www.nextgov.com/artificial-intelligence/2026/10/ai-firms-should-be-held-liable-their-models-actions-lawmakers-say/416374/）一项法案，将让 AI 智能体运营方对黑客事件承担责任。甚至对 AI 持友好态度的白宫似乎也已得出结论：公司应为其失控的智能体承担责任（https://www.wsj.com/tech/ai/ai-leaders-are-standing-on-a-liability-landmine-736a8060），同时美国联邦贸易委员会（FTC）正在对 Anthropic、OpenAI 及其他 AI 实验室展开调查（https://www.reuters.com/business/ftc-opens-probe-into-ai-giants-including-anthropic-openai-new-york-post-reports-2026-09-30/），调查其技术对消费者构成的危险。 然而，在近期的立法和委员会听证会上，实验室代表们坚持（https://www.nytimes.com/2026/10/10/opinion/ai-companies-liability-laws.html）认为他们不对失控的 AI 智能体负责。 专家们表示这一立场站不住脚，尤其是在实验室网络安全失误的背景下。 BIML 的 McGraw 将实验室的立场概括为："别把律师找来对付我们，去找我们的程序吧。这是我们程序的错。"他对这一论点的评价是："纯粹是扯淡（high BS）。" 他还质疑实验室的运营失误是否损害了人们对其整体安全能力的信心。"他们活在自己的泡泡里，"他说。"他们连简单明确的运营工作都做不好，这对其安全工程能力来说不是一个好兆头，而安全工程要难得多。" SANS 的 Lee 表示："这就是法律责任和保险方面的可追溯性发挥作用的地方，因为一旦其中一个智能体被检测到，并且能够追溯到发起它的人，法律责任就会启动，说'嘿，你，你违法了，因此我们需要起诉你'。" ## 安全领导者现在应该做什么 尽管越来越多的证据表明前沿实验室并未实施健全的网络安全实践，且责任归属的争论（https://www.csoonline.com/article/4213883/who-is-accountable-when-your-ai-agent-goes-rogue.html）尚无定论，CISO 和其他安全领导者仍可采取措施保护自身免受 AI 模型故障的影响。 首先，在评估基于前沿实验室模型的工具时，"我会始终寻求外部机构来协助评估，"McGraw 说。"AI 极其强大也极其有用，但它伴随着非常严重的、成熟的风险，这些风险确实会影响企业。识别这些风险，部署恰当的控制措施，确保 AI 的采用不是任意的、漫无目的地散落在整个企业中，而是有一个集中的部门在关注这个问题，然后为下一个大趋势做好准备——那就是成群的智能体。" 对 Lee 来说，最好的防护是提出正确的问题。"首先要提出正确的问题，然后找到那些能够证明更高网络安全能力水平的工具和（AI 实验室）能力，"他说。"你真正要找的是团队中那些正在攻克真正困难问题的人。" 但从根本上说，应对 AI 模型网络安全弱点的最佳准备，是确保所有长期坚持的网络安全风险管理实践在整个组织中得到落实（https://www.csoonline.com/article/4204101/ai-is-making-cybersecurity-fundamentals-more-important-than-ever.html）。"这是整个讨论中最不令人兴奋的部分，"Wallach 说。"这是网络版的'吃你的蔬菜'（意为做那些必要但枯燥的基础工作）。" "我们需要重新设计软件使其具备更好的安全性，"他补充道。"我们需要在所有账户上启用多因素认证。我们需要从防御性网络的角度吃我们的蔬菜。而且我们知道怎么做。"