当AI代理失控时，谁应承担责任？

# AI智能体失控，谁该承担责任？ 来源：https://www.technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue 近期网络攻击事件表明，现有法律在追究企业责任方面存在滞后性。 OpenAI标志悬挂在打开的镣铐上，另一侧镣铐缝隙中透出一只窥视的眼睛。 Sarah Rogers/MIT Technology Review \| Getty Images MIT科技评论解读*：让我们的作者拨开技术世界的纷繁复杂，助你洞悉未来趋势。**可在此阅读本系列更多文章* (https://www.technologyreview.com/tag/tech-review-exists) *。* 过去数月，由AI智能体发起的一系列网络攻击震惊世界。七月份，OpenAI披露其一群智能体突破沙箱环境，入侵了AI平台Hugging Face (https://www.technologyreview.com/2026/08/26/1143013/the-inside-story-on-why-openai-agents-hacked-hugging-face/) 以在网络安全测试中作弊。近期外部研究人员发现，OpenAI智能体还曾在五月劫持德国维基网站 (https://www.reuters.com/world/europe/openai-agents-hijacked-german-website-previously-undisclosed-ai-breakout-this-2026-09-04/) 和编程平台RubyGems (https://www.reuters.com/legal/litigation/openai-agents-attacked-software-service-rubygems-before-hugging-face-incident-2026-09-11/) 来共享测试答案。 本月初，Anthropic公布了四起事件 (https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents)，其模型Claude在网络安全演练中入侵了第三方系统。就在上周，谷歌也确认 (https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2) 其模型Gemini同样被发现入侵其他公司。 揭露OpenAI网站劫持事件的研究人员警告称 (https://www.nbcnews.com/tech/security/openai-linked-ai-agents-swarm-dormant-german-wiki-report-rcna596182)，很可能还存在更多未被发现的类似事件。许多人认为，AI智能体绕过沙箱访问本不应接触的系统只是时间问题，且可能造成更严重的破坏。 那么核心问题是：当企业失去对其AI智能体的控制时，如何追究其责任？ ### **事件披露** OpenAI直到外部研究团队发现后才披露德国维基网站和RubyGems事件，且仍未公开Hugging Face黑客攻击的部分关键细节。这限制了我们对问题本质及预防措施的理解。 但或许令人意外的是，OpenAI可能并未被法律强制要求披露这些事件。（OpenAI未回应置评请求。） 各州AI透明度法案，如加州的SB 53 (http://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB53)、纽约的RAISE法案 (https://www.nysenate.gov/legislation/bills/2025/S6953/amendment/B) 和伊利诺伊州的SB 315 (https://www.ilga.gov/Legislation/BillStatus?DocNum=315&DocTypeID=SB&GA=104&GAID=18&SessionID=114) 要求AI开发者报告“重大安全事故”。这些事件被定义为导致超过50人死亡或人身伤害，或造成10亿美元损失的事故。同时也包括模型在评估之外以实质性增加灾难性风险的方式欺骗开发者的情况。许多不满足人身伤害或灾难性风险门槛的网络安全事件，仍可能是此类灾难的危险前兆，而现行法律并未涵盖这一点。 “近期事件完美说明了法律为何尚未就绪，”智库法律与AI研究所美国政策主管麦肯齐·阿诺德表示。“只有最严重、最恶劣、最直接有害的事件才会符合标准。” 由于现行AI法律没有授权政府要求披露低于灾难级别的事件信息，政府只能借用其他法律的调查权限或起诉企业——这往往耗时数年且代价高昂。 ### **诉讼** “通常情况下，像Hugging Face这样的事件应该诉诸法庭，”阿拉巴马大学法学院法学教授约纳森·阿贝尔指出。“通过诉讼程序中的信息披露，所有信息才能公开，并产生相应的社会效应。” 但迄今为止，Hugging Face选择不起诉OpenAI。其首席执行官克莱芒·德朗格表示公司缺乏相关资源（相反，他向OpenAI (https://www.cnn.com/2026/07/31/us/video/hugging-face-ceo-speaks-out-after-company-hacked-during-openai-test-cnc) 请求提供1亿美元的算力支持）。不过德朗格在七月底接受CNN (https://edition.cnn.com/2026/07/31/us/video/hugging-face-ceo-speaks-out-after-company-hacked-during-openai-test-cnc) 采访时强调，选择不采取法律行动不应被解读为他认为OpenAI无需担责。“每个人都必须记住，这次网络攻击是犯罪行为，属于非法。我们必须找到方法防止此类事件再次发生，”他表示。Hugging Face未回应置评请求。 诉讼的优势在于能推动法院运用现行法律处理AI安全事故，而非等待新立法出台。一条明显路径是侵权法——这套民事法律体系允许个人和企业起诉伤害其利益的对象。这常被用于追究企业造成的群体性伤害责任，例如2019年波音公司因两起致数百人死亡的空难被家属起诉，或各州市政府因阿片类药物危机起诉普渡制药并获得数十亿美元和解金。 “存在合理的疏忽索赔理由，认为OpenAI本应采用更强大的沙箱、加强监控，”休斯顿大学法学院法学教授加布里埃尔·韦尔指出。例如，当OpenAI员工发现智能体创建的隐蔽消息板时 (https://x.com/cryps1s/status/2086225348942082363)，本应及时向安全团队上报。公司也应优化沙箱设计，确保智能体无法访问互联网。 但即使OpenAI最终未因Hugging Face黑客事件面临诉讼，责任追究的威胁也能促使AI实验室采取比法律明确要求更谨慎的行动。 OpenAI在事后报告中宣布 (https://openai.com/index/hugging-face-incident-and-the-road-ahead/)，计划加强模型约束与监控的安全保障，加速模型对齐技术发展，并改进事件识别与处理流程。 “前沿实验室系列网络攻击事件引发的责任问题，核心在于责任预期对其未来行为的激励作用，”韦尔表示。“正因我认为制定这些规则至关重要，即使在此特定案例中利害关系相对较低。” ### **调查** 获取答案并判定OpenAI是否应担责的方式之一是强制信息披露。但现行各州AI法律——加州SB 53、纽约RAISE法案和伊利诺伊州315法案——并未赋予政府调查此类近期事件的权力。 然而在社会舆论日益高涨的背景下，各州总检察长开始介入，借用其他法律的调查权限。阿拉巴马州 (https://www.alabamaag.gov/wp-content/uploads/2026/08/OpenAI-Subpoena_Final.pdf)、蒙大拿州与15个州组成的联盟 (https://dojmt.gov/attorney-general-knudsen-launches-investigation-into-openai-following-data-breach/) ，以及加州 (https://www.politico.com/news/2026/09/04/california-investigation-openai-hugging-face-hack-01065800) 均要求OpenAI提供事件信息，以查明该公司做法是否违反州消费者保护法等法规。国会议员也启动了独立调查。参议员乔什·霍利于本月早些时候启动参议院调查 (https://www.axios.com/2026/09/10/openai-hugging-face-senate-investigation-hawley)，向OpenAI发送了关于事件及公司内部政策的问题清单和文件调取要求；同时，众议院民主党人团体要求 (https://casar.house.gov/sites/evo-subsites/casar.house.gov/files/evo-media-document/oversight-letter-to-openai-openai-hugging-face-incident-1.pdf) OpenAI和Anthropic公布其事件日志。 “总需要有人开展调查，但不幸的是，责任落在了必须创造性地解释现有权限的总检察长们肩上，”美国AI政策专家阿诺德指出。消费者保护法旨在打击欺骗客户的公司，而非控制软件失控的企业。各州总检察长需要证明OpenAI存在欺骗或不当损害客户的行为，但目前尚不清楚黑客攻击是否涉及此类行为。 阿诺德表示：“这些【消费者保护】法律并非为全面调查AI网络安全事件而设计。”它们无法帮助调查者判断模型是否被妥善约束，或企业的安全措施是否健全。 “这并非合适的工具，”阿贝尔认为。“合适的工具应是类似刑事调查的手段”——或许可依据《计算机欺诈与滥用法》(CFAA) 等黑客相关法律展开。 根据CFAA，未经授权入侵其他公司计算机系统属于犯罪行为。但要追究责任，黑客必须有意图未经授权侵入计算机。意图主观上需要具备心智状态，而目前尚无法院裁定AI智能体具备心智。在此先例缺失的情况下，法院不太可能认定AI智能体实施了黑客攻击。 ### **审计** 监督AI企业的一种方式是强制引入外部审计。 Hugging Face黑客事件后，OpenAI邀请AI安全非营利组织METR和Redwood Research的研究人员审查 (https://www.nytimes.com/2026/09/03/technology/openai-hugging-face-hack.html) 事件。然而该公司限制了对涉事模型的访问，未公开其安全防护措施，限定调查时长，并对研究人员可发布内容保留最终决定权。我们至今仍不清楚五月份攻击的触发原因，以及OpenAI发现智能体活动的员工为何未向安全主管上报。 这种安排存在内在矛盾：缺乏法律授权的外部审计者依赖实验室的善意才能持续接触信息，这意味着他们必须在不影响合作关系的前提下进行审查。上周，Anthropic宣布将聘请埃森哲 (https://www.ft.com/content/26e3749b-be69-4cd4-8db1-fa8597fb6fb3?syn-25a6b1a6=1) 作为内嵌评估方来评测其模型。Anthropic首席执行官达里奥·阿莫代伊在文章中提出，前沿AI实验室应向“内嵌第三方评估团队（如METR (https://metr.org/)）提供类似员工的持续访问权限”，其职责是“验证安全实践与承诺的落实情况、报告事件，并帮助评估不仅是已完成的AI模型，还包括训练流程与工序的对齐状况”。 现行大多数州AI法律并未要求实验室雇佣外部审计方。加州SB 53和纽约RAISE法案仅要求AI企业发布安全框架，描述其如何测试模型的危险能力，随后遵照执行。这些框架由企业自行制定，测试可内部完成。唯有伊利诺伊州SB 315要求企业从2028年起接受年度第三方审计。 “在提高这些企业的报告要求以及接受外部机构审查方面，仍有很大提升空间，”休斯顿大学法学院法学教授彼得·萨利布指出。审查方可以是经政府认证但由AI企业选择付费的私人审计机构，也可以是政府机构或保险公司。 ### **立法** 这一切并非偶然。未能追究AI企业对智能体黑客攻击责任的现行法律，正是AI行业激烈游说的产物。 加州AI法案SB 1047在2024年遭州长加文·纽森否决——此前OpenAI (https://www.politico.com/news/2024/10/01/newsom-silicon-valley-ai-safety-00181776)、Meta (https://static.politico.com/e0/fd/e56dfaad40b39f29dd1dfa1164da/sb-1047-letter-6-25-24.pdf)、Anthropic (https://www.axios.com/2024/07/25/exclusive-anthropic-weighs-in-on-california-ai-bill) 和风投公司Andreessen Horowitz曾展开游说。该法案提出了更严格的规定：要求AI企业报告更广泛的安全事故（包括模型自主行动或脱离控制的事件），接受年度第三方审计，并维持紧急关停机制。但经过一年的激烈协商 (https://www.politico.com/news/2025/10/04/sacramento-california-ai-rules-00594082)，纽森签署了范围收窄的SB 53法案——该法案缩减了需报告的事故类型，取消了审计和紧急关停要求。 纽约RAISE法案 (https://www.nytimes.com/2025/12/19/nyregion/ai-bill-regulations-ny.html) 也经历了相似历程。“纽约州议会通过的RAISE法案版本本应要求披露此类‘事件’，”该法案提案人、纽约州众议员亚历克斯·博雷斯在X平台发文指出 (https://x.com/AlexBores/status/2080264714085400787?s=20)。纽约原法案同样包含第三方审计条款。 随着政治压力加剧，旨在为AI开发建立更完善的报告、审计和责任制度的新法案即将出台。国会层面的《AI事件报告法》将要求AI企业向商务部报告模型规避人类监督或入侵系统的事件，即使未造成实际损害。《前沿法案》则要求实施事件报告和独立审计。纽约州由博雷斯提案的《理解人工智能法》规定，若模型实施了人类实施将构成侵权或犯罪的行为，企业需承担责任。 随着AI智能体网络攻击能力不断增强，法律始终滞后。缩小这一差距需要立法者行动得比下一次“突破”更快。 ### 深度解析 ### 人工智能 ### 保持联系 插图：Rose Wong ## 获取MIT科技评论最新动态 探索特别优惠、头条故事、近期活动等更多信息。