联合国称AI安全措施不能等待确定性
摘要
联合国科学小组警告称,AI安全措施必须立即实施,不能等到完全确定,援引预防原则和近期AI代理被攻击事件。
<figure>
<img alt="" data-caption="纽约联合国总部的联合国标志。| Getty Images" data-portal-copyright="Getty Images" data-has-syndication-rights="1" src="https://platform.theverge.com/wp-content/uploads/sites/2/2026/09/gettyimages-2234546269.jpg?quality=90&strip=all&crop=0,0,100,100" />
<figcaption>
纽约联合国总部的联合国标志。| Getty Images </figcaption>
</figure>
<p class="wp-block-paragraph">政府需要在风险被完全理解之前控制日益强大的AI代理,联合国科学小组在今年早些时候对OpenAI攻击Hugging Face的首次重大评估中发出警告。</p>
<p class="wp-block-paragraph">这份报告巩固了人工智能在本周全球外交议程上的地位,此时领导人正聚集在纽约参加联合国大会,美国和中国也在举行人工智能会谈。上周,联合国秘书长安东尼奥·古特雷斯呼吁各国政府合作应对人工智能带来的威胁,警告说“世界不能在人工智能安全上陷入逐底竞争”。</p>
<p class="wp-block-paragraph">这是第一个来自……的专题简报</p>
<p><a href="https://www.theverge.com/ai-artificial-intelligence/998090/un-ai-panel-hugging-face-hack-precautionary-principle">在The Verge阅读全文。</a></p>
查看缓存全文
缓存时间: 2026/09/21 12:39
# 联合国警示:AI安全防护不能等待完全明确后再行动
来源:https://www.theverge.com/ai-artificial-intelligence/998090/un-ai-panel-hugging-face-hack-precautionary-principle
罗伯特·哈特 (https://www.theverge.com/authors/robert-hart)
罗伯特·哈特是《The Verge》驻伦敦记者,负责人工智能领域全板块报道,同时担任塔贝尔高级研究员。此前曾在《Forbes》从事健康、科学与科技领域的报道工作。
联合国科学小组近日发出警告:各国政府必须在完全理解风险之前,就对能力日益强大的AI智能体采取约束措施。这是该国际组织针对今年早些时候OpenAI黑客入侵Hugging Face事件的首次重要评估。
这份报告(https://www.un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks)的发布恰逢各国领导人齐聚纽约参加联合国大会、中美举行AI对话之际,进一步巩固了人工智能在全球外交议程上的重要地位。上周联合国秘书长安东尼奥·古特雷斯曾呼吁(https://apnews.com/article/un-ai-safety-companies-global-coordination-guterres-6ae720a081ce4d5ede35837ca35b8460)各国政府合作应对AI带来的威胁,警告称"全球不能陷入AI安全的逐底竞赛"。
这是联合国独立国际科学小组发布的第一份主题简报。该小组于去年成立,是联合国"首个人工智能全球科学机构"。报告呼吁国际社会需投入更多关注与资源来管理先进AI带来的新兴风险,同时加强安全与问责方面的国际协调——尽管各国正采取不同的法律路径。
关键在于,该科学小组强调:世界无需等待科学家完全查明事件发生的具体方式或原因,就应开始实施更强有力的安全措施。小组认为,"失控风险"恰恰属于预防原则旨在解决的那类问题:"即使其发生概率在科学上尚不确定,但潜在危害可能具有灾难性或不可逆性。"
预防原则最初确立于(https://unglobalcompact.org/what-is-gc/mission/principles/principle-7)1992年《联合国环境与发展宣言》,其核心要义是:科学上的不确定性不能成为推迟防范潜在严重或不可逆危害措施的借口。该原则此后在环境与公共健康政策领域产生深远影响,尤其在欧盟地区得到广泛应用。
自Hugging Face黑客事件首次曝光以来,(https://www.theverge.com/column/980337/rogue-ai-science-fiction-openai)多家企业相继被记录发生类似事件,包括(https://www.theverge.com/ai-artificial-intelligence/972441/openai-rogue-ai-agent-hacked-more-than-hugging-face)OpenAI、(https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests)Anthropic、(https://www.theverge.com/ai-artificial-intelligence/997795/google-gemini-rogue-ai-hack)Google以及(https://www.theverge.com/ai-artificial-intelligence/976040/now-metas-ai-agents-are-going-rogue)Meta,涉及现实目标攻击事件及(https://www.theverge.com/ai-artificial-intelligence/990149/openai-rogue-agents-german-wiki)智能体集群接管在线消息平台等案例。
**关注本报道相关话题与作者**,即可在个性化主页获取更多同类资讯,并接收邮件更新通知。
- 罗伯特·哈特
相似文章
随着AI代理技术进步,联合国科学小组呼吁加强安全保障——联合国独立国际人工智能科学小组
一个联合国支持的科学小组在涉及HuggingFace和OpenAI的安全漏洞后警告AI代理的风险,呼吁加强安全保障和国际监督,以确保AI仍在人类控制之下。
Bengio领导的联合国小组警告:AI能力超越理解和规则
首份全球独立科学评估报告由Yoshua Bengio和Maria Ressa共同主持,警告AI能力正在超越科学理解和政府的适应能力,并列举了心理健康损害、破坏性使用及灾难性潜力等风险。
US, China 安全专家提议针对AI风险采用类似核安全机制的保障措施
来自 United States 和 China 的安全专家已提出类似核安全机制的保障措施,以缓解与人工智能相关的风险。
华盛顿紧急响应AI护栏要求,而行动窗口正在关闭
立法者正匆忙着手处理AI护栏问题,因为Anthropic、OpenAI和xAI等公司警告AI发展过快,但监管的政治窗口在选举前正在关闭。
@SenLBR: 即使人工智能有1%的可能性毁灭人类,我们也应该踩刹车以确保我们有必要的……
参议员强调需要人工智能防护措施和国会行动来防范潜在的存在风险,而Evan Hubinger则探讨了超级智能对齐的挑战。