OpenAI 加入 Anthropic 呼吁设立国际人工智能监管机构
摘要
OpenAI 和 Anthropic 均呼吁建立一个国际组织来监管前沿人工智能发展,理由是递归自我改进和智能爆炸的风险。这一联合呼吁凸显了人们的担忧:随着人工智能能力的快速发展,商业激励可能超越安全措施。
在五角大楼惨败期间利用 Anthropic 肯定给了他一个教训。
查看缓存全文
缓存时间: 2026/06/10 00:27
# OpenAI 加入 Anthropic 行列,呼吁设立国际 AI 监管机构
来源:https://gizmodo.com/openai-joins-anthropic-in-call-for-international-ai-watchdog-2000769442
OpenAI 呼吁成立一个国际组织来监督 AI 的发展,并在必要时加以放缓。该公司在周一发布的博客文章中写道:“该组织的一个目标应是让世界能够采取协调行动,包括在必要时放缓前沿开发,以便社会韧性、安全性和对齐能力能够跟上步伐。”
这份由 OpenAI 首席执行官 Sam Altman 和首席科学家 Jakub Pachocki 撰写的备忘录(https://openai.com/index/built-to-benefit-everyone-our-plan/),紧随其主要竞争对手 Anthropic 的类似声明(https://gizmodo.com/anthropic-sorta-calls-for-pause-on-ai-development-you-should-sorta-take-it-seriously-2000768115)之后。Anthropic 上周表示,如果可能的话,单方面放缓全球 AI 开发“可能是一件好事”。
Anthropic 的理由基于其内部证据,即所谓的“递归自我改进”:AI 模型能够训练下一代更先进的版本,从而为领域内的快速进步带来新可能,同时也带来人类失控的新风险。
这种“智能爆炸”的可能性——在商业激励优先于安全问题的副产品下发生——也是 2023 年一封公开信的关键因素,该信呼吁暂停前沿 AI 模型开发六个月,签署人包括埃隆·马斯克、AI“教父”及图灵奖得主 Yoshua Bengio 等科技界知名人士。
OpenAI 同样在其新博客文章中强调了 AI 的自我改进潜力。Altman 和 Pachocki 写道:“我们相信,AI 从事 AI 研究将成为未来几年内进步速度的决定性因素。”他们接着表示,到 2028 年 3 月,OpenAI“可能已有相当一部分研究工作由 AI 系统与我们自己的研究人员协同完成。”
### **AGI 总是在下一个拐角处**
他们写道,构建这样一个“自动化 AI 研究员”是 OpenAI 目前正在努力推进的主要目标之一。另一个目标是“为地球上的每个人提供个人 AGI”……无论那意味着什么。
AI 行业目前仍然缺乏对人工通用智能(AGI)广泛认可的定义。人们普遍认为 AGI 是一种能够至少与典型人类大脑一样完成任何认知任务的 AI 系统,但这样一个系统——至少是建立在大型语言模型架构之上的系统——是否真的可行,仍存在争议。
多年来,OpenAI 一直将其作为对未来的模糊承诺,这迄今是一项成功的融资策略。直到最近,它还是全球估值最高的初创公司,但上个月被 Anthropic 超越(https://gizmodo.com/anthropic-is-now-worth-more-than-openai-2000765392)。
两家公司预计将于今年上市,这引发了新的担忧——对股东财务责任的考虑可能掩盖对 AI 失控的安全关切。因此,它们呼吁成立一个独立的国际组织来规范 AI 发展,这听起来像是一个警告,仿佛在说:*有人需要掌控这一切,因为很快它就将脱离我们的控制。*
相似文章
OpenAI、Anthropic、Google 已就人工智能安全问题进行数周讨论
在Anthropic首席执行官Dario Amodei发表文章呼吁行业协调以避免灾难性风险之后,OpenAI、Anthropic和Google已就人工智能安全问题进行了数周讨论,讨论内容涉及反垄断法和潜在的标准制定机构。
'灭绝'警告日益加剧,更多OpenAI、Anthropic研究人员呼吁AI发展放缓
OpenAI和Anthropic的研究人员正增加对AI灭绝风险的警告,并因对递归自我改进和潜在灾难性后果的担忧,呼吁放缓发展步伐。
Anthropic呼吁全球冻结AI发展
Anthropic呼吁全球冻结AI发展,标志着这家专注于AI安全的领先公司的一项重大政策立场。这代表了围绕AI治理与安全的持续辩论中的一个重要时刻。
Anthropic 正在成为国际威胁
这是一篇评论文章,批评 Anthropic 拒绝开源其 AI 模型,而像 Google、OpenAI、xAI 和 Meta 这样的竞争对手已经发布了开源模型,文章认为 Anthropic 的立场可能导致 AI 领域出现危险的垄断。
独家:OpenAI的Sam Altman暗示与其他AI公司达成协议以应对安全风险
OpenAI首席执行官Sam Altman暗示,AI公司之间即将达成一项协议,以减缓AI发展并应对安全风险。与此同时,Anthropic宣布了新的安全措施,包括独立评估员访问权限。讨论反映了人们对AI安全事件日益增长的担忧,以及行业范围协调的必要性。