OpenAI 加入 Anthropic 呼吁设立国际人工智能监管机构

Reddit r/artificial 新闻

摘要

OpenAI 和 Anthropic 均呼吁建立一个国际组织来监管前沿人工智能发展,理由是递归自我改进和智能爆炸的风险。这一联合呼吁凸显了人们的担忧:随着人工智能能力的快速发展,商业激励可能超越安全措施。

在五角大楼惨败期间利用 Anthropic 肯定给了他一个教训。
查看原文
查看缓存全文

缓存时间: 2026/06/10 00:27

# OpenAI 加入 Anthropic 行列,呼吁设立国际 AI 监管机构 来源:https://gizmodo.com/openai-joins-anthropic-in-call-for-international-ai-watchdog-2000769442 OpenAI 呼吁成立一个国际组织来监督 AI 的发展,并在必要时加以放缓。该公司在周一发布的博客文章中写道:“该组织的一个目标应是让世界能够采取协调行动,包括在必要时放缓前沿开发,以便社会韧性、安全性和对齐能力能够跟上步伐。” 这份由 OpenAI 首席执行官 Sam Altman 和首席科学家 Jakub Pachocki 撰写的备忘录(https://openai.com/index/built-to-benefit-everyone-our-plan/),紧随其主要竞争对手 Anthropic 的类似声明(https://gizmodo.com/anthropic-sorta-calls-for-pause-on-ai-development-you-should-sorta-take-it-seriously-2000768115)之后。Anthropic 上周表示,如果可能的话,单方面放缓全球 AI 开发“可能是一件好事”。 Anthropic 的理由基于其内部证据,即所谓的“递归自我改进”:AI 模型能够训练下一代更先进的版本,从而为领域内的快速进步带来新可能,同时也带来人类失控的新风险。 这种“智能爆炸”的可能性——在商业激励优先于安全问题的副产品下发生——也是 2023 年一封公开信的关键因素,该信呼吁暂停前沿 AI 模型开发六个月,签署人包括埃隆·马斯克、AI“教父”及图灵奖得主 Yoshua Bengio 等科技界知名人士。 OpenAI 同样在其新博客文章中强调了 AI 的自我改进潜力。Altman 和 Pachocki 写道:“我们相信,AI 从事 AI 研究将成为未来几年内进步速度的决定性因素。”他们接着表示,到 2028 年 3 月,OpenAI“可能已有相当一部分研究工作由 AI 系统与我们自己的研究人员协同完成。” ### **AGI 总是在下一个拐角处** 他们写道,构建这样一个“自动化 AI 研究员”是 OpenAI 目前正在努力推进的主要目标之一。另一个目标是“为地球上的每个人提供个人 AGI”……无论那意味着什么。 AI 行业目前仍然缺乏对人工通用智能(AGI)广泛认可的定义。人们普遍认为 AGI 是一种能够至少与典型人类大脑一样完成任何认知任务的 AI 系统,但这样一个系统——至少是建立在大型语言模型架构之上的系统——是否真的可行,仍存在争议。 多年来,OpenAI 一直将其作为对未来的模糊承诺,这迄今是一项成功的融资策略。直到最近,它还是全球估值最高的初创公司,但上个月被 Anthropic 超越(https://gizmodo.com/anthropic-is-now-worth-more-than-openai-2000765392)。 两家公司预计将于今年上市,这引发了新的担忧——对股东财务责任的考虑可能掩盖对 AI 失控的安全关切。因此,它们呼吁成立一个独立的国际组织来规范 AI 发展,这听起来像是一个警告,仿佛在说:*有人需要掌控这一切,因为很快它就将脱离我们的控制。*

相似文章

Anthropic呼吁全球冻结AI发展

Reddit r/ArtificialInteligence

Anthropic呼吁全球冻结AI发展,标志着这家专注于AI安全的领先公司的一项重大政策立场。这代表了围绕AI治理与安全的持续辩论中的一个重要时刻。

AI安全与对齐

Reddit r/artificial

文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。