引用Jeremy Howard
摘要
Jeremy Howard批评了Anthropic在前沿AI安全方面的做法,认为拥有排名最高模型的实验室不应将其用于前沿研究,以减缓自我改进并防止权力失衡。
暂无内容
查看缓存全文
缓存时间: 2026/06/10 17:44
# 杰里米·霍华德的一段话
来源: https://simonwillison.net/2026/Jun/10/jeremy-howard/
2026年6月10日
> 延缓递归式AI自我改进的简单方法:
> - 拥有排名最高模型的实验室必须同意:他们不能将该模型用于前沿AI研究
> - 但其他人应该能访问该模型。根据定义,这意味着前沿不再进步。这还有一个关键好处:避免危险的权力不平衡。
> Anthropic选择了与安全路径*相反*的道路:他们作为当前顶尖实验室,允许自己使用最先进的模型进行前沿AI研究。他们还表示会破坏其他试图这样做的人。这意味着AI前沿在进步,权力不平衡在加剧。
> (澄清一下:*我*认为我们不应试图延缓递归式AI自我改进——我认为应该尽可能开放并民主化它。我的观点是:如果*你*声称应该延缓,并且你拥有最好的模型,那么你应该确保你的组织不能使用它。)
——杰里米·霍华德(https://twitter.com/jeremyphoward/status/2064595816875217362),来自一条推文串
相似文章
Anthropic研究员辞职并警告:自我改进的AI可能"杀死我们所有人"
一位Anthropic研究员辞职,警告自我改进的AI可能对人类构成存在性风险,这一担忧得到了Anthropic对齐科学负责人的呼应。
Anthropic的安全主张
Anthropic主张加强AI安全防护,面对来自开源模型日益激烈的竞争,引发了关于其安全主张是出于真正担忧还是商业动机的辩论。
@TheAhmadOsman: Anthropic 希望公众看到的只有一件事:那个谨慎的实验室、那个安全实验室、那个试图阻止前沿AI失控的房间里的大人……
本文批评Anthropic利用安全言论为反竞争行为辩护,认为该公司对AI接入的控制威胁了开放性和创新。
@Miles_Brundage:少数曾在多家前沿AI公司(以及政府)工作过的人之一就安全问题发表的强烈声明…
Geoffrey Irving 认为,鉴于当前危险局势,继续在前沿AI实验室进行能力研究是不理智的,他敦促实验室和研究人员为了集体安全而停止。
Anthropic 正在成为国际威胁
这是一篇评论文章,批评 Anthropic 拒绝开源其 AI 模型,而像 Google、OpenAI、xAI 和 Meta 这样的竞争对手已经发布了开源模型,文章认为 Anthropic 的立场可能导致 AI 领域出现危险的垄断。