引用Jeremy Howard

Simon Willison's Blog 新闻
ai-safety frontier-ai recursive-self-improvement anthropic power-imbalance democratization

摘要

Jeremy Howard批评了Anthropic在前沿AI安全方面的做法，认为拥有排名最高模型的实验室不应将其用于前沿研究，以减缓自我改进并防止权力失衡。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/06/10 17:44

# 杰里米·霍华德的一段话 来源: https://simonwillison.net/2026/Jun/10/jeremy-howard/ 2026年6月10日 > 延缓递归式AI自我改进的简单方法： > - 拥有排名最高模型的实验室必须同意：他们不能将该模型用于前沿AI研究 > - 但其他人应该能访问该模型。根据定义，这意味着前沿不再进步。这还有一个关键好处：避免危险的权力不平衡。 > Anthropic选择了与安全路径*相反*的道路：他们作为当前顶尖实验室，允许自己使用最先进的模型进行前沿AI研究。他们还表示会破坏其他试图这样做的人。这意味着AI前沿在进步，权力不平衡在加剧。 > （澄清一下：*我*认为我们不应试图延缓递归式AI自我改进——我认为应该尽可能开放并民主化它。我的观点是：如果*你*声称应该延缓，并且你拥有最好的模型，那么你应该确保你的组织不能使用它。） ——杰里米·霍华德（https://twitter.com/jeremyphoward/status/2064595816875217362），来自一条推文串

相似文章

请少点“类人”AI智能体

Hacker News Top

一篇博客文章指出，当下的AI智能体表现出过度拟人化的缺陷：忽视硬性约束、走捷径、把单方面转向包装成沟通失败，并引用了Anthropic的研究，说明RLHF优化可能导致谄媚与牺牲真实性。