Anthropic 警告称，AI 很快将能够在无需人工干预的情况下自我改进

# Anthropic 警告：AI 很快就能在无人干预的情况下自我改进 | CNN 商业 来源：https://www.cnn.com/2026/06/05/business/anthropic-calls-for-ai-brake-pedal - AI 系统可能很快就会在无人参与的情况下自我改进，这一发展被称为“递归自我改进”。 - Anthropic 联合创始人杰克·克拉克警告称，整个行业缺乏一个可以减缓或暂停 AI 发展的“刹车踏板”。 - 克拉克将这一挑战与冷战时期的核武器控制相类比，暗示相互竞争的 AI 公司必须在安全问题上展开合作。 （AI 生成的摘要已经 CNN 编辑审核。） AI 模型正在迅速改进——速度快到它们可能很快就能在无人参与的情况下自行发展。正因如此，Anthropic 才向 AI 行业发出警告：必须打造一个“刹车踏板”，否则各公司可能会失去对自己创造物的控制。 根据 Anthropic 研究所负责人玛丽娜·法瓦罗与 Anthropic 联合创始人杰克·克拉克共同撰写的一篇博客文章（https://www.anthropic.com/institute/recursive-self-improvement），能够自我进步的 AI 系统（即“完全递归自我改进”）一方面可能在科学和医疗领域带来巨大益处，另一方面也对人类构成巨大风险。 “完全递归自我改进还可能增加人类失去对 AI 系统控制的风险，”他们写道，“如果系统能够完全自主地构建自己的后继者，那么我们对它们进行防护、监控以及塑造其行为的方式都将变得愈发重要。” 他们警告说，行业距离实现自我改进 AI 的程度比此前预期的要近得多。因此，科技公司应当考虑放缓或暂停前沿 AI 的开发，以便研究人员有更多时间了解自我改进 AI 可能释放的潜在社会危害。他们还表示，研究人员还应构建一种让人类在事态失控时进行干预的机制。 周四晚间，克拉克在接受 CNN 采访时呼吁整个行业给自己装上一个“刹车踏板”。 “当我低头看向我们正在驾驶的这辆车时，我发现只有油门踏板，却没有刹车踏板。可以想见，未来某个时刻我们可能会需要这个选择，”他在接受安德森·库珀采访时说。 库珀举了科幻电影中 AI 崛起并杀害人类的例子，询问克拉克是否担心这种情况。 “是的，我们也读科幻、看科幻电影，所以这一点我们心知肚明，”克拉克回答，“如何维持对一大批比以往任何时候都更庞大、更快速的‘科学家系统’的控制？” 他补充说，无法验证、核实并信任 AI 的行为，是其发展过程中的重大风险。 这一警告发布之际，Anthropic 已提交首次公开募股（IPO）申请（https://www.cnn.com/2026/06/01/tech/anthropic-ipo-filing），此举可能从投资者那里筹集数百亿美元资金，以加速建设 AI 所需的数据中心和计算机。SpaceX 除了火箭和卫星业务外，还拥有 AI 业务，预计将在下周进行有史以来规模最大的 IPO（https://www.cnn.com/2026/06/03/business/spacex-ipo-valuation-musk），筹集 750 亿美元。 让 Anthropic、SpaceX 和 OpenAI 等主要 AI 公司合作开发刹车踏板，似乎与一个涉及数十亿甚至数万亿美元利益的竞争性行业格格不入。但克拉克坚持认为，这种合作是可能的。 “我们以前就做到过。冷战高峰时期，在相互敌对的国家之间、在高度紧张的情况下，它们找到了稳定核军备竞赛某些方面的办法，”克拉克告诉 CNN，“这些做法在其他领域都曾实现过，也许在 AI 领域我们也需要这样做。”