Anthropic警告自我改进的AI,支持前沿AI暂停,称Claude编写了公司80%的代码

Reddit r/ArtificialInteligence 新闻

摘要

Anthropic警告称AI正在加速AI开发(递归自我改进),并支持协调暂停,透露Claude目前编写了其生产代码的80%以上。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/06/05 11:14

# Anthropic 警告自我改进型 AI,支持暂停前沿 AI 研究,Claude 已编写公司 80% 代码 来源:https://www.ibtimes.sg/anthropic-warns-self-improving-ai-calls-temporary-pause-claude-now-writes-over-80-its-code-87441 Anthropic 发出了迄今为止关于人工智能(AI)未来最强烈的警告之一,透露其 Claude AI 模型已经在加速 AI 发展,同时辩称,如果进展开始超越安全措施,世界应该有能力暂时暂停前沿 AI 研究。 该公司(https://www.ibtimes.sg/eu-set-access-anthropics-powerful-ai-hacking-tool-fears-grow-over-cyber-threats-87280)表示,如果其他领先的 AI 实验室同意这样做,它将支持对高级 AI 开发进行协调且可验证的放缓或暂停。 根据来自 Anthropic Institute 的一份新报告(https://www.anthropic.com/institute/recursive-self-improvement),该公司展示了内部和公开基准数据,显示 AI 系统正越来越多地参与到更新、更强大的 AI 模型的创建中。 尽管 Anthropic 强调尚未实现完全自主的 AI 开发,但它警告说,“递归自我改进”的可能性——即 AI 系统设计并开发自己的后继者——可能会比许多机构预期的更早到来。 “AI 已经在加速 AI 系统的开发,”报告称。根据 Anthropic 的说法,其工程师现在每个季度发布的代码量大约是 2021 年至 2025 年期间的八倍,这主要归功于 Claude 的协助。 ### **Claude 编写超过 80% 的生产代码** 公司披露,截至 2026 年 5 月,合并到 Anthropic 生产代码库中的代码有超过 80% 是由 Claude 编写的。 > Claude 编写了 Anthropic 代码的很大一部分。截至 2026 年 5 月,我们合并到 Anthropic 代码库中的代码有超过 80% 是由 Claude 编写的。^3 在 Claude Code 于 2025 年 2 月以研究预览形式发布之前,这个数字只有个位数。这种转变也体现在每位工程师的输出量上。 ### **编码、研究和长时间任务性能的快速提升** 报告还强调了 AI 能力的快速提升。Anthropic 指出,AI 系统能够可靠完成的任务持续时间大约每四个月翻一番。 > 2024 年 3 月,Claude Opus 3 可以完成人类大约需要四分钟才能完成的软件任务。一年后,Claude Sonnet 3.7 可以处理大约一个半小时的任务。又过了一年,Claude Opus 4.6 可以处理 12 小时的任务。^1 > 如果这一趋势持续下去,熟练人员需要几天才能完成的任务今年可能触手可及。到 2027 年,AI 系统可能能够处理人类需要数周才能完成的任务。 Anthropic 表示,模型已经有效饱和了 SWE-bench(一个广泛使用的软件工程基准测试)和 CORE-Bench(衡量模型重现科学研究能力的测试)等测试。 内部来看,Claude 的能力已超越编码。Anthropic 报告称,该 AI 现在能够以超人的速度执行定义明确的研究实验。 Anthropic Claude MythosAnthropic Claude MythosGoogle - Gemini 在一次测试中,Claude Mythos Preview(https://www.ibtimes.sg/anthropics-claude-mythos-preview-uncovers-10000-high-risk-software-vulnerabilities-50-partners-86807)实现了约 52 倍的代码优化性能提升,而熟练的人类研究人员经过数小时工作通常只能实现约 4 倍的提升。 Anthropic 认为,人类在 AI 开发中的角色正在逐渐缩小。虽然 AI 系统能够越来越独立地编写代码、运行实验和识别解决方案,但人类在“研究品味和判断”方面仍然保持着显著优势,决定哪些问题重要以及研究应该朝哪个方向进行。 然而,公司警告说,这一优势可能不会永远持续。 > 不那么保守的解读是,关于 Claude 研究判断能力提升的早期证据——尽管目前还很有限——表明这一能力也在改善。“研究品味”可能只是 AI 系统在一段时间内失败、然后变得擅长的另一种 AI 能力。我们在其他定性技能上也看到了类似的模式,比如 AI 系统能够解释笑话为什么好笑、展示心理理论以及解决语言谜题。 ### **暂停前沿 AI 研究** Anthropic 表示,如果没有全球协调框架,企业和政府将不得不在竞争和地缘政治压力下做出艰难的安全决策。 > 我们认为,让世界有能力放缓或暂时暂停前沿 AI 开发,以便社会结构和对齐研究能够跟上技术进步的步伐,这对世界是有益的。 这家 AI 巨头计划召集政策制定者、研究人员、民间社会团体和 AI 公司,讨论递归自我改进的风险以及潜在的协调机制。Anthropic 表示将公布讨论结果,并指出在仍然有时间塑造 AI 治理(https://www.ibtimes.sg/bernie-sanders-ai-wealth-sharing-plan-give-americans-ownership-stakes-openai-anthropic-xai-87289)的时候,需要更广泛的公众参与。 如果没有这样的协调,公司警告说,竞争压力可能会破坏安全工作,并加速向日益自主的 AI 系统的竞赛。

相似文章

这波AI到底要走向何方?

Reddit r/ArtificialInteligence

作者反思了AI行业释放的混乱信号,指出高额投入并未带来相应的生产力提升,而Anthropic一边限制Claude Code的访问权限、一边大规模融资,让人怀疑AI革命性宣言的真实方向。