Anthropic研究人员首次展示了自我改进AI的潜力
摘要
Anthropic研究人员发表了一篇论文,介绍了一种自动化系统,该系统能够通过使用其他AI模型训练模型来可靠地提高AI对齐性,显示出在递归自我改进方面的潜力,并在某些场景中超越了人类研究人员。
针对特定不对齐行为的10个基准测试中,自动化系统能够在不降低整体性能的情况下,提高每一个测试的性能。
查看缓存全文
缓存时间: 2026/08/28 21:30
# Anthropic 研究员首次展示自我进化AI | TechCrunch
来源:https://techcrunch.com/2026/08/28/an-anthropic-researcher-just-gave-us-a-peek-at-self-improving-ai/
用其他AI模型训练AI模型已成为人工智能实验室的热门目标——如今,Anthropic研究员计划中的一位研究人员向我们展示了这一技术在实践中的早期雏形。
本周五,Anthropic发表了题为《自动化研究者能可靠缓解对齐失败》(https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures)的新论文,详细阐述了AI系统如何可靠地提升模型在特定对齐基准测试中的表现。当面对10项针对特定错误行为的基准测试时,自动化系统能够在不降低整体性能的前提下,提升每一项测试的得分。
该系统由Anthropic研究员陈悦翰领导开发,复刻了传统研究方法的多个环节。每个自动化系统都会检索现有文献、提出解决方案,并用该方法训练模型30分钟,经过多次迭代逐步提升基准表现。有效方法被保留,无效方法被丢弃,使系统能够快速高效地大规模运作。
论文指出:“总体而言,这些结果提供了早期证据,表明自动化对齐后训练在近期可能具备实用性。”
该论文为递归自我提升(https://techcrunch.com/2026/05/28/rsi-is-the-new-agi-and-its-just-as-hard-to-pin-down/)研究迈出重要一步,许多研究者视此为AI发展的下一重大里程碑。如果模型能改进自身的对齐训练,它们很可能也能更广泛地优化训练实践——届时人类AI研究员或许很快将变得不再必要。
论文直言不讳地探讨了这一可能性,明确将自动化对齐研究者(AAR)与人类研究者进行对比。论文中写道:“在平均六小时内,最优AAR方法的表现超越了经验丰富的人类研究者提出的方案。人类指导的研究方向并未带来更强的性能。”
论文甚至进行了成本对比,以说服持疑者:“AAR的API推理成本约为每小时4美元,而我们支付给人类研究员的薪酬为每小时150美元。”
公平地说,论文也指出了该方法的局限性。自动化系统的有效性取决于基准测试是否能真实反映实际的对齐目标,即便如此,在建立和维护这些基准测试方面仍有大量工作待完成——更不用说维护与扩展自动化研究者所依赖的文献库了。
*当您通过文章中的链接购买商品时,我们可能会获得少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。*
Russell Brandom自2012年起从事科技行业报道,重点关注平台政策与新兴技术。此前曾在The Verge和Rest of World任职,并为Wired、The Awl和MIT Technology Review撰稿。联系方式:[email protected] 或 Signal账号 412-401-5489。
[查看个人简介](https://techcrunch.com/author/russell-brandom/)
相似文章
当AI自我构建:我们在递归自我改进方面的进展
Anthropic研究院发布了一项关于递归自我改进进展的分析报告,显示AI已在加速AI开发——工程师每季度的代码产出提升了8倍——并预测具备完全自主自我改进能力的AI系统或将比大多数机构所预期的更早到来。
AI研究人员辩论我们接近递归自我改进的程度
AI研究人员辩论递归自我改进的可行性和时间线,讨论自动化AI研究人员、强化学习以及向AGI的进展。
Anthropic的自动化对齐研究人员表现显著优于人类研究人员
Anthropic宣布其自动化对齐研究系统超越人类研究人员,标志着AI安全与效率的重大进步。
AI研究智能体的递归自我改进
本文介绍了AIDE^2,这是一个系统,它使AI研究智能体能够通过递归自我改进自主提升其代码,从而在多种AI研究任务中获得性能提升。
OPENAI:"我们也在当今系统中看到了递归自我改进的早期迹象"
OpenAI 报告称,在当前的人工智能系统中看到了递归自我改进的早期迹象,这可能是人工智能能力的一个重要发展。