@rohanpaul_ai: 自我改进的AI的真实性仅取决于其测试信号的有效性。梳理1250篇论文揭示了……
摘要
对1250篇关于AI递归自我改进的论文的分析表明,评估者信号是关键瓶颈。模型只有在强大且可信的信号(如证明检查器)下才能可靠改进,而弱信号则会导致循环崩溃或强化错误。
查看缓存全文
缓存时间: 2026/07/21 08:37
能够自我改进的人工智能,其真实性完全取决于用于验证它是否有效的那套信号。
对1250篇论文的梳理揭示了一个单一瓶颈:评估者(evaluator),它决定了什么才算“更好”。
在一项受控实验中,模型在没有外部检查的情况下进行了10轮自我批评,结果改进停滞不前,直到它们获得了一个单一的接地(grounding)步骤。
因此,当信号足够强时(例如证明检查器或测试通过),系统会随时间不断改进;而当信号较弱时(例如模型对自己过于自信),循环往往趋向于崩溃,或强化模型最确信的那些错误。
人们随意使用“自我改进”这一术语,仿佛模型是在编辑自己的草稿,或智能体在重写自己的代码,但这掩盖了真正差异。
每种方法都依据系统中什么发生了变化,以及每次变化是否仍由人类检查来排名。
每一个循环都是一场赌博:我们用自动信号替代人类判断,并且只有当该信号值得信赖时,改进才会发生。
– arxiv.org/abs/2607.07663
标题:“人工智能中的递归自我改进:从有界自精炼到自主研究循环”
相似文章
@rohanpaul_ai: 这篇论文展示了一种人工智能通过重写其设置并更新其模型来更好地自我改进。问题是,大部分…
本文介绍了SIA,一种自我改进的AI循环,它结合了脚手架重写和权重更新(通过LoRA)以提升任务性能。在三个不同的任务上测试,它优于仅使用脚手架改进的设置。
AI自我改进能否克服收益递减?(38分钟阅读)
本文探讨AI递归自我改进是否能克服收益递减,认为当前数据表明,除非有显著进步,否则自我改进循环不足以引发失控的智能爆炸。
AI中的递归自我改进:从有界自我优化到自主研究循环
对2024–2026年间1,250篇关于AI递归自我改进的论文进行了全面综述,提出了将有界自我优化与开放式递归自我改进相区分的分类体系,并分析了评估器设计空间和失败模式。
@EinsiaAI: 1/ 递归自我改进 (RSI) 取决于代理如何改进AI系统的训练——而不仅仅是调整超参数…
本文介绍了AI4AI-Bench,这是一个评估AI代理改进训练算法能力的基准测试,展示了在十个研究仓库中性能分数低和探索成本高的情况。
Anthropic研究人员首次展示了自我改进AI的潜力
Anthropic研究人员发表了一篇论文,介绍了一种自动化系统,该系统能够通过使用其他AI模型训练模型来可靠地提高AI对齐性,显示出在递归自我改进方面的潜力,并在某些场景中超越了人类研究人员。