@rohanpaul_ai: 自我改进的AI的真实性仅取决于其测试信号的有效性。梳理1250篇论文揭示了……

X AI KOLs Timeline 论文

摘要

对1250篇关于AI递归自我改进的论文的分析表明,评估者信号是关键瓶颈。模型只有在强大且可信的信号(如证明检查器)下才能可靠改进,而弱信号则会导致循环崩溃或强化错误。

自我改进的AI的真实性仅取决于其测试信号的有效性。 梳理1250篇论文发现了一个关键瓶颈:评估者,即决定何为更好的标准。 在一项对照实验中,经过10轮自我批评但没有外部检查的模型在获得一次基础验证步骤之前一直停滞不前。 因此,当信号强大时(如证明检查器或通过的测试),系统会随时间改进。当信号微弱时(例如模型对自己的判断过于自信),循环往往会停滞、崩溃,或强化模型最确信的错误。 人们随意使用“自我改进”一词,仿佛模型在编辑自己的草稿,或代理在重写自己的代码,从而掩盖了真正的差异。 每种方法都根据系统中哪些部分发生了变化,以及每次改变是否仍由人类检查来排序。 每一次循环都是一场赌博:我们能否用自动信号替代人类判断?只有信号可信时,改进才能发生。 – arxiv.org/abs/2607.07663 标题:“Recursive Self-Improvement in AI: Bounded Self-Refinement to Autonomous Research Loops”
查看原文
查看缓存全文

缓存时间: 2026/07/21 08:37

能够自我改进的人工智能,其真实性完全取决于用于验证它是否有效的那套信号。

对1250篇论文的梳理揭示了一个单一瓶颈:评估者(evaluator),它决定了什么才算“更好”。

在一项受控实验中,模型在没有外部检查的情况下进行了10轮自我批评,结果改进停滞不前,直到它们获得了一个单一的接地(grounding)步骤。

因此,当信号足够强时(例如证明检查器或测试通过),系统会随时间不断改进;而当信号较弱时(例如模型对自己过于自信),循环往往趋向于崩溃,或强化模型最确信的那些错误。

人们随意使用“自我改进”这一术语,仿佛模型是在编辑自己的草稿,或智能体在重写自己的代码,但这掩盖了真正差异。

每种方法都依据系统中什么发生了变化,以及每次变化是否仍由人类检查来排名。

每一个循环都是一场赌博:我们用自动信号替代人类判断,并且只有当该信号值得信赖时,改进才会发生。

– arxiv.org/abs/2607.07663

标题:“人工智能中的递归自我改进:从有界自精炼到自主研究循环”

相似文章

Anthropic研究人员首次展示了自我改进AI的潜力

TechCrunch AI

Anthropic研究人员发表了一篇论文,介绍了一种自动化系统,该系统能够通过使用其他AI模型训练模型来可靠地提高AI对齐性,显示出在递归自我改进方面的潜力,并在某些场景中超越了人类研究人员。