正值ICML周之际，我们分享对递归自我改进人工智能中一个关键问题的看法：如果评估者保持不变，人工智能如何持续进步？

我们的答案是红皇后哥德尔机（Red Queen Gödel Machine, RQGM），由@CaMLSys、@nvidia、@flwrlabs、@mbzuai 和 @Inria 合作开发，由@Alex__Iacob（@Cambridge_Uni）领导。这项研究尚处于早期阶段，但潜力巨大。一个突出的结果是，在少数狭义案例中，我们展示了一个主要使用 Nemotron 3 Ultra 的智能体可以达到接近 GPT 5.5 的性能。

自我改进是人工智能下一次重大突破中较为可信的赌注之一。但当前大量相关工作的核心问题在于评估者。现行方法通常假设存在一个位于自我改进循环之外的基准或奖励模型。这在初期有效，但评估者会饱和、会被利用，并且随着系统改进，它们可能变得不再有用。

我们的红皇后哥德尔机让智能体和评估者共同进化。智能体在任务执行上变得更好，评估者在评判能力上也变得更强。在编程任务上，它已经超越了此前最佳的自我改进人工智能搜索方法，同时使用的token减少了1.35至1.72倍；同样的思路也适用于论文写作和审阅以及证明评分。

论文：https://arxiv.org/abs/2606.26294

RQGM 团队全体成员：@Alex__Iacob、@itsmaddox_j、@williamfshen、@DBBurkhardt、@meghdadkurmanji、Nurbek Tastan、@lorenzosani97、@NickVenanzi、@AmbroiseOdonnat、Jamie Cao、Bill Marino、@xinchiqiu 和 @niclane7。

红皇后哥德尔机：智能体与其评估者的共同进化

来源：https://arxiv.org/abs/2606.26294 作者：Alex Iacob（https://arxiv.org/search/cs?searchtype=author&query=Iacob,+A）、Andrej Jovanović（https://arxiv.org/search/cs?searchtype=author&query=Jovanovi%C4%87,+A）、William F. Shen（https://arxiv.org/search/cs?searchtype=author&query=Shen,+W+F）、Daniel Burkhardt（https://arxiv.org/search/cs?searchtype=author&query=Burkhardt,+D）、Meghdad Kurmanji（https://arxiv.org/search/cs?searchtype=author&query=Kurmanji,+M）、Nurbek Tastan（https://arxiv.org/search/cs?searchtype=author&query=Tastan,+N）、Lorenzo Sani（https://arxiv.org/search/cs?searchtype=author&query=Sani,+L）、Niccolò Alberto Elia Venanzi（https://arxiv.org/search/cs?searchtype=author&query=Venanzi,+N+A+E）、Ambroise Odonnat（https://arxiv.org/search/cs?searchtype=author&query=Odonnat,+A）、Zeyu Cao（https://arxiv.org/search/cs?searchtype=author&query=Cao,+Z）、Bill Marino（https://arxiv.org/search/cs?searchtype=author&query=Marino,+B）、Xinchi Qiu（https://arxiv.org/search/cs?searchtype=author&query=Qiu,+X）、Nicholas D. Lane（https://arxiv.org/search/cs?searchtype=author&query=Lane,+N+D）

查看 PDF（https://arxiv.org/pdf/2606.26294）

摘要：自我改进的智能体在智能体编程基准上已达到最先进水平（SOTA），并最近被推广到通用领域。然而，其搜索方法通常假设评估标准是固定的：一个静态的验证器、基准或标注数据集，在智能体改进过程中始终有效。这忽略了进化的一个核心特征：物种在环境与之共同变化中适应。我们旨在将这一原则引入递归自我改进，使评估成为改进循环的一部分，并开放搜索以应对不断进化的评估者、对抗性目标和动态效用，这些可能超越静态基准。我们引入了红皇后哥德尔机（RQGM），这是一个用于非平稳效用下递归自我改进的进化框架。RQGM 通过受控的效用进化实现了这一点：搜索被组织为多个阶段，每个阶段内评估标准固定，而效用可在阶段边界处更新，因此当目标在阶段间演变时，每个阶段内的自我改进保证仍然成立。我们首先表明，即使在可验证的编程任务上，RQGM 通过添加互补的“智能体作为评审”代码审查信号，将测试通过率提升超过先前的最先进水平。该信号成本更低，且 RQGM 使用的 token 数量减少了 1.35 倍至 1.72 倍。然后我们转向科学论文写作与审阅，以及奥林匹克级别的证明写作与评分，在这些任务中，RQGM 优于先前的自我改进智能体：共同进化的写作者在多样化的“智能体作为评审”小组下，接收率提高了 1.78 倍至 1.86 倍；而共同进化的评分者在真实准确率上提高了 9%。在论文审阅中，最强的基线审阅者以高达人类速度 1.91 倍的比例过度接受人工智能生成的论文。RQGM 通过引入一个对抗性目标来纠正这一问题，该目标能发现对人工智能作品和人类作品同样严格的审阅者。

提交历史

来自：Alex Iacob [查看电子邮件（https://arxiv.org/show-email/d5e4744a/2606.26294）] [v1]（https://arxiv.org/abs/2606.26294v1）2026年6月24日星期三 18:38:26 UTC（1,058 KB）[v2] 2026年6月29日星期一 17:13:25 UTC（1,116 KB）