红皇后哥德尔机:共同进化的智能体及其评估者

arXiv cs.LG 论文

摘要

本文介绍了红皇后哥德尔机(RQGM),这是一个在非平稳效用下进行递归自我改进的进化框架,其中智能体和评估者共同进化,提高了在编程任务、科学写作和奥林匹克级证明评分方面的性能。

arXiv:2606.26294v1 公告类型:新 摘要:自我改进的智能体在智能体编程基准测试中已达到最先进水平,并且最近已扩展到一般领域。然而,它们的搜索方法通常假设一个固定的评估标准:一个固定的验证器、基准测试或标注数据集,这些在智能体改进过程中保持有效。这忽略了进化的一个核心特征:物种随着环境的变化而适应。我们的目标是将同样的原则应用于递归自我改进,使评估成为改进循环的一部分,并对进化的评估者、对抗性目标和可能超越静态基准的动态效用开放搜索。我们介绍了红皇后哥德尔机(RQGM),这是一个在非平稳效用下进行递归自我改进的进化框架。RQGM通过受控的效用演化实现了这一点:搜索被组织成若干周期,每个周期内使用固定的评估标准,而效用可以在周期边界更新,因此当目标跨周期演化时,每个周期内的自我改进保证仍然成立。我们首先展示,即使在可验证的编程任务上,RQGM通过添加一个互补的“智能体作为法官”的代码审查信号,优于之前的最先进水平,提高了测试通过率。该信号成本更低,且RQGM使用的令牌数量减少1.35倍至1.72倍。然后我们转向科学论文写作与评审,以及奥林匹克级证明写作与评分,在这些任务中,RQGM比之前的自我改进智能体表现更好:在多样化的“智能体作为法官”小组下,共同进化的写作者的论文接受率提高了1.78倍至1.86倍,而共同进化的评分者的真实准确率提高了9%。在论文评审中,最强的基线评审者过度接受AI生成的论文,比率高达人类评审者的1.91倍。RQGM通过引入一个对抗性目标来纠正这一点,该目标能够发现对AI作品和人类作品同样严格的评审者。
查看原文
查看缓存全文

缓存时间: 2026/06/26 05:17

# 红皇后哥德尔机:共同进化的智能体及其评估者  
来源:https://arxiv.org/abs/2606.26294  
作者:Alex Iacob (https://arxiv.org/search/cs?searchtype=author&query=Iacob,+A)、Andrej Jovanović (https://arxiv.org/search/cs?searchtype=author&query=Jovanovi%C4%87,+A)、William F\. Shen (https://arxiv.org/search/cs?searchtype=author&query=Shen,+W+F)、Daniel Burkhardt (https://arxiv.org/search/cs?searchtype=author&query=Burkhardt,+D)、Meghdad Kurmanji (https://arxiv.org/search/cs?searchtype=author&query=Kurmanji,+M)、Nurbek Tastan (https://arxiv.org/search/cs?searchtype=author&query=Tastan,+N)、Lorenzo Sani (https://arxiv.org/search/cs?searchtype=author&query=Sani,+L)、Niccolò Alberto Elia Venanzi (https://arxiv.org/search/cs?searchtype=author&query=Venanzi,+N+A+E)、Ambroise Odonnat (https://arxiv.org/search/cs?searchtype=author&query=Odonnat,+A)、Zeyu Cao (https://arxiv.org/search/cs?searchtype=author&query=Cao,+Z)、Bill Marino (https://arxiv.org/search/cs?searchtype=author&query=Marino,+B)、Xinchi Qiu (https://arxiv.org/search/cs?searchtype=author&query=Qiu,+X)、Nicholas D\. Lane (https://arxiv.org/search/cs?searchtype=author&query=Lane,+N+D)  

查看 PDF (https://arxiv.org/pdf/2606.26294)  

> **摘要:** 自我改进智能体在智能编码基准测试中已达到最先进水平(SOTA),并最近被扩展到通用领域。然而,其搜索方法通常假设一个固定的评估标准:一个固定的验证器、基准测试或标注数据集,并假设这些标准在智能体改进过程中保持有效。这忽略了进化的一个核心特征:物种会随着其环境的改变而适应。我们旨在将相同原则引入递归自我改进,使评估成为改进循环的一部分,并开放搜索以容纳不断演化的评估者、对抗性目标以及可能超越静态基准的动态效用函数。我们提出了红皇后哥德尔机(RQGM),这是一个用于在非平稳效用下进行递归自我改进的演化框架。RQGM 通过可控的效用演化实现了这一点:搜索被组织为固定时段(epoch),每个时段内采用固定的评估标准,而效用可在时段边界处更新,从而在目标跨时段演化时,每个时段内的自我改进保证依然成立。我们首先证明,即使在可验证的编码任务上,RQGM 通过添加互补的“智能体作为裁判”的代码审查信号,将测试通过率提升至超过之前的 SOTA。该信号成本更低,且 RQGM 使用的 token 数减少了 1.35x–1.72x。随后,我们转向科学论文写作与评审,以及奥林匹克级证明写作与评分任务。在这些任务中,RQGM 优于之前的自我改进智能体:共同进化的写作者在多样化“智能体作为裁判”专家组下,接收率提高了 1.78x–1.86x;而共同进化的评分者达到了高出 9% 的地面真实准确率。在论文评审中,最强的基线评审者以高达人类比率 1.91x 的过度接收率接收了 AI 生成的论文。RQGM 通过引入一个对抗性目标纠正了这一点,该目标发现了对 AI 和人类作品同样严格的评审者。

## 提交历史

来自:Alex Iacob \[查看电子邮件 (https://arxiv.org/show-email/d5e4744a/2606.26294)\] **\[v1\]** 2026年6月24日 星期三 18:38:26 UTC (1,058 KB)

相似文章

@rohanpaul_ai: 来自剑桥大学、英伟达及其他顶尖实验室的新论文教会AI智能体和AI评判者共同改进,使任何一方都不会……

X AI KOLs Following

来自剑桥大学、英伟达及其他实验室的一篇新论文介绍了Red Queen Gödel机器,这是一种让AI智能体及其评估者共同进化以防止停滞的方法。该方法通过允许评判者在安全交接点改进来避免固定基准,从而在编程和论文写作任务中取得更好的性能。

@Phoenixyin13: 震撼!来自英伟达和剑桥大学等团队的这篇 Red Queen Gödel Machine 绝对是我近期认为最重要的 AI 论文之一。 这次,论文直接针对自我改进 AI 的核心瓶颈: 以前,评估器一旦固定不变,就会导致代理钻空子或者快速停滞不…

X AI KOLs Timeline

英伟达与剑桥大学等团队提出的Red Queen Gödel Machine论文,通过让代理和评估器共进化解决了递归自我改进的瓶颈,在代码、论文写作等任务上超越现有SOTA,为可控开放式AI进化提供了重要方法论。

通过联合生成与评估实现自进化深度研究

arXiv cs.CL

来自香港科技大学、字节跳动和UCL的研究人员提出了SCORE——一种协同进化训练框架,将LLM同时训练为深度研究报告生成器和评估器,并通过元约束机制动态调整评估难度,防止奖励饱和。实验表明,该方法在开放式研究报告质量上取得了持续提升。

@AlphaSignalAI: https://x.com/AlphaSignalAI/status/2054201045346287766

X AI KOLs Timeline

文章探讨了 Sakana AI 和 Meta 关于自我改进型 AI 智能体的最新研究,具体涉及达尔文-哥德尔机器(Darwin-Gödel Machine)和超智能体(Hyperagents),它们能够自主重写自身代码和基础设施以提升性能,且无需人工干预。