@rohanpaul_ai: 来自剑桥大学、英伟达及其他顶尖实验室的新论文教会AI智能体和AI评判者共同改进,使任何一方都不会……
摘要
来自剑桥大学、英伟达及其他实验室的一篇新论文介绍了Red Queen Gödel机器,这是一种让AI智能体及其评估者共同进化以防止停滞的方法。该方法通过允许评判者在安全交接点改进来避免固定基准,从而在编程和论文写作任务中取得更好的性能。
查看缓存全文
缓存时间: 2026/06/29 10:34
来自剑桥大学、英伟达及其他顶级实验室的新论文,教AI智能体与AI评审者共同改进,避免任何一方陷入停滞。
它将自我改进AI从固定基准转向循环机制,让负责评判的一方也能持续进化。
问题在于大多数自我改进智能体都针对固定基准或固定评估器进行训练,导致得分可能变得陈旧、过于简单或容易被钻空子。
该论文的思路是让评估器也能改进,但仅在安全的交接点进行,使每轮训练阶段仍拥有稳定的评审者。
在每个阶段,智能体由当前冻结的评估器测试,同时潜在的更优评估器则针对预留的人类答案或客观答案进行独立测试。
作者在编程、论文写作、论文评审、证明写作和证明评分等任务上进行了实验——其中有些任务有明确答案,另一些则需要习得性判断。
在编程任务中,该系统以1.35到1.72倍更少的token消耗超越了此前最优的自我改进编程智能体,因为一个廉价的代码评审者提供了有用的反馈。
在论文写作任务中,与固定评估器基线的论文相比,共同进化的写手平均被评审专家组接受的几率提高了约1.86倍。
核心观点是更强的AI系统可能需要随着它们成长的更强评审者,因为固定测试可能不再能施加有效压力。
链接:arxiv.org/abs/2606.26294
标题:《红皇后格德尔机:智能体及其评估器的协同进化》
相似文章
@niclane7: 恰逢ICML周,我们分享对递归自我改进AI关键问题的看法。AI如何持续…
红皇后哥德尔机器通过共同进化智能体和评估器,实现AI的递归自我改进,用更少的token达到更好的编码性能。
@Phoenixyin13: 震撼!来自英伟达和剑桥大学等团队的这篇 Red Queen Gödel Machine 绝对是我近期认为最重要的 AI 论文之一。 这次,论文直接针对自我改进 AI 的核心瓶颈: 以前,评估器一旦固定不变,就会导致代理钻空子或者快速停滞不…
英伟达与剑桥大学等团队提出的Red Queen Gödel Machine论文,通过让代理和评估器共进化解决了递归自我改进的瓶颈,在代码、论文写作等任务上超越现有SOTA,为可控开放式AI进化提供了重要方法论。
红皇后哥德尔机:共同进化的智能体及其评估者
本文介绍了红皇后哥德尔机(RQGM),这是一个在非平稳效用下进行递归自我改进的进化框架,其中智能体和评估者共同进化,提高了在编程任务、科学写作和奥林匹克级证明评分方面的性能。
@rohanpaul_ai: 自我改进的AI的真实性仅取决于其测试信号的有效性。梳理1250篇论文揭示了……
对1250篇关于AI递归自我改进的论文的分析表明,评估者信号是关键瓶颈。模型只有在强大且可信的信号(如证明检查器)下才能可靠改进,而弱信号则会导致循环崩溃或强化错误。
@dair_ai: https://x.com/dair_ai/status/2073814128888549810
本周三篇值得关注的人工智能论文精选:自我改进框架(Red Queen Gödel Machine)、MCP 服务器的设计模式,以及关于编码智能体的强化学习奖励验证研究。