AI中的递归自我改进：从有界自我优化到自主研究循环

从有界自我精炼到自主研究循环  
来源：https://arxiv.org/html/2607.07663  

## AI中的递归自我改进：从有界自我精炼到自主研究循环  

陈明光¹,∗\*王丽程²Bo Qu³  
¹ 加州大学河滨分校（UCR）  
² AlphaAvatar  
³ 伊利诺伊理工学院（IIT）  
∗\*通讯作者。邮箱：[email protected] (https://arxiv.org/html/2607.07663v1/mailto:[email protected])  
（2026年7月）  

###### 摘要  

AI系统越来越多地参与自身的改进：在部署过程中修改输出、调整并演化自身框架，使用自身生成的数据进行训练，并且在不断增长的研究线索中，自主进行AI研究本身。描述这种参与的文献已呈爆炸式增长，但所用的词汇（“self-refine”、“self-reward”、“self-play”、“self-evolve”）混淆了本质上截然不同的目标。我们调查了1,250篇arXiv论文（2024–2026年），并沿两个轴对其进行组织：*系统改进什么*——部署中的行为、通过训练得到的策略、评估器，或研究过程本身——以及*循环闭合程度*（从人在环中到完全闭合）。该分类法将*有界自我精炼*——收敛、可评估且已成为工业实践——与*开放式递归自我改进*（RSI）区分开来，后者在所有当前证据可衡量的方面都受到基础要求、坍缩动态和计算约束的限制。其显著特征是为*自我评估*设立了专属类别：每个改进循环都暗含一个主张，即某种信号可以替代人类判断，因此我们调查了评估器设计空间——判别器、过程奖励模型、验证器、评分准则、元评估——以及它所监督的循环，将信号按验证层级排序，从形式验证器（最强）到内在自我评估（最弱），并观察到已展示的自我改进强度与该层级一致，其典型故障模式（自确认循环、模型坍缩、多样性坍缩）源于对该层级的违反，而将人类留在环中的“研究方向设定”瓶颈正是该层级的顶端。我们将技术文献与RSI极限理论以及前沿实验室关于闭环的叙述所引发的安全与治理问题联系起来，并将可治理级别的自我改进度确定为该领域最缺乏研究的空白。  

## 1. 引言  

人工智能能够自我改进——且每一次改进可能使下一次更容易——这一想法是该领域最古老的思想之一。Good的“智能爆炸”论点[43](https://arxiv.org/html/2607.07663#bib.bib1268)和Schmidhuber的可证明最优Gödel机[115](https://arxiv.org/html/2607.07663#bib.bib1267)在可能尝试实现它的系统出现前几十年，就将递归自我改进（RSI）视为一个理论终点。如今发生的变化是，循环的碎片已成为工程实践。大型语言模型常规性地批判并修改自身输出，使用自身生成的数据进行训练，重写自身代理框架，并在像FunSearch[112](https://arxiv.org/html/2607.07663#bib.bib1260)和AlphaEvolve[104](https://arxiv.org/html/2607.07663#bib.bib1263)这样的系统中，发现了反哺到AI开发基础设施本身的算法。Anthropic最近关于递归自我改进的文章[3](https://arxiv.org/html/2607.07663#bib.bib1251)将此转变描述为AI改进循环中AI自主性递增的连续体：从人类编写所有代码（2023年之前），经过聊天机器人辅助编码和自主编码代理，到如今代理将工作委派给其他代理，以及——在该谱系末端——“闭环”：设计并训练其继任模型的代理。文章认为，当前系统在执行*方面*明显位于该谱系较远位置（截至2026年5月，据称Claude编写了Anthropic合并代码的80%以上），但在*研究方向设定*——选择哪些问题重要——方面仍然存在瓶颈。剩余差距是否闭合、何时闭合以及如何闭合，很可能是该领域最具后果性的开放性问题。我们将该文章作为动机框架和阶段词汇的来源，而非证据；调查的证据基础是下面收集的同行文献。  

本调查绘制了该问题背后的研究文献图景。我们汇编了一个包含1,250篇arXiv论文（2024–2026年）的语料库——对自我改进文献的七个线索进行了系统性种子采集，获得871篇论文；再根据下文分类法（§2.3）中作为一等类别的方向，进行了有针对性的补充采集，新增379篇论文——并将所有论文分类为*四个技术类别加上一个基础系列*（表1）。以下三个观察结果促使了本文的结构：  

首先，“自我改进”并非单一事物。该术语用于推理时输出修正（Self-Refine[99](https://arxiv.org/html/2607.07663#bib.bib1253)）、基于自生成数据的训练循环（STaR[173](https://arxiv.org/html/2607.07663#bib.bib1252)、Self-Rewarding LMs[171](https://arxiv.org/html/2607.07663#bib.bib1259)）、自行重写代码的代理（Gödel Agent[169](https://arxiv.org/html/2607.07663#bib.bib546)、Darwin Gödel Machine[180](https://arxiv.org/html/2607.07663#bib.bib1266)）以及自主进行AI研究的系统[91](https://arxiv.org/html/2607.07663#bib.bib1262)。这些系统在目标和风险特征上差异巨大，但文献中的“self-X”词汇（self-refine、self-reward、self-play、self-distill、self-evolve、self-verify）掩盖了这些差异。我们沿两个轴组织该领域：(i) *系统改进什么*——其在*部署*中的行为（输出、测试时适应的权重，或自身框架）、通过训练阶段改进的*策略*、其*评估器*（定义“更好”的信号），或*研究过程本身*；以及(ii) *循环闭合程度*——是人类在环中、审查自动生成的信号，还是完全缺席？  

其次，该领域的加速速度超过其整合速度。我们语料库中74%的论文发布于2026年；种子采集中的季度产出从2024年初的个位数增长到2026年第二季度的约500篇（图6）。现有调查涵盖单一切片——在线蒸馏[126](https://arxiv.org/html/2607.07663#bib.bib317)、树搜索加奖励方法[147](https://arxiv.org/html/2607.07663#bib.bib290)——但没有调查覆盖从有界自我精炼到开放式RSI的完整谱系。这种以明确的自主性连续体为核心的整合，是本文的主要贡献。  

第三，一个瓶颈在所有地方反复出现：评估器。我们调查的每个类别的存亡都取决于其改进信号的可靠性——验证器、奖励模型、执行反馈、证明检查器、元评估器。在答案可检查（代码、数学）时自训练有效，在不可检查时退化；自动化研究人员生成流畅的论文，但其主张难以审计；自奖励循环会劫持自己的判别器。因此，我们*不*将自我评估视为跨领域评论，而是将其作为一个独立类别（§5）——其他三个类别所依赖的支柱。  

**贡献。** (1) 一个双轴分类法——四个改进类别乘以循环闭合程度——清晰区分了*有界自我精炼*与*开放式递归自我改进*，并取代了模糊的self-X词汇（§2）。(2) 对1,250篇近期论文进行系统性映射，纳入该分类法，每个类别在§§3–6中调查。(3) 对自我评估进行专门处理——评估器设计空间、验证层级以及违反该层级所导致的故障模式——作为该领域的共同限制因素（§5）。(4) 对理论、极限和安全文献进行综合，将技术线索与起飞问题联系起来（§7）。  

表1. 分类法的四个技术类别加上基础系列，附语料库覆盖情况。  

| 类别 | 子线索 | 论文数 | 2026年发布百分比 |
|------|--------|--------|------------------|
| 部署时自我演化 (§3) | 输出精炼 · 测试时训练 · 框架/技能演化 | 393 | 74% |
| 训练时自我迭代 (§4) | 自奖励RL · 思维链自训练 · 自蒸馏 · 自对弈（含零数据）· 具身 | 340 | 69% |
| 自我评估 (§5) | 判别器 · 过程/奖励模型 · 验证器 · 评分准则 · 元评估 | 318 | 82% |
| 自动研究 (§6) | AI科学家 · 进化程序发现 | 139 | 76% |
| 基础、极限与安全 (§7) | 理论 · 极限 · 安全 | 60 | 57% |

## 2. 预备知识、分类法与研究方法  

### 2.1 预备知识和定义  

以下术语在文献中使用松散且不一致；我们在本调查中固定其含义。  

**代理。** 一种基于LLM的系统，通过感知-行动循环追求目标：它观察状态（工具输出、环境反馈、文件），选择行动（工具调用、代码执行、消息），并迭代直至满足停止条件。裸模型单次调用不是代理；同一模型在具有工具和记忆的循环内则是代理。  

**框架（脚手架）。** 模型周围将其转变为代理的一切：系统提示、工具定义、记忆存储、技能库、检索索引、编排代码、停止规则[98](https://arxiv.org/html/2607.07663#bib.bib471)。框架是外部可检查且可编辑的——包括由代理自身编辑，这使得框架自修改成为“代理重写自身”最具体的形式。  

**评估器（验证器、判别器、奖励模型）。** 将候选工件映射到质量信号的任何机制：形式证明检查器、测试套件、学习到的奖励或过程奖励模型、LLM判别器、评分准则、人类评分者。对于具有正确性保证的评估器，我们使用*验证器*；对于缺乏保证的学习或提示驱动的评估器，使用*判别器*。  

**自我改进。** 系统参与产生其自身或其自身输出的更好版本，其中“更好”由某个评估器定义。对评估器的定义依赖并非学究气；它是§5中每个故障模式的根源。  

**测试时训练（TTT）。** 在*部署期间*更新模型权重，基于当前查询或会话，没有精心策划的离线训练阶段——与推理时精炼（权重冻结）和训练时迭代（离线阶段）不同。  

**自对弈。** 模型生成自身任务或对手的训练模式——提议者-求解者循环、对抗性课程——包括从基础模型[188](https://arxiv.org/html/2607.07663#bib.bib1264)、[53](https://arxiv.org/html/2607.07663#bib.bib1265)出发、仅从零开始的*零数据*机制。  

**有界自我精炼 vs. 开放式RSI。** 有界自我精炼针对固定的外部评估器改进系统；它是收敛且可评估的。开放式递归自我改进修改系统*以及*改进本身的标准或机制，没有固定的外部锚点；原理上是发散的。这一区分是本调查的核心切分。  

### 2.2 双轴分类法  

文献的术语增长快于概念。*Self-refine*、*self-correct*、*self-reward*、*self-play*、*self-distill*、*self-train*、*self-evolve*、*self-verify*——每个都命名了一种机制，但这些机制跨越了根本不同的目标。重新阅读草稿并修正错误的模型，与重写自身代码库的代理在本质上属于不同类别，尽管两者都是“自我改进”。  

我们将任何自我改进方法定位在两个轴上。  

**轴1——系统改进什么？** 四个类别：  

- • **部署时自我演化** (§3)：系统在*部署期间*改进——冻结权重时迭代输出、按查询调整权重（测试时训练），或演化自身框架、技能和记忆。改进是情景性的，或在基础权重之外积累。（该类别的一部分常被称为*推理时*自我改进；我们更倾向*部署时*，因为该类别还包括权重更新（§3.4）和跨情景积累（§3.5–3.6），而“推理时”会错误描述它们。）  
- • **训练时自我迭代** (§4)：系统生成数据、奖励或教师信号，在训练阶段更新自身权重。改进持续存在于权重中，但受限于自生成信号的质量。  
- • **自我评估** (§5)：系统的*评估器*是改进的对象——设计、强化或共同演化判别器、验证器、奖励模型和评分准则，这些为其他三个类别定义“更好”。  
- • **自动研究** (§6)：系统进行AI研究本身的工作——提出假设、运行实验、发现算法——在极限情况下，自主优化§§3–5的方法。改进跨系统复合，而非在一个系统内部。  

**轴2——循环闭合程度。** *谁*验证改进？  
- • **人在环中**：人类审查每个变化（AI辅助编码、合作科学家工具）。  
- • **人在环上**：改进信号自动生成（执行反馈、奖励模型、证明检查器），但人类审计结果并控制部署。  
- • **闭环**：系统生成、验证并应用自身改进，无需人类审查——Anthropic文章称为“闭环”的机制[3](https://arxiv.org/html/2607.07663#bib.bib1251)。  

这里调查的1,250篇论文几乎全部研究有界自我精炼（人在环上单元格）；开放式RSI——同时修改自身评估器的闭环——是安全风险集中之处（§7）。在Anthropic的五阶段谱系中，技术文献的主体占据第3–4阶段；§6中的论文探索第5阶段的边界。  

图1展示了产生的4×3网格，每个单元格有代表性系统。  

网格中比任何单个单元格更重要的两个特征。首先，密度集中在中间行：§§3–6中调查的几乎所有内容都是人在*环上*——自动生成的信号配合人类审计结果。其次，闭环行在所有位置都很稀疏，在最右端最薄弱；其最具后果性的单元格是自我评估×闭环——系统重写自身对“更好”的定义——这正是有界自我精炼向开放式RSI过渡之处。因此，该分类法发挥双重作用：它组织调查（§§3–6按各列展开），并让调查的核心主张可见——文献的主体位于人类仍审计循环的位置，而承重柱是评估器。  

图1：双轴分类法，每个单元格代表系统。  
（注：原文图1描述为“Figure 1: the two-axis taxonomy, with representative systems per cell.” 重复两次，保留排版。）  

### 2.3 语料库和方法  

语料库分两个阶段构建。  

**种子采集**：我们在arXiv（2024–2026年）上跨七个线索进行查询——自我精炼、自奖励训练、自动化AI研究、自修改代理、LLM驱动的代码/算法发现、RSI理论与安全、以及自生成数据循环——用OpenAlex引文和场所元数据丰富记录，并消除离题内容，得到871篇论文。  

**分类法对齐**：所有种子论文被重新分类到§2.2的类别中（主题级映射加上标题和摘要的关键词规则，并手动纠正规则误报），并且有针对性的补充采集在种子查询覆盖不足但分类法将其作为一等类别的三个方向上新增了379篇论文：自我评估方法（判别器、过程奖励模型、验证器、评分准则）、自动研究以及对训练时自我迭代中零数据自对弈的扩展覆盖。总语料库为1,250篇论文（图6展示随时间分布）。采