自我改进智能体 | DAIR.AI Academy

来源：https://academy.dair.ai/papers/collections/self-improving-agents

1. 最初的思想

递归自我改进（RSI）最初是一个理论问题：一个程序何时可以安全地重写自身。第一篇论文要求在任何修改之前先提供证明。第二篇论文让环境与智能体共同进化，开放式课程的想法便由此而始。

1. 01
2. 02

2. 自生成训练

第一批可用的自我改进循环改变了模型权重。模型生成数据，过滤器或评判器保留有用的输出，模型则在幸存的数据上进行训练。在这四篇论文中，过滤器从标准答案，到模型自身的判断，到模型自己发明的任务，再到模型自己撰写的训练指令。

1. 03### STaR: Bootstrapping Reasoning With Reasoning (https://academy.dair.ai/papers/star-bootstrapping-reasoning-with-reasoning-2203.14465) Eric Zelikman 等 · 2022 生成推理过程，保留那些能得出正确答案的，然后在其上进行微调，如此循环。之后每一个自我训练循环都是它的变体，其第一作者后来写了 STOP。
2. 04### Self-Rewarding Language Models (https://academy.dair.ai/papers/self-rewarding-language-models) 2024 模型以评判者的身份为自己的回答打分，基于这些分数进行迭代训练，同时改进了回答质量和打分能力。它去掉了固定的奖励模型，使评估器与策略一同提升。
3. 05
4. 06### Self-Adapting Language Models (https://academy.dair.ai/papers/self-adapting-language-models) 2025 模型编写自我编辑指令——即自己的微调数据和更新指令，然后强化学习根据更新后模型的表现为每次编辑提供奖励。更新过程本身成了模型的输出。

3. 从经验中学习

部署后的智能体通常无法修改权重，因此它们通过记录笔记来改进。这些论文将经验教训、技能和操作手册存储在模型外部，之后再读取回来。编写笔记的代码是固定的，因此这些系统是自我改进的，但并非递归的。

1. 07
2. 08
3. 09

4. 改进“改进器“本身

到这里，该领域才真正具有递归性。每篇论文都将改进过程应用于自身，使得提出改进的组件本身也可以被改进。同一理念出现在三个层次上：先是提示词，然后是脚手架程序，最后是整个智能体的设计。

1. 10### Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution (https://academy.dair.ai/papers/promptbreeder-self-referential-self-improvement-via-prompt-evolution-2309.16797) Chrisantha Fernando 等 · 2023 用变异提示词来进化任务提示词，同时变异提示词自身也在进化，因此改进提示词的指令也在随之改进。这是大模型时代第一个“改进算子本身也在被优化“的系统。
2. 11### Automated Design of Agentic Systems (https://academy.dair.ai/papers/automate-design-of-agentic-systems) 2024 一个元智能体以代码形式编写新的智能体设计，进行评估，并将其存入档案库以指导下一次设计。它将搜索空间从提示词扩展到了完整的智能体程序，而后来的 Darwin Gödel Machine 则将这一循环进一步应用于自身。
3. 12
4. 13

5. 自我修改的代码智能体

编码智能体让自我修改变得可行，因为智能体的源码就是一个代码库，而编码基准可以对结果进行评分。这五篇论文构成一条完整的演进脉络：从单个智能体修改自身，到开放式的变体档案库，到更好的规则来选择扩展哪个变体，再到能修改自身改进方式的智能体。

1. 14### Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents (https://academy.dair.ai/papers/open-ended-evolution-of-self-improving-agents) Jenny Zhang 等 · 2025 维护一个编码智能体的档案库，让其中一个重写自身代码，在基准测试上对子代进行评分，然后将其放回档案库。它是该分支的标杆系统，也是每个构建者都应阅读的目标函数作弊（objective hacking）证据来源。
2. 15### A Self-Improving Coding Agent (https://academy.dair.ai/papers/a-self-improving-coding-agent-2504.15228) Maxime Robeyns、Martin Szummer、Laurence Aitchison · 2025 一个使用普通工具的编码智能体修改自身代码库，在 SWE-bench Verified 随机子集上从 17% 提升到 53%，没有任何梯度更新。这是最简洁的演示，证明一个智能体可以同时是被修复的系统和进行修复的工程师。
3. 16
4. 17
5. 18### Hyperagents (https://academy.dair.ai/papers/hyperagents) 2026 将任务智能体和元智能体合并为一个可编辑的单一程序，使得生成改进的流程本身也可以被修改。它打破了“更好的编码智能体必然就是更好的自我改进器“这一假设——该假设仅在任务本身是编码时才成立。

6. AI 改进 AI 研究

2026 年报告递归自我改进的实验室指的是：AI 系统改进了训练下一个 AI 系统的过程。这七篇论文是那些主张背后的主要研究。它们涵盖了程序发现与训练算法、更快的训练基础设施、自动化研究论文，以及 AI 研究能力的基准测试。

1. 19### Mathematical discoveries from program search with large language models (https://academy.dair.ai/papers/funsearch-mathematical-discoveries-from-program-search) Bernardino Romera-Paredes 等 · 2023 对大模型编写的程序进行进化搜索，经系统评估器筛选后，在极值组合数学领域得出了新成果。它是 AlphaEvolve 的直接前身，也是大模型首次在已知开放问题上做出发现的案例。
2. 20
3. 21### AlphaEvolve: A coding agent for scientific and algorithmal discovery (https://academy.dair.ai/papers/alphaevolve-a-coding-agent-for-scientific-and-algorithmic-discovery-2506.13131) Alexander Novikov 等 · 2025 一个进化编码智能体，发现了新算法并优化了 Google 自身的基础设施。它加速了为其自身提供动力的模型的训练，这是已部署系统改进自身生产管线的最清晰的公开案例。
4. 22
5. 23
6. 24### PostTrainBench: Can LLM Agents Automate LLM Post-Training? (https://academy.dair.ai/papers/posttrainbench-can-llm-agents-automate-llm-post-training-2603.08640) Ben Rank 等 · 2026 给一个智能体一个基座模型、一块 GPU 和十个小时，然后让它自行对该模型进行后训练。它比这里的任何其他基准都更直接地衡量了 AI 自动化 AI 训练的能力，并审计了随之而来的奖励作弊现象。
7. 25### Recursive self-improvement of AI research agents (https://academy.dair.ai/papers/recursive-self-improvement-of-ai-research-agents-2609.26457) Dhruv Srikanth 等 · 2026 AIDE2 在为期八天的自主运行中改进了自身代码，发现了七项连续的改动，从新的搜索策略到内存压缩。这些提升迁移到了留出基准测试上，奖励作弊率从 55% 降至 32%。

7. 循环在哪里断裂

五项结果为所有自我改进系统划定了必须遵守的界限：用自身输出训练的模型会丢失原始数据中的信息；模型只能改进到它能验证自身工作的程度；放任一个循环自行运行，它可能漂移到无人要求的方向。

1. 26### Large Language Models Cannot Self-Correct Reasoning Yet (https://academy.dair.ai/papers/large-language-models-cannot-self-correct-reasoning-yet-2310.01798) Jie Huang 等 · 2023 在没有外部反馈的情况下，被要求纠正自身推理的模型并不会改善，反而往往变得更差。这是区分“拥有真实信号的自我改进循环“与“自说自话“的经验性界限。
2. 27
3. 28
4. 29
5. 30

8. 领域全景图

最后阅读的是 2026 年 9 月的综述。上述三十篇论文中有二十篇出现在其参考文献中，因此它更像是一幅描绘本合集周围版图的地图，而非本合集的替代品。

1. 31### The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement (https://academy.dair.ai/papers/the-last-ai-built-by-humans-toward-genuine-recursive-self-improvement-2609.11873) Yi Duan 等 · 2026 由 36 位作者于 2026 年 9 月发布的领域全景图。它将递归自我改进组织成一个六级自主性阶梯——从任务内改进一直到改进自身改进方式的系统——并评估了当前模型在各层级的不足。上述论文中有二十篇出现在其参考文献中，这是了解本合集补充了什么、遗漏了什么的好方法。

论文之外

实验室定位、学术会议、可运行的代码。以下每一项都不是论文，但每一项都链接到原始来源页面。

• Harness Engineering for Self-Improvement↗ (https://lilianweng.github.io/posts/2026-07-04-harness/) Lilian Weng 2026 年 7 月的综述文章，在阅读论文之前最好的单篇读物。
• When AI builds itself (Anthropic)↗ (https://www.anthropic.com/institute/recursive-self-improvement) 将递归自我改进定义为系统自主设计其后继者，并报告称 2026 年 5 月 Anthropic 合并的代码中超过 80% 由 Claude 编写。
• Research acceleration: the view inside OpenAI↗ (https://openai.com/index/research-acceleration-view-inside-openai/) 报告 2026 年 8 月中旬每个工作日对应 3.1 个智能体工作日，同时声明 OpenAI 尚未知道如何安全地实现完全递归自我改进。
• The Economics of Recursive Self-Improvement↗ (https://arxiv.org/abs/2609.15802) 对反馈循环建模后发现，它们正在增强，但尚未实现自我维持。
• ICLR 2026 Workshop on Recursive Self-Improvement↗ (https://recursive-workshop.github.io/papers.html) 该领域首个专门的学术会议，共收录 110 篇论文。
• Sakana AI RSI Lab↗ (https://sakana.ai/rsi-lab/) 一家前沿实验室围绕这一理念组织研究团队，并列出了其依赖的前期工作。
• Darwin Gödel Machine 技术报告↗ (https://sakana.ai/dgm/) 目标函数作弊示例的来源，包括伪造测试日志的案例，这些在论文本身中并未详细说明。
• Darwin Gödel Machine 代码↗ (https://github.com/jennyzzt/dgm) 条目 14 的可运行参考实现。
• HyperAgents 代码↗ (https://github.com/facebookresearch/hyperagents) 条目 18 的可运行参考实现。
• Huxley-Gödel Machine 代码↗ (https://github.com/metauto-ai/HGM) 条目 16 的可运行参考实现。