现代智能体系统中的自我改进：一项综述

# 现代自主系统中的自我改进：综述 来源：https://arxiv.org/html/2607.13104 任哲¹，陈一梦²，郭丹丹¹,²¹¹¹footnotemark:¹，荣国威¹，李同辉¹，熊睿斌³，兰庆丰⁴，王文艺²，李楠柏²，杨一博²，诸葛明晨²，Jürgen Schmidhuber²,⁵ ¹吉林大学人工智能学院 ²阿卜杜拉国王科技大学 (KAUST) ³独立研究员 ⁴阿尔伯塔大学 ⁵瑞士AI实验室 IDSIA/USI/SUPSI [email protected], [email protected], [email protected], {ronggw25, lith}@mails.jlu.edu.cn, [email protected], [email protected], {wenyi.wang, nanbo.li, yibo.yang, mingchen.zhuge, juergen.schmidhuber}@kaust.edu.sa ###### 摘要 自我改进的自主智能体正从研究原型走向部署系统。其主要目标是从经验中进行可控演化（或适应），且需要最少甚至无需人工输入。本综述将现代自我改进智能体框架化为自适应系统，这类系统能将经验转化为累积的能力增益。我们提供了一个系统级的框架，将现代智能体表示为一个将基础模型与包含提示、记忆、工具和控制逻辑的操作性脚手架耦合的配置。在此框架内，自我改进被形式化为一个自我诱导的更新算子，该算子获取并将更新提交至模型参数或脚手架组件。我们按照更新目标和驱动变化的信号来组织先前的工作，然后回顾应用并讨论评估，最后以开放问题和未来方向作结。为方便起见，我们在以下GitHub页面 (https://github.com/selfimproving-agent/awesome-Self-Improving-Agents) 上跟踪技术更新。 参见图注 图1：现代AI智能体自我改进范式概览。根据修改内容，我们将现有方法分为两条主要路径。第一条路径是**基础模型改进**，其中模型参数从θt更新到θt+1，使用内在生成示范Dt、内在评估反馈et或外在探索经验τt。第二条路径是**脚手架改进**，其中操作脚手架通过非参数变化从Σt更新到Σt+1。在脚手架组件中，通用更新信号St被实例化，用于驱动提示pt、记忆mt、工具Tt或完整脚手架Σt的改进。###### 目录 1. 1引言 (https://arxiv.org/html/2607.13104#S1) 2. 2历史背景与理论基础 (https://arxiv.org/html/2607.13104#S2) 1. 2.1基础概念（1790s-1960s）(https://arxiv.org/html/2607.13104#S2.SS1) 2. 2.2符号主义与启发式自我修改（1960s–1980s）(https://arxiv.org/html/2607.13104#S2.SS2) 3. 2.3连接主义与元学习的出现（1980s–2000s）(https://arxiv.org/html/2607.13104#S2.SS3) 4. 2.4形式化与架构级自我改进（2000s-2020s）(https://arxiv.org/html/2607.13104#S2.SS4) 5. 2.5可扩展基础模型与自主系统（2020s–现在）(https://arxiv.org/html/2607.13104#S2.SS5) 3. 3定义 (https://arxiv.org/html/2607.13104#S3) 1. 3.1自主系统的形式化描述 (https://arxiv.org/html/2607.13104#S3.SS1) 2. 3.2自我改进的形式化定义 (https://arxiv.org/html/2607.13104#S3.SS2) 3. 3.3与相关学习范式的联系 (https://arxiv.org/html/2607.13104#S3.SS3) 4. 4现有方法分类法 (https://arxiv.org/html/2607.13104#S4) 1. 4.1基础模型改进 (https://arxiv.org/html/2607.13104#S4.SS1) 2. 4.2脚手架改进 (https://arxiv.org/html/2607.13104#S4.SS2) 5. 5基础模型改进 (https://arxiv.org/html/2607.13104#S5) 1. 5.1内在生成示范 (https://arxiv.org/html/2607.13104#S5.SS1) 2. 5.2内在评估反馈 (https://arxiv.org/html/2607.13104#S5.SS2) 3. 5.3外在探索经验 (https://arxiv.org/html/2607.13104#S5.SS3) 1. 5.3.1与具体任务环境的交互 (https://arxiv.org/html/2607.13104#S5.SS3.SSS1) 2. 5.3.2与模拟代理环境的交互 (https://arxiv.org/html/2607.13104#S5.SS3.SSS2) 6. 6脚手架改进 (https://arxiv.org/html/2607.13104#S6) 1. 6.1提示 (https://arxiv.org/html/2607.13104#S6.SS1) 1. 6.1.1标量反馈优化 (https://arxiv.org/html/2607.13104#S6.SS1.SSS1) 2. 6.1.2定性反馈细化 (https://arxiv.org/html/2607.13104#S6.SS1.SSS2) 3. 6.1.3基于群体的进化 (https://arxiv.org/html/2607.13104#S6.SS1.SSS3) 4. 6.1.4文本梯度优化 (https://arxiv.org/html/2607.13104#S6.SS1.SSS4) 2. 6.2记忆 (https://arxiv.org/html/2607.13104#S6.SS2) 1. 6.2.1记忆对象 (https://arxiv.org/html/2607.13104#S6.SS2.SSS1) 1. 6.2.2记忆结构 (https://arxiv.org/html/2607.13104#S6.SS2.SSS2) 1. 6.2.3记忆处理 (https://arxiv.org/html/2607.13104#S6.SS2.SSS3) 1. 6.3工具 (https://arxiv.org/html/2607.13104#S6.SS3) 1. 6.3.1动态工具路由 (https://arxiv.org/html/2607.13104#S6.SS3.SSS1) 2. 6.3.2迭代工具细化 (https://arxiv.org/html/2607.13104#S6.SS3.SSS2) 3. 6.3.3自主工具创建 (https://arxiv.org/html/2607.13104#S6.SS3.SSS3) 1. 6.4完整脚手架 (https://arxiv.org/html/2607.13104#S6.SS4) 1. 7应用 (https://arxiv.org/html/2607.13104#S7) 1. 7.1软件工程 (https://arxiv.org/html/2607.13104#S7.SS1) 2. 7.2网页导航与自动化 (https://arxiv.org/html/2607.13104#S7.SS2) 3. 7.3游戏与战略推理 (https://arxiv.org/html/2607.13104#S7.SS3) 4. 7.4科学发现 (https://arxiv.org/html/2607.13104#S7.SS4) 5. 7.5具身AI与机器人学 (https://arxiv.org/html/2607.13104#S7.SS5) 6. 7.6通用计算机控制 (https://arxiv.org/html/2607.13104#S7.SS6) 1. 8评估 (https://arxiv.org/html/2607.13104#S8) 1. 8.1衡量改进 (https://arxiv.org/html/2607.13104#S8.SS1) 1. 8.1.1基于度量的测量 (https://arxiv.org/html/2607.13104#S8.SS1.SSS1) 2. 8.1.2基于评判的测量 (https://arxiv.org/html/2607.13104#S8.SS1.SSS2) 2. 8.2基准测试改进 (https://arxiv.org/html/2607.13104#S8.SS2) 1. 8.2.1机制基准 (https://arxiv.org/html/2607.13104#S8.SS2.SSS1) 2. 8.2.2领域基准 (https://arxiv.org/html/2607.13104#S8.SS2.SSS2) 1. 9讨论 (https://arxiv.org/html/2607.13104#S9) 1. 9.1对系统设计的启示 (https://arxiv.org/html/2607.13104#S9.SS1) 2. 9.2未来方向 (https://arxiv.org/html/2607.13104#S9.SS2) 1. 10结论 (https://arxiv.org/html/2607.13104#S10) 1. 参考文献 (https://arxiv.org/html/2607.13104#bib) ## 1引言 “第一台超智能机器将是人类需要做出的最后一项发明。”——I. J. Good（1966） 人工智能（AI）技术的发展推动了自主系统（Shoham,1993 (https://arxiv.org/html/2607.13104#bib.bib612); Maes,1994 (https://arxiv.org/html/2607.13104#bib.bib611); Wooldridge and Jennings,1995 (https://arxiv.org/html/2607.13104#bib.bib613); Yao et al.,2022 (https://arxiv.org/html/2607.13104#bib.bib706); Wang et al.,2024a (https://arxiv.org/html/2607.13104#bib.bib185)）的范式转变——从早期围绕特定任务模型或手工工程模块构建的狭窄系统，转向由**基础模型**（FMs）驱动的现代自主系统，基础模型包括大型语言模型（LLMs）和视觉语言模型（VLMs），其中自然语言作为表示、推理和控制的共享接口。基础模型的进展产生了泛化能力的质的转变，在广泛的领域取得了显著成功，最引人注目的是代码生成（Chen et al.,2021 (https://arxiv.org/html/2607.13104#bib.bib631)）、语言理解（Hendrycks et al.,2020 (https://arxiv.org/html/2607.13104#bib.bib630)）以及数学和形式推理（Wei et al.,2022 (https://arxiv.org/html/2607.13104#bib.bib138)）。这些进展将一个长期存在的问题推到了前台：AI系统自我改进的前景。从根本上说，自我改进是一个内在的自我指涉过程。它定义了系统自主检查、评估并有意修改自身底层优化机制和操作逻辑的能力。Good阐述了机器自我改进可能的后果（Good,1966 (https://arxiv.org/html/2607.13104#bib.bib676)），描述了“智能爆炸”的可能性——一旦机器获得设计更强大后继者的能力。关于具体自我改进算法的早期工作可以追溯到Schmidhuber的自我指涉学习框架（Schmidhuber,1987 (https://arxiv.org/html/2607.13104#bib.bib660)），该框架引入了系统生成和评估自身修改后代的机制。确立这一追求的理论上限，Gödel机器（Schmidhuber,2003b (https://arxiv.org/html/2607.13104#bib.bib332)）引入了一种完全自我指涉的算法，该算法能够在数学证明预期效用改进时重写自己的代码。尽管一条持续的研究谱系成功展示了神经网络（NNs）通过快速权重学习为其他网络编程（Schmidhuber,1992 (https://arxiv.org/html/2607.13104#bib.bib694)），进而发展到能够修改自身的自我指涉系统（Schmidhuber,1993 (https://arxiv.org/html/2607.13104#bib.bib687); Irie et al.,2022 (https://arxiv.org/html/2607.13104#bib.bib685)），并作为元学习系统发现自己的学习算法（Hochreiter et al.,2001 (https://arxiv.org/html/2607.13104#bib.bib496); Schmidhuber,2004 (https://arxiv.org/html/2607.13104#bib.bib133); Kirsch and Schmidhuber,2021 (https://arxiv.org/html/2607.13104#bib.bib132);2022 (https://arxiv.org/html/2607.13104#bib.bib77); Irie et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib684)），同时并行的工作引入了增量式自我改进，通过成功故事算法（通过回溯撤销策略自我修改）建立了强制执行长期奖励加速的能力（Schmidhuber,1994 (https://arxiv.org/html/2607.13104#bib.bib657); Schmidhuber et al.,1996 (https://arxiv.org/html/2607.13104#bib.bib656);1997 (https://arxiv.org/html/2607.13104#bib.bib654)）。然而，将这些远见机制扩展为开放式智能体在历史上受到限制。传统上，系统被迫在庞大的、低层次的汇编码或原始突触权重空间中进行搜索。今天，现代FMs通过引入自然语言作为统一、高能力的语义媒介用于推理、策略执行和自我修改，缓解了这一历史瓶颈。通过大幅减少可行修改的搜索空间，这种语言原生范式近来吸引了大量关注，越来越多的证据表明，基于FM的自我改进智能体可以产生显著的实证收益（Yuan et al.,2024b (https://arxiv.org/html/2607.13104#bib.bib655); Acikgoz et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib257); Qi et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib525); Zhang et al.,2026c (https://arxiv.org/html/2607.13104#bib.bib400)）。 为了在具体环境中自主运行，作为认知核心的FM通常被一个操作性的脚手架包围，这是一个结构化的框架，包含指令方案（Yuksekgonul et al.,2024 (https://arxiv.org/html/2607.13104#bib.bib371); Guo et al.,2024 (https://arxiv.org/html/2607.13104#bib.bib438)）、记忆系统（Chhikara et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib238); Zhang et al.,2026d (https://arxiv.org/html/2607.13104#bib.bib182)）、工具接口（Qiu et al.,2025c (https://arxiv.org/html/2607.13104#bib.bib227); wölflein2025llmagentsmakingagent）和控制逻辑（Hong et al.,2023 (https://arxiv.org/html/2607.13104#bib.bib29); Zhuge et al.,2024a (https://arxiv.org/html/2607.13104#bib.bib69); Xiong et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib707)）。近来，这种操作性脚手架也常被称为智能体束具（Rajasekaran,2026 (https://arxiv.org/html/2607.13104#bib.bib628); Trivedy,2026 (https://arxiv.org/html/2607.13104#bib.bib625); Zhang et al.,2026b (https://arxiv.org/html/2607.13104#bib.bib624); Zhong and Zhu,2026 (https://arxiv.org/html/2607.13104#bib.bib623)），但本综述使用术语“scaffold”来强调围绕基础模型的可修改结构。在操作上，这个脚手架作为一个控制器，构建上下文、选择动作并强制执行约束。这种现代架构在概念上被“学会思考”框架（Schmidhuber,2015 (https://arxiv.org/html/2607.13104#bib.bib646)）预示，其中通用控制器学习动态查询（或“提示”）预测世界模型，以生成类似于现代“思维链”（Wei et al.,2022 (https://arxiv.org/html/2607.13104#bib.bib138)）的推理序列。基于这种核心加脚手架架构，这些经典控制原则的整合已经结晶成一个新兴范式，我们称之为基于FM的自我改进智能体。 由于现代自主系统既包含上述神经核心也包含脚手架，我们围绕一个统一的分类法组织本综述，该分类法包含两条主要路径，如图1 (https://arxiv.org/html/2607.13104#S0.F1)所示，并在图2 (https://arxiv.org/html/2607.13104#S1.F2)中按时间顺序总结。第一条路径，我们称之为**基础模型改进**，旨在通过更新底层模型实现较慢但更稳定的长期巩固形式，从而将能力增益摊销到各种任务中（Huang et al.,2023 (https://arxiv.org/html/2607.13104#bib.bib448); Zhao et al.,2024b (https://arxiv.org/html/2607.13104#bib.bib460); Wang et al.,2025c (https://arxiv.org/html/2607.13104#bib.bib464); Xiao et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib583); Bougie et al.,2026 (https://arxiv.org/html/2607.13104#bib.bib543)）。第二条路径，我们称之为**脚手架改进**，通常更快且更容易逆转；它通过更新结构组件（包括提示、记忆、工具接口和端到端控制逻辑）来改进智能体，从而重塑智能体的有效观察和动作语义（Fernando et al.,2024 (https://arxiv.org/html/2607.13104#bib.bib411); Chhikara et al.,2025 (https://arxiv.org/html/2607.13104#bib.bib238); wölflein2025llmagentsmakingagent; Zhang et al.,2026c (https://arxiv.org/html/2607.13104#bib.bib400); Borthwick and Ash,2026 (https://arxiv.org/html/2607.13104#bib.bib454)）。尽管这些路径在修改目标上有所不同，但它们都从根本上由交互过程中提取的学习信号驱动。因此，我们的分类法通过分离**更新什么**以及**改进信号来自哪里**来进一步细化这些方法，为在一致基础上比较不同的方法提供了共同语言。图3 (https://arxiv.org/html/2607.13104#S1.F3)提供了本综述的统一分类法。 \columncolorblack!4\rowcolorcyan!8维度 我们的（2026）Gao et al.（2026 (https://arxiv.org/html/2607.13104#bib.bib637)）Fang et al.（2025a (https://arxiv.org/html/2607.13104#bib.bib644)）Tao et al.（2024 (https://arxiv.org/html/2607.13104#bib.bib643)）\columncolorblack!4智能体形式化 ✓ ✓ ✓ ∘\columncolorblack!4定义范围 ✓ ✓ ∘ ∘\columncolorblack!4历史根源 ✓ – ∘ ∘