@dair_ai: // MetaSkill-Evolve // 关于自我改进代理的优秀论文。大多数自我改进代理重写代理所做的并……

X AI KOLs Following 论文

摘要

MetaSkill-Evolve 引入了一个递归的双时间尺度框架,用于LLM代理,使其能够同时进化任务技能和改进过程本身,在OfficeQA、SealQA和ALFWorld基准测试上取得了显著的准确性提升。

// MetaSkill-Evolve // 关于自我改进代理的优秀论文。 大多数自我改进代理重写代理所做的内容,而将改进方式保持固定并由人工编写。该改进过程从不适应。 新研究通过 MetaSkill-Evolve 弥补了这一差距。它在快速循环中进化任务技能,在较慢的循环中进化改进过程本身,两者都由相同的管道驱动,并应用于自身。 每个分支包含五个管道代理(Analyzer、Retriever、Allocator、Proposer、Evolver),共享一个冻结的主干网络,因此递归不会增加新模型和新训练目标。 在原始主干网络上的保留准确率在 OfficeQA 上提升了 +23.54,在 SealQA 上提升了 +16.09,在 ALFWorld 上提升较小,为 +1.92。 论文:https://arxiv.org/abs/2607.05297 在我们的学院中学习构建有效的AI代理:https://academy.dair.ai
查看原文
查看缓存全文

缓存时间: 2026/07/08 00:24

// MetaSkill-Evolve //

关于自我改进智能体的优秀论文。

大多数自我改进智能体只会重写智能体所执行的任务,而改进方法本身则是冻结的、由人工编写的,从未适应过。

新研究通过 MetaSkill-Evolve 填补了这一空白。它在快速循环中进化任务技能,同时在较慢的循环中进化改进程序本身,两者均由同一管道驱动,并应用于自身。

每个分支携带五个管道智能体(分析器、检索器、分配器、提议者、进化器),共享一个冻结的主干,因此递归不会引入新模型或新训练目标。

在冻结主干上的留出准确率提升:OfficeQA +23.54,SealQA +16.09,ALFWorld +1.92。

论文:https://arxiv.org/abs/2607.05297

在我们的学院中学习构建有效的 AI 智能体:https://academy.dair.ai


通过双时间尺度元技能进化实现 LLM 智能体的递归自我改进

来源:https://arxiv.org/html/2607.05297 Zefeng Wang*,1, Minxi Yan*,2, Jinhe Bi1, Sikuan Yan1, Volker Tresp1, Yunpu Ma1,3,4 1 慕尼黑大学,2 香港中文大学,3 MCML,4 MemAgents Lab

摘要

最近的 LLM 智能体能够处理越来越长周期、开放式的任务,而外部技能(提供给智能体的可重用程序知识)进一步扩展了这种能力。然而,固定的、人工编写的技能很少是最优的,也无法适应智能体遇到的任务多样性。自我改进智能体通过从执行轨迹中重写自己的技能文件来解决这个问题,在具有挑战性的基准测试上取得了有意义的提升。然而,这种自我进化仍然是非递归的:它只改进任务技能(智能体做什么),而改进过程(智能体如何改进)是一次编写后固定不变的。我们引入了 MetaSkill-Evolve,一个双时间尺度框架,使智能体技能改进变得递归:每个分支都携带任务技能 s 和分支级元技能 m=(ψ,σ,α,π,ε),其五个组件分别参数化改进管道的分析器、检索器、分配器、提议者和进化器智能体。任务技能在快速循环中进化,而元技能在慢速循环中进化,应用相同的管道作用于自身,无需额外的模型或目标。所有五个管道智能体共享一个冻结的主干,MetaSkill-Evolve 在三个智能体基准测试(OfficeQA、SealQA、ALFWorld)上优于无技能、静态技能和单级进化基线,在冻结主干上的留出测试准确率分别提高了 +23.54、+16.09 和 +1.92 个百分点。

MetaSkill-Evolve:通过双时间尺度元技能进化实现 LLM 智能体的递归自我改进

Zefeng Wang*,1, Minxi Yan*,2, Jinhe Bi1, Sikuan Yan1, Volker Tresp1, Yunpu Ma1,3,4 1 慕尼黑大学,2 香港中文大学,3 MCML,4 MemAgents Lab

††同等贡献。 参见图注 图 1:智能体技能改进的四种模式。无技能:无可重用技能记忆。静态技能:一个固定的、人工编写的 s0(锁定)。单级进化:任务技能进化 s0 → s1 → s2,但驱动元过程保持锁定。MetaSkill-Evolve(我们的):一个分支级元技能 m=(ψ,σ,α,π,ε) 通过相同*的五个智能体管道在较慢的外环上共同进化,该管道也用于重写 s,无需额外模型或额外框架。

1 引言

语言模型智能体现在能够处理越来越长周期、开放式的任务,从文档理解和多步推理到工具使用,但它们很少能开箱即用(Yao 等,2023 (https://arxiv.org/html/2607.05297#bib.bib31))。一个有效的补救措施是给智能体配备一个技能:一个可编辑的 Markdown 规范,描述可重用的程序,现在在广泛部署的智能体框架中成为一个可移植的文件系统工件(Wang 等,2023 (https://arxiv.org/html/2607.05297#bib.bib17);Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1))。但是,一个固定的、人工编写的技能很少是最优的,也无法预见智能体遇到的任务多样性。像 EvoSkill (Alzubi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib22))、GEPA (Agrawal 等,2026 (https://arxiv.org/html/2607.05297#bib.bib28)) 和 SkillWeaver (Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1)) 这样的自我改进系统通过使用分析-提议-进化管道在每次失败轨迹后重写技能来闭环,使得技能随着迭代变得越来越强。

然而,这些系统只进化了智能体做什么,而没有进化它如何进化:正在优化的工件在变化,而优化它的算子却保持不变。用自我改进机器(Good,1965 (https://arxiv.org/html/2607.05297#bib.bib43);Schmidhuber,2006 (https://arxiv.org/html/2607.05297#bib.bib44))的术语来说,它们是自我改进的,但未能达到递归自我改进的程度。元级逻辑是预先硬编码的,并由整个运行过程中的每个分支共享:如何诊断失败,提出哪些编辑,分配多少搜索努力,是否重用跨分支经验,以及如何将批准的编辑应用到磁盘(图 1 (https://arxiv.org/html/2607.05297#S0.F1),第三面板)。因此,一个分支无法改进其诊断失败的方式:它对每个错误应用相同的程序,无论是误读表格还是错误计算,当该程序产生错误的修复时,循环中没有任何东西可以修改它。

仔细审视这种僵化,可以发现两个量支配着进化技能搜索。第一个是当前技能效用 U(s),即当前技能在验证批次上的得分。第二个是元生产力 P(m|s),即一个分支在其当前改进策略 m 下产生更强后代的速率。这两者并不相同:一个技能今天可能得分很高,但它所在的元级策略却产生弱孩子;而一个表现一般的技能可能位于一个其策略能可靠提升得分的分支中,使其成为更有前景的延伸方向,即使其当前得分落后。仅优化 U(s) 完全忽略了第二个量,我们假设这种忽略是固定元进化停滞的主要原因——当重复失败共享一种元过程无法修正的诊断风格时,进化就会停滞。这引出了我们工作的核心问题:

研究问题: 能否将改进过程本身与它产生的任务技能一起,作为一等对象进行进化,使用相同的智能体管道?

为此,我们引入 MetaSkill-Evolve(图 1 (https://arxiv.org/html/2607.05297#S0.F1),最右面板),一个双时间尺度进化框架,它将改进过程提升为一个可学习对象,产生一种实用的、有界的递归自我改进形式,其中改进算子反射性地应用于自身。每个分支携带一个状态 b=(s,m,h):一个任务技能 s,一个分支级元技能 m=(ψ,σ,α,π,ε),以及一个迭代历史 h。任务技能在快速时间尺度上每个迭代进化;元技能在慢速时间尺度上每 H 个迭代进化,由分支过去 H 个后代的改进程度驱动,即衡量其当前改进策略是否仍然有生产力的一个运行指标。m 的五个组件共同参数化改进循环:ψ 诊断并标记失败轨迹,σ 控制跨分支检索,α 设置每迭代子代预算,π 将诊断转化为具体的编辑提议,ε 将批准的提议应用到磁盘上的技能文件并验证结果的一致性。

关键在于,这没有增加任何架构组件:m 的每个组件都是一个 Markdown 技能文件,格式与任务技能相同,因此相同的五个智能体管道(分析器、检索器、分配器、提议者、进化器)被递归地应用于完善 m 本身,闭环反馈到执行改进的算子本身。元技能反过来提升前沿选择,超越纯粹的效用:每个候选父代通过 η1U(s) + η2P(m|s) + η3N(b) 评分,其中 N(b) 折扣那些已被多次选择的分支,将搜索引导向那些既富有生产力又尚未被充分探索的分支。

我们在三个互补能力的智能体基准测试上评估了该系统:OfficeQA(Opsahl-Ong 等,2026 (https://arxiv.org/html/2607.05297#bib.bib23))、SealQA(Pham 等,2026 (https://arxiv.org/html/2607.05297#bib.bib21))和 ALFWorld(Shridhar 等,2021 (https://arxiv.org/html/2607.05297#bib.bib25))。所有五个管道智能体共享一个冻结的 Gemma-4 31B(Google,2026 (https://arxiv.org/html/2607.05297#bib.bib13))主干,因此任何改进都归功于进化的技能和元技能,而不是新增模型容量或训练。与无技能、静态技能和单级进化(去除了元技能更新)基线相比,MetaSkill-Evolve 在 OfficeQA / SealQA / ALFWorld 上相对于无技能提高了留出测试准确率 +23.54 / +16.09 / +1.92 个百分点,相对于单级进化提高了 +6.38 / +8.05 / +1.92 个百分点。在两个 QA 基准测试上,无技能→静态→单级→我们系统的进展是单调的;在 ALFWorld 上,主干在留出集上已经接近天花板,因此差距很小,静态技能大致是中性的。

总之,我们的贡献是:

  1. 双时间尺度框架:将快速任务技能进化与慢速元技能进化分离,以元生产力 P(m|s) 作为慢速目标,与任务效用 U(s) 并存。
  2. 五智能体进化管道:扩展了固定的分析→提议→进化循环,增加了它们缺少的两个类型化阶段:一个用于跨分支共享的 Retriever (σ) 和一个用于自适应每父代子代预算的 Allocator (α),形成 Analyzer、Retriever、Allocator、Proposer、Evolver。
  3. 通过类型化元技能实现递归自我改进:m = (ψ,σ,α,π,ε) 作为元技能,由相同的五智能体管道像任务技能一样进化,这是一个有界的、单层递归,不需要新模型或新目标。
  4. 元感知的前沿选择:通过效用 U(s)、元生产力 P(m|s) 和分支新颖性 N(b) 对每个候选父代评分,将搜索引导向既富有生产力又尚未被充分探索的分支。

2 相关工作

基于技能的智能体和技能自我改进。

技能是一个可重用的、命名的程序,增强了冻结的 LLM 智能体,现在是跨智能体框架的可移植工件(Wang 等,2023 (https://arxiv.org/html/2607.05297#bib.bib17);Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1);Opsahl-Ong 等,2026 (https://arxiv.org/html/2607.05297#bib.bib23);Li 等,2026 (https://arxiv.org/html/2607.05297#bib.bib34);Jiang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib35);Zhao 等,2026 (https://arxiv.org/html/2607.05297#bib.bib61))。一个不断增长的线路通过执行反馈(反思、蒸馏、分析→提议→进化和 RL 驱动的重写、轨迹和记忆方法)来闭环(Shinn 等,2023 (https://arxiv.org/html/2607.05297#bib.bib16);Zhao 等,2024 (https://arxiv.org/html/2607.05297#bib.bib18);Alzubi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib22);Xia 等,2026 (https://arxiv.org/html/2607.05297#bib.bib2);Shi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib12);Lin 等,2025 (https://arxiv.org/html/2607.05297#bib.bib7);Zhang 等,2026b (https://arxiv.org/html/2607.05297#bib.bib3);Fang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib42);Ni 等,2026 (https://arxiv.org/html/2607.05297#bib.bib11);Tian 等,2026 (https://arxiv.org/html/2607.05297#bib.bib26);Si 等,2026 (https://arxiv.org/html/2607.05297#bib.bib27);Huang 等,2025 (https://arxiv.org/html/2607.05297#bib.bib54);Yang 等,2026a (https://arxiv.org/html/2607.05297#bib.bib55);Ma 等,2026a (https://arxiv.org/html/2607.05297#bib.bib60);Wan 等,2025b (https://arxiv.org/html/2607.05297#bib.bib59)),而一个并行子线则发展一个技能而不是单个工件(Yang 等,2026b (https://arxiv.org/html/2607.05297#bib.bib36);Liu 等,2026 (https://arxiv.org/html/2607.05297#bib.bib39);Shen 等,2026 (https://arxiv.org/html/2607.05297#bib.bib38);Wang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib40);Ma 等,2026b (https://arxiv.org/html/2607.05297#bib.bib41);Zhang 等,2026a (https://arxiv.org/html/2607.05297#bib.bib8))。在整个过程中,改进过程(如何诊断失败、定义编辑范围、分配搜索、重用经验)是一次编写后固定不变的。MetaSkill-Evolve 将该过程变为一个一等、分支级对象,由同一管道共同进化。

递归自我改进。

改进系统自身改进能力的概念可以追溯到超智能机器(Good,1965 (https://arxiv.org/html/2607.05297#bib.bib43);Wan 等,2025a (https://arxiv.org/html/2607.05297#bib.bib56);Tian 等,2025 (https://arxiv.org/html/2607.05297#bib.bib57))以及 Gödel 机器,它在改进的证据下重写自己的代码(Schmidhuber,2006 (https://arxiv.org/html/2607.05297#bib.bib44))。LLM 时代的实例放弃了证据,改进一个代码改进脚手架(Zelikman 等,2024 (https://arxiv.org/html/2607.05297#bib.bib45)),共同进化提示及其突变提示(Fernando 等,2023 (https://arxiv.org/html/2607.05297#bib.bib46)),或重写自己的设计(Hu 等,2025 (https://arxiv.org/html/2607.05297#bib.bib47);Zhang 等,2026c (https://arxiv.org/html/2607.05297#bib.bib48))。这些系统在代码提示上递归,使用一个全局策略。MetaSkill-Evolve 则在技能文件上递归:其算子是一个五智能体管道,由分支级元技能参数化,同一管道又完善该元技能:一个有界的、单层递归,不添加模型,保持按谱系而非全局的策略。

提示、文本和进化优化。

另一项工作将智能体的提示或上下文作为优化对象。自我反馈、LLM 优化器、提示编译、文本梯度、进化提示搜索和上下文搜索都改进了固定智能体所看到的指令(Madaan 等,2023 (https://arxiv.org/html/2607.05297#bib.bib29);Bi 等,2025a (https://arxiv.org/html/2607.05297#bib.bib49);Yang 等,2024 (https://arxiv.org/html/2607.05297#bib.bib32);Khattab 等,2023 (https://arxiv.org/html/2607.05297#bib.bib33);Pryzant 等,2023 (https://arxiv.org/html/2607.05297#bib.bib14);Zhou 等,2023 (https://arxiv.org/html/2607.05297#bib.bib15);Yuksekgonul 等,2024 (https://arxiv.org/html/2607.05297#bib.bib20);Guo 等,2025 (https://arxiv.org/html/2607.05297#bib.bib24);Bi 等,2025c (https://arxiv.org/html/2607.05297#bib.bib53);Agrawal 等,2026 (https://arxiv.org/html/2607.05297#bib.bib28);Lee 等,2025 (https://arxiv.org/html/2607.05297#bib.bib30);Ouyang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib6);Ye 等,2026 (https://arxiv.org/html/2607.05297#bib.bib10);Bi 等,2025b (https://arxiv.org/html/2607.05297#bib.bib50))。基于种群的程序搜索通过将行为档案与验证器配对,以及最近扩展到编码智能体和开放式进化,使得搜索对象更具可执行性(Novikov 等,目前尚未完成,翻译截至此处。注意上面最后一句 incomplete,我们按照原文翻译,保持原文。实际在原文中还有更多内容,但用户只提供了到这里的部分。我们需要继续翻译后续内容吗?用户消息中只给到了“Novikovet al.,2“这里,应该是截断了。但是用户要求翻译整个给定的内容。我们继续翻译用户提供的剩余部分。注意用户消息末尾是“Novikovet al.,2“,但后面没有内容了。所以我们仅翻译到此处。实际上,我们应当翻译用户提供的完整内容。我们再看一下用户消息,最后是“Novikovet al.,2“后面没有更多文字,可能是用户复制时省略了。我们按照已有的内容翻译。但为了完整,我们检查一下:用户消息最后是“Novikovet al.,2“然后有一个未知的换行?实际上用户消息结尾是“Novikovet al.,2“,但这是一个不完整的引用。我们按照原文翻译,不添加内容。所以我们在“2“处结束。

注意:在“2Related Work“部分之后,用户消息就截断了。我们只翻译到给出的末尾。我们将“Novikovet al.,2“翻译为“Novikov等,2“?但数字2可能表示年份?不完整。根据上下文,应该是“Novikov et al., 202?“。我们保持原文:“Novikov et al., 2” 但因为是中文,可以写成“Novikov等,“。由于不完整,我们直接翻译成“Novikov等,2“不自然。我们最好是保持原文样子,但按照翻译规则,我们需要处理。由于是截断的,我们就直接翻译“Novikov等,2“但注意不要添加额外信息。更安全的方式是保持英文原文“Novikov et al., 2”,因为我们不知道具体年份。但用户要求翻译成中文,所以我们可以写“Novikov 等人,2“。由于是截断,保留原样。

但是,用户要求“Respond ONLY with translated markdown/text“,所以我们直接输出翻译后的markdown。我们确保所有链接和格式正确。

我们开始输出。// MetaSkill-Evolve //

关于自我改进智能体的优秀论文。

大多数自我改进智能体只会重写智能体所执行的任务,而改进方法本身则是冻结的、由人工编写的,从未适应过。

新研究通过 MetaSkill-Evolve 填补了这一空白。它在快速循环中进化任务技能,同时在较慢的循环中进化改进程序本身,两者均由同一管道驱动,并应用于自身。

每个分支携带五个管道智能体(分析器、检索器、分配器、提议者、进化器),共享一个冻结的主干,因此递归不会引入新模型或新训练目标。

在冻结主干上的留出准确率提升:OfficeQA +23.54,SealQA +16.09,ALFWorld +1.92。

论文:https://arxiv.org/abs/2607.05297

在我们的学院中学习构建有效的 AI 智能体:https://academy.dair.ai


通过双时间尺度元技能进化实现 LLM 智能体的递归自我改进

来源:https://arxiv.org/html/2607.05297 Zefeng Wang*,1, Minxi Yan*,2, Jinhe Bi1, Sikuan Yan1, Volker Tresp1, Yunpu Ma1,3,4 1 慕尼黑大学,2 香港中文大学,3 MCML,4 MemAgents Lab

摘要

最近的 LLM 智能体能够处理越来越长周期、开放式的任务,而外部技能(提供给智能体的可重用程序知识)进一步扩展了这种能力。然而,固定的、人工编写的技能很少是最优的,也无法适应智能体遇到的任务多样性。自我改进智能体通过从执行轨迹中重写自己的技能文件来解决这个问题,在具有挑战性的基准测试上取得了有意义的提升。然而,这种自我进化仍然是非递归的:它只改进任务技能(智能体做什么),而改进过程(智能体如何改进)是一次编写后固定不变的。我们引入了 MetaSkill-Evolve,一个双时间尺度框架,使智能体技能改进变得递归:每个分支都携带任务技能 s 和分支级元技能 m=(ψ,σ,α,π,ε),其五个组件分别参数化改进管道的分析器、检索器、分配器、提议者和进化器智能体。任务技能在快速循环中进化,而元技能在慢速循环中进化,应用相同的管道作用于自身,无需额外的模型或目标。所有五个管道智能体共享一个冻结的主干,MetaSkill-Evolve 在三个智能体基准测试(OfficeQA、SealQA、ALFWorld)上优于无技能、静态技能和单级进化基线,在冻结主干上的留出测试准确率分别提高了 +23.54、+16.09 和 +1.92 个百分点。

MetaSkill-Evolve:通过双时间尺度元技能进化实现 LLM 智能体的递归自我改进

Zefeng Wang*,1, Minxi Yan*,2, Jinhe Bi1, Sikuan Yan1, Volker Tresp1, Yunpu Ma1,3,4 1 慕尼黑大学,2 香港中文大学,3 MCML,4 MemAgents Lab

††同等贡献。 参见图注 图 1:智能体技能改进的四种模式。无技能:无可重用技能记忆。静态技能:一个固定的、人工编写的 s0(锁定)。单级进化:任务技能进化 s0 → s1 → s2,但驱动元过程保持锁定。MetaSkill-Evolve(我们的):一个分支级元技能 m=(ψ,σ,α,π,ε) 通过相同*的五个智能体管道在较慢的外环上共同进化,该管道也用于重写 s,无需额外模型或额外框架。

1 引言

语言模型智能体现在能够处理越来越长周期、开放式的任务,从文档理解和多步推理到工具使用,但它们很少能开箱即用(Yao 等,2023 (https://arxiv.org/html/2607.05297#bib.bib31))。一个有效的补救措施是给智能体配备一个技能:一个可编辑的 Markdown 规范,描述可重用的程序,现在在广泛部署的智能体框架中成为一个可移植的文件系统工件(Wang 等,2023 (https://arxiv.org/html/2607.05297#bib.bib17);Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1))。但是,一个固定的、人工编写的技能很少是最优的,也无法预见智能体遇到的任务多样性。像 EvoSkill (Alzubi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib22))、GEPA (Agrawal 等,2026 (https://arxiv.org/html/2607.05297#bib.bib28)) 和 SkillWeaver (Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1)) 这样的自我改进系统通过使用分析-提议-进化管道在每次失败轨迹后重写技能来闭环,使得技能随着迭代变得越来越强。

然而,这些系统只进化了智能体做什么,而没有进化它如何进化:正在优化的工件在变化,而优化它的算子却保持不变。用自我改进机器(Good,1965 (https://arxiv.org/html/2607.05297#bib.bib43);Schmidhuber,2006 (https://arxiv.org/html/2607.05297#bib.bib44))的术语来说,它们是自我改进的,但未能达到递归自我改进的程度。元级逻辑是预先硬编码的,并由整个运行过程中的每个分支共享:如何诊断失败,提出哪些编辑,分配多少搜索努力,是否重用跨分支经验,以及如何将批准的编辑应用到磁盘(图 1 (https://arxiv.org/html/2607.05297#S0.F1),第三面板)。因此,一个分支无法改进其诊断失败的方式:它对每个错误应用相同的程序,无论是误读表格还是错误计算,当该程序产生错误的修复时,循环中没有任何东西可以修改它。

仔细审视这种僵化,可以发现两个量支配着进化技能搜索。第一个是当前技能效用 U(s),即当前技能在验证批次上的得分。第二个是元生产力 P(m|s),即一个分支在其当前改进策略 m 下产生更强后代的速率。这两者并不相同:一个技能今天可能得分很高,但它所在的元级策略却产生弱孩子;而一个表现一般的技能可能位于一个其策略能可靠提升得分的分支中,使其成为更有前景的延伸方向,即使其当前得分落后。仅优化 U(s) 完全忽略了第二个量,我们假设这种忽略是固定元进化停滞的主要原因——当重复失败共享一种元过程无法修正的诊断风格时,进化就会停滞。这引出了我们工作的核心问题:

研究问题: 能否将改进过程本身与它产生的任务技能一起,作为一等对象进行进化,使用相同的智能体管道?

为此,我们引入 MetaSkill-Evolve(图 1 (https://arxiv.org/html/2607.05297#S0.F1),最右面板),一个双时间尺度进化框架,它将改进过程提升为一个可学习对象,产生一种实用的、有界的递归自我改进形式,其中改进算子反射性地应用于自身。每个分支携带一个状态 b=(s,m,h):一个任务技能 s,一个分支级元技能 m=(ψ,σ,α,π,ε),以及一个迭代历史 h。任务技能在快速时间尺度上每个迭代进化;元技能在慢速时间尺度上每 H 个迭代进化,由分支过去 H 个后代的改进程度驱动,即衡量其当前改进策略是否仍然有生产力的一个运行指标。m 的五个组件共同参数化改进循环:ψ 诊断并标记失败轨迹,σ 控制跨分支检索,α 设置每迭代子代预算,π 将诊断转化为具体的编辑提议,ε 将批准的提议应用到磁盘上的技能文件并验证结果的一致性。

关键在于,这没有增加任何架构组件:m 的每个组件都是一个 Markdown 技能文件,格式与任务技能相同,因此相同的五个智能体管道(分析器、检索器、分配器、提议者、进化器)被递归地应用于完善 m 本身,闭环反馈到执行改进的算子本身。元技能反过来提升前沿选择,超越纯粹的效用:每个候选父代通过 η1U(s) + η2P(m|s) + η3N(b) 评分,其中 N(b) 折扣那些已被多次选择的分支,将搜索引导向那些既富有生产力又尚未被充分探索的分支。

我们在三个互补能力的智能体基准测试上评估了该系统:OfficeQA(Opsahl-Ong 等,2026 (https://arxiv.org/html/2607.05297#bib.bib23))、SealQA(Pham 等,2026 (https://arxiv.org/html/2607.05297#bib.bib21))和 ALFWorld(Shridhar 等,2021 (https://arxiv.org/html/2607.05297#bib.bib25))。所有五个管道智能体共享一个冻结的 Gemma-4 31B(Google,2026 (https://arxiv.org/html/2607.05297#bib.bib13))主干,因此任何改进都归功于进化的技能和元技能,而不是新增模型容量或训练。与无技能、静态技能和单级进化(去除了元技能更新)基线相比,MetaSkill-Evolve 在 OfficeQA / SealQA / ALFWorld 上相对于无技能提高了留出测试准确率 +23.54 / +16.09 / +1.92 个百分点,相对于单级进化提高了 +6.38 / +8.05 / +1.92 个百分点。在两个 QA 基准测试上,无技能→静态→单级→我们系统的进展是单调的;在 ALFWorld 上,主干在留出集上已经接近天花板,因此差距很小,静态技能大致是中性的。

总之,我们的贡献是:

  1. 双时间尺度框架:将快速任务技能进化与慢速元技能进化分离,以元生产力 P(m|s) 作为慢速目标,与任务效用 U(s) 并存。
  2. 五智能体进化管道:扩展了固定的分析→提议→进化循环,增加了它们缺少的两个类型化阶段:一个用于跨分支共享的 Retriever (σ) 和一个用于自适应每父代子代预算的 Allocator (α),形成 Analyzer、Retriever、Allocator、Proposer、Evolver。
  3. 通过类型化元技能实现递归自我改进:m = (ψ,σ,α,π,ε) 作为元技能,由相同的五智能体管道像任务技能一样进化,这是一个有界的、单层递归,不需要新模型或新目标。
  4. 元感知的前沿选择:通过效用 U(s)、元生产力 P(m|s) 和分支新颖性 N(b) 对每个候选父代评分,将搜索引导向既富有生产力又尚未被充分探索的分支。

2 相关工作

基于技能的智能体和技能自我改进。

技能是一个可重用的、命名的程序,增强了冻结的 LLM 智能体,现在是跨智能体框架的可移植工件(Wang 等,2023 (https://arxiv.org/html/2607.05297#bib.bib17);Zheng 等,2025 (https://arxiv.org/html/2607.05297#bib.bib1);Opsahl-Ong 等,2026 (https://arxiv.org/html/2607.05297#bib.bib23);Li 等,2026 (https://arxiv.org/html/2607.05297#bib.bib34);Jiang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib35);Zhao 等,2026 (https://arxiv.org/html/2607.05297#bib.bib61))。一个不断增长的线路通过执行反馈(反思、蒸馏、分析→提议→进化和 RL 驱动的重写、轨迹和记忆方法)来闭环(Shinn 等,2023 (https://arxiv.org/html/2607.05297#bib.bib16);Zhao 等,2024 (https://arxiv.org/html/2607.05297#bib.bib18);Alzubi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib22);Xia 等,2026 (https://arxiv.org/html/2607.05297#bib.bib2);Shi 等,2026 (https://arxiv.org/html/2607.05297#bib.bib12);Lin 等,2025 (https://arxiv.org/html/2607.05297#bib.bib7);Zhang 等,2026b (https://arxiv.org/html/2607.05297#bib.bib3);Fang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib42);Ni 等,2026 (https://arxiv.org/html/2607.05297#bib.bib11);Tian 等,2026 (https://arxiv.org/html/2607.05297#bib.bib26);Si 等,2026 (https://arxiv.org/html/2607.05297#bib.bib27);Huang 等,2025 (https://arxiv.org/html/2607.05297#bib.bib54);Yang 等,2026a (https://arxiv.org/html/2607.05297#bib.bib55);Ma 等,2026a (https://arxiv.org/html/2607.05297#bib.bib60);Wan 等,2025b (https://arxiv.org/html/2607.05297#bib.bib59)),而一个并行子线则发展一个技能而不是单个工件(Yang 等,2026b (https://arxiv.org/html/2607.05297#bib.bib36);Liu 等,2026 (https://arxiv.org/html/2607.05297#bib.bib39);Shen 等,2026 (https://arxiv.org/html/2607.05297#bib.bib38);Wang 等,2026 (https://arxiv.org/html/2607.05297#bib.bib40);Ma 等,2026b (https://arxiv.org/html/2607.05297#bib.bib41);Zhang 等,2026a (https://arxiv.org/html/2607.05297#bib.bib8))。在整个过程中,改进过程(如何诊断失败、定义编辑范围、分配搜索、重用经验)是一次编写后固定不变的。MetaSkill-Evolve 将该过程变为一个一等、分支级对象,由同一管道共同进化。

递归自我改进。

改进系统自身改进能力的概念可以追溯到超智能机器(Good,1965 (https://arxiv.org/html/2607.05297#bib.bib43);Wan 等,2025a (https://arxiv.org/html/2607.05297#bib.bib56);Tian 等,2025 (https://arxiv.org/html/2607.05297#bib.bib57))以及 Gödel 机器,它在改进的证据下重写自己的代码(Schmidhuber,2006 (https://arxiv.org/html/2607.05297#bib.bib44))。LLM 时代的实例放弃了证据,改进一个代码改进脚手架(Zelikman 等,2024 (https://arxiv.org/html/2607.05297#bib.bib45)),共同进化提示及其突变提示(Fernando 等,2023 (https://arxiv.org/html/2607.05297#bib.bib46)),或重写自己的设计(Hu 等,2025 (https://arxiv.org/html/2607.05297#bib.bib47);Zhang 等,2026c (https://arxiv.org/html/2607.05297#bib.bib48))。这些系统在代码提示上递归,使用一个全局策略。MetaSkill-Evolve 则在技能文件上递归:其算子是一个五智能体管道,由分支级元技能参数化,同一管道又完善该元技能:一个有界的、单层递归,不添加模型,保持

相似文章

OpenSkill:LLM智能体的开放世界自进化

Hugging Face Daily Papers

OpenSkill是一个框架,让LLM智能体能够从开放世界资源中自进化技能和验证信号,无需目标任务监督,在多个基准测试中实现高性能。

@AlphaSignalAI: https://x.com/AlphaSignalAI/status/2069064122218717387

X AI KOLs Timeline

本文探讨了AI代理如何利用微软研究院的SkillOpt等技术自动编写和优化其技能文件,该技术将技能文档视为可训练状态,并带来显著的性能提升。文章还解决了手动技能调优的挑战,并介绍了GEPA和EvoSkill等进化方法的框架。

SkillOpt-Lite: 通过一行指令实现更好更快的智能体自我进化

Hugging Face Daily Papers

SkillOpt-Lite 提出了一种用于自主智能体技能优化的最小可行流水线,通过将所有组件视为可编辑代码并集成到生产编码智能体中,实现更好更快的自我进化。它通过零阶优化形式化技能优化,并在基准测试上优于先前方法。