石龙提出了一种分类法，将自进化智能体分为三类：产物优化、框架自我改进和模型学习。该框架区分进化发生在输出、智能体基础设施还是模型权重中，为新兴的智能体研究提供了一种通用语言。

自进化智能体的分类法

自进化智能体正变得流行。Hermes Agent (https://hermes-agent.nousresearch.com/docs/user-guide/features/skills) 实现了自动可复用技能。RSI Lab (https://www.recursive.com/) 尝试递归地发现新算法。NVIDIA 探索了面向机器人的智能体自进化 (https://research.nvidia.com/labs/gear/enpire/)。自动研究智能体旨在为科学发现实现自进化。

更多论文也在设计自进化算法，包括强化学习和无训练方法。它们都使用类似的词语：自进化、自改进、学习、适应。但它们指的是同一件事吗？我们应如何将这些工作分类到不同方向？它们与相关术语（如自改进智能体、递归自改进、持续学习和测试时训练）又有何不同？在这篇博客中，我通过回答这些问题来提供一种自进化智能体的分类法。

模型、框架与产物

模型、框架与产物

模型、框架与产物

在自进化系统中，模型、框架与产物是三个关键要素。模型，通常是大语言模型，是对提示做出响应的大脑。框架包括循环设计、记忆、工具及其他外围组件。它把模型变成智能体。因此有一个著名的等式：

智能体 = 模型 + 框架

产物被提及较少。我用“产物”一词指智能体产生的输出，例如智能体发现的内核算法、自动研究者的论文和发现，或来自机器人自进化系统的新机器人策略。

它们之间的联系很简单。模型和框架共同构成智能体。智能体再产生产物。这三个术语一起为我们提供了一种组织自进化系统的有用方式。

基于此视角，现有的自进化系统可分为三个层次：产物迭代优化、框架自我改进，以及无黄金答案的模型学习。

产物迭代优化

产物迭代优化

产物迭代优化

最近一波自进化智能体主要由产物迭代优化推动。动机很简单：使用强大的大语言模型为复杂优化问题创建新产物。AlphaEvolve (https://arxiv.org/pdf/2506.13131) 利用编码智能体进行科学和算法发现。在此分类法中，被发现的算法就是产物。随后，多个自动研究系统被提出。一个代表性事件是 Analemma AI 的 FARS (https://arxiv.org/html/2606.31651v1) 运行了417小时，生产了166篇完全由AI生成的论文，成本约18万美元。Recursive Superintelligence (https://www.recursive.com/articles/first-steps-toward-automated-ai-research) 也找到了更好的GPU内核算法。

产物迭代优化系统在概念上并不复杂。人类设定目标和评估标准。然后智能体反复寻找可改进之处，产生新输出，并检查输出是否满足标准。若满足，过程结束；若不满足，循环继续。上述 AlphaEvolve 流水线就是一个例子。读者可能已经熟悉这种模式，因为像 Codex、Claude Code 和 OpenClaw 等工具都遵循类似行为。

AlphaEvolve 流水线

AlphaEvolve 流水线

这个想法很直观，当然并非新事物。变化在于大语言模型，尤其是编码模型，使循环更加灵活。在大语言模型占主导之前，研究人员通常手动设计算子或动作，然后在这些算子之上设计搜索或优化方法。神经架构搜索就是一个很好的例子。像 EfficientNet (https://arxiv.org/pdf/1905.11946) 这样的工作定义了可能网络算子的搜索空间，然后搜索更好的网络设计。这类工作在诸多任务上取得了成功，有时甚至超过了人类设计的算法。

大语言模型带来的变化是：模型本身可以同时充当算子和优化器。它可以发明新的候选方案、检查以前的结果，并决定下一步搜索的方向。这使得它成为强大的搜索工具。我们获得了更大的搜索空间，以及更好的启发式搜索器。

另一个趋势是，大语言模型在长周期任务上变得更强大。因此改进-验证循环可以更有效地运行。2024年，仅两年前，像 LLaVA-Plus (https://arxiv.org/abs/2311.05437) 这样的先前工作只能执行不到5次工具调用，需要频繁的人工干预。但现在，智能体可以在较少人工干预下运行数小时。借助更强的大模型，这个循环对于加速工程和科学发现变得有用。

目前大多数智能体运行在数字环境中：代码库、浏览器、模拟器、终端及其他软件系统。因此大多数探索仍然局限于虚拟环境。更雄心勃勃的方向是现实世界。NVIDIA 通过一个智能体循环控制机器人，使智能体能够找到新的机器人策略。LabOS (https://arxiv.org/abs/2510.14861) 将智能体与生物实验室连接起来进行实验。Qumus (https://arxiv.org/abs/2605.18407) 构建了一个量子材料实验者。展望未来，我们应该期待更多关于物理世界中产物迭代优化的研究。

世界是智能体的牡蛎。

智能体框架自我改进

智能体框架自我改进

智能体框架自我改进

几乎与产物迭代优化同时，智能体框架自我改进在研究领域流行起来。动机不同。模型训练成本高昂，因此一个自然的问题是：我们能否在不更新模型权重的情况下，在部署后改进智能体？

答案似乎是肯定的。杰出的研究人员倾向于对所有有价值的问题说“是”，至少先给出一个演示。目前探索了两种主要解决方案：提示/记忆层面，以及工具/技能层面。

提示学习与记忆

我们可以记住一些问题和答案，以便稍后回答相同的问题。我在初中时就这么做。但记忆不能很好地泛化，在相似但不同的任务上表现不佳。更好的解决方案是提取有用的规则并存储在智能体可重用的地方。有些工作将它们存储在提示中，例如 GEPA (https://arxiv.org/abs/2507.19457)。有些工作将它们存储在剧本中，例如 ACE (https://arxiv.org/abs/2510.04618)，或存储在记忆系统中，例如 Mem0 (https://arxiv.org/abs/2504.19413)。

尽管有些方法名称中包含“学习”，但它们并未调整模型权重。但如果我们把框架视为智能体的一部分，那么对框架的更新（比如提示更新）应被视为类似于参数更新。因此，称它们为“学习”方法并无不妥。

这是智能体框架自我改进与产物迭代优化的另一个关键区别。在这里，智能体修改自身的组件，如提示和记忆，而产物迭代优化关注的是优化输出而非智能体本身。

工具与技能创建

但文本信息并不总是足够的。例如，如果智能体需要理解长视频并找到关键帧，仅靠记忆可能会变得冗余。要提取关键帧，智能体需要的是可操作的工具或技能。因此，一个直接的想法是创建可重复使用的工具（如 Alita (https://arxiv.org/abs/2505.20286)）或技能（如 Mem-UI (https://arxiv.org/abs/2602.05832)），这样智能体每次面对相同问题时都可以重复该过程。工具被编码为代码，因此智能体可以直接生成它们。技能可以看作是工具的高层封装。生成后，这些工具或技能会被添加到智能体中。智能体下次就可以重用来解决类似问题。

技能也可以被视为另一种上下文管理方式。它们减少了上下文长度，因为智能体不再需要将每个细节都放入上下文窗口。上下文很重要。

技能现在已成为流行的解决方案。Claude Code 已经将技能形式化，并成为现代智能体的事实标准组件。Claude Code 可以创建和使用技能，Codex 和 OpenClaw 也是如此。另一个热门仓库 Hermes Agent 也强调自动技能创建。

与提示学习和记忆类似，这要求智能体修改自身，因为工具和技能属于框架。

走向多智能体自进化

前面的解决方案很漂亮，但很难在单个智能体内扩展。随着剧本增长，以及更多工具和技能的加入，系统可能变得不可靠且低效。如果用户只关心股票相关问题，他们不需要烹饪工具。将无关工具保留在系统中只会使智能体变慢，有时还会更混乱。这种混乱也可能是语义上的。如果同一个智能体中注入了太多烹饪知识，智能体可能不知道“squeeze”是指市场还是指橙子。

为了解决这个问题，任务专家变得有用。有时，一个烹饪智能体和一个股票智能体比试图同时处理两个领域的单一智能体更好。这导致了多智能体自进化解决方案。我们之前的工作 Eevee (https://arxiv.org/abs/2606.11182) 观察到，当数据来自非常不同的来源或分布时，单个智能体是有限的。因此它提出使用多个专家智能体处理不同任务，并由一个路由器将每个任务分配给正确的专家。类似地，我们发现为智能体配备一组生成的工具来构建专家，对于某些专业领域很有用，如 Alita-G (https://arxiv.org/abs/2510.23601) 所示。

我们也可以将多智能体系统视为上下文管理的扩展，因为每个专家只需要携带对其自身任务有用的上下文。上下文很重要。

对于多智能体解决方案，一个关键瓶颈是如何找到合适的智能体，即路由。一个关键发现是，路由在大多数情况下并非简单问题。它需要更强的基模型才能获得良好性能，如路由 (https://arxiv.org/abs/2605.07180) 所示。从这个意义上说，人类专家最有价值的能力之一也是路由。我们将任务分配给智能体，并决定它们是否应该进入下一步。

人类就是一个路由器。

无黄金答案的模型学习

无黄金答案的模型学习

无黄金答案的模型学习

这是第三个主题。与产物优化和框架自我改进相比，这个方向更新的是模型本身。这个领域的许多工作可能永远不会称自己为自进化智能体。它们通常以自训练、弱监督、自博弈、强化学习、测试时训练、在线学习或持续学习等名称出现。

一个关键区别是学习会改变模型权重。问题在于如何在没有黄金答案、只有问题、弱信号或可选环境访问的情况下实现模型更新。目标与自进化智能体类似，但解决方案截然不同。

伪真实标签或内部信号

如果我们没有黄金答案，一个选择是从数据本身构建伪真实标签（如自训练 (https://arxiv.org/abs/2202.12040)），或使用内部信号（如 TTRL (https://arxiv.org/abs/2504.16084)）。然后这些信号可用于模型训练。如果将伪标签视为目标，我们可以使用监督微调（SFT）。如果信号可以转化为奖励，我们可以使用强化学习，如 DeepSeek-R1 (https://arxiv.org/abs/2501.12948)。

例如，假设有一个问题：图片中有多少个苹果？虽然我们没有真实答案，但预训练模型可能仍能做出比随机猜测更好的估计。假设图片中有5个苹果。模型可能对4、5、6个苹果这样的答案更有信心，这些就是内部信号。这些信号不是完美的标签，但仍然可以是有用的信息。

自博弈与来自环境的弱信号

学习信号也可以来自模型外部。一些例子使用自博弈进行学习，如 SPIN (https://arxiv.org/abs/2401.01335) 和 Absolute Zero (https://arxiv.org/abs/2505.03335)。另一些通过与环境交互来学习，如 Agent Learning via Early Experience (https://arxiv.org/abs/2510.08558)。我把它们归为一类，因为另一个参与者也可以被视为环境的一部分。

有一个简单的日常例子。如果你约某人出去玩但没有得到回应，这仍然给了你信息。即使环境没有回应，也可以是一个弱信号。

用于模型架构的测试时训练（TTT）

测试时训练 (https://test-time-training.github.io/e2e.pdf) 是一个特例。我把它列在这里是因为它试图解决类似的问题，但方式非常不同。它从不称自己为自进化。一个可能的原因是它有一个更花哨的名字。

这是一系列工作。这系列工作表明，一些序列模型可以被解释为在推理过程中执行某种形式的梯度更新。从这个意义上说，模型可以被视为在推理过程中持续更新一个矩阵。我推荐这篇 DeltaNet 博客 (https://sustcsonglin.github.io/blog/2024/deltanet-1/) 作为参考。

与持续学习的联系

持续学习 (https://arxiv.org/abs/2302.00487)，在某些语境下也称为在线学习或终身学习，可以追溯到大规模语言模型之前的时代。一个经典场景是视觉识别。假设我们训练了一个模型来识别轿车，现在想让它也识别SUV。一个简单的解决方案是在SUV图像上微调模型，但这可能会损害它对原轿车图像的识别能力。如何避免灾难性遗忘成为一个关键问题。很难说这个问题是否已完全解决。最有效的解决方案之一，或者可能是唯一有效的解决方案之一，仍然是在微调SUV时回放一些轿车示例。

然而，同一个术语随时间可能会有完全不同的含义。“多模态”学习就是一个很好的例子。大约2017年，它常指图像字幕工作，如 Bottom-Up and Top-Down Attention (https://arxiv.org/abs/1707.07998)。大约2021年，常指 CLIP 类模型 (https://arxiv.org/abs/2103.00020)。大约2023年，用于像 GPT-4V 这样的视觉语言模型。到2025年，它也涵盖了同时处理图像理解和图像生成的统一模型。类似地，当今的大语言模型讨论中，持续学习通常更接近自进化智能体，而不是旧的灾难性遗忘设定。

人类和术语都会随时间变化。

模糊的边界

模型、框架与产物进化之间的边界变得模糊。当我们优化一个内核算法时，目标是产物。然而，为了使搜索更有效，我们可能还需要改进智能体自身的设计，比如它的提示、工具、记忆或搜索策略。类似地，智能体的知识受限于模型预训练。一旦框架达到极限，更新模型参数就成为自然的下一步。最近的一些工作，如 SIA (https://arxiv.org/abs/2605.27276)，已经探索了这个方向。

展望未来，我认为自进化系统中的每一个模块都