具有随时有效证书的自演化代理

# 具有随时有效证书的自我进化智能体 来源：https://arxiv.org/html/2607.00871

###### 摘要

自我进化智能体违背了大多数学习理论保证背后的假设：数据、评估器、组件和假设空间都是由正在更新的策略自身产生的。我们提出 SEA，一种将自修改限制在一个小型引导适配器和一个围绕*冻结*基础模型的版本化框架内，并通过一个随时有效门控来接纳每次修改，该门控针对固定错误预算发出可审计证书的架构。五个循环控制器组合了已发表的保证；由于此类门控只能*选择*冻结基础已经产生的行为，五个验证器在环机制——最佳 N 结果、微步搜索、自创复现预言机、搜索层控制和自我修复——提供了门控所需的密集、无评分器信号，这些信号仅从问题文本中计算得出。在跨越四个基础模型的 5252 个实例的 SWE-bench Verified 子集上，基础能力是主导且无混杂因素的效果；在两个强基础模型上，一个有意的无操作复合对照隔离出该套件的贡献为 +4（Glm5.2：28→24）和 +5（Gpt：29→34，为最佳 65%），事件日志确认其机制启动并防止了性能倒退。结果是在昂贵的评估中单次运行得出的；确认运行间方差和适配每个任务算法组合是未来工作。

**免责声明：** 本论文由摩根大通及其附属公司（'JPMC'）的 LLM Suite 小组为信息目的编写，并非摩根大通研究部门的产品。摩根大通对本文件所载信息的完整性、准确性或可靠性不作任何陈述、保证或承诺，并免除所有责任。本文档无意作为投资研究或投资建议，或推荐、要约或邀请购买或出售任何证券、金融工具、金融产品或服务，也不应以任何方式用于评估参与任何交易的价值，并且在任何司法管辖区或对任何人，如果此类邀约在该司法管辖区或对该人属非法，则不应构成邀约。

## 1 引言

一个自我进化智能体使用其自身产生的数据、评估、组件和假设空间来改进其未来的行为——重写提示和工具、蒸馏其输出、学习其奖励模型、增长技能库。然而，人们为这类系统所引用的保证是针对*外生*环境证明的：持续学习遗忘界限 (Farajtabar et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib4); Chug et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib2))、偏好优化的收敛性 (Tiapkin et al., 2025 (https://arxiv.org/html/2607.00871#bib.bib10); Wang et al., 2025 (https://arxiv.org/html/2607.00871#bib.bib9))、策略梯度估计器的无偏性 (Meulemans et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib14))、安全策略改进 (Thomas et al., 2015 (https://arxiv.org/html/2607.00871#bib.bib19)) 以及库学习的最优性 (Bowers et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib25)) —— 它们都假设任务流、评估器、MDP 或程序库是独立于学习器固定的。我们将这种违背称为*内源循环失效模式*：进化中的策略生成了其训练所用的数据、其被评判的评估器、其构建所用的组件以及其搜索所用的假设空间。这个名称是一个简写，而非精确的数学类别，按字面理解会夸大问题：违反定理的假设会使其证书失效，但并不会否定其结论。该保证只是不再被*认证*——界限可能仍然成立，可能优雅地退化，也可能被打破，这取决于问题——而表演性预测理论表明，当策略引起的分布偏移足够小时，该循环实际上仍可能收缩 (Perdomo et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib1))。我们使用这个术语来标记经典保证不再适用的地方，而不是声称学习过程必定失败。

本文为这一设定开发了一套架构和一组具体算法，以及一个可执行的参考实现，本文中的所有伪代码均从中提炼而来。两个原则组织了这一设计。首先，每次自修改都通过一个*随时有效门控*：每个经典种子结果都被包裹在恰好使其保证能在闭环中存活的机制中——表演性稳定性 (Perdomo et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib1))、随时有效推断 (Ramdas et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib12); Howard et al., 2021 (https://arxiv.org/html/2607.00871#bib.bib22))、动态遗憾在线学习 (Cutkosky, 2020 (https://arxiv.org/html/2607.00871#bib.bib16); Baby and Wang, 2022 (https://arxiv.org/html/2607.00871#bib.bib17)) 以及双时间尺度随机逼近 (Borkar, 2008 (https://arxiv.org/html/2607.00871#bib.bib11))。其次，门控只能*选择*冻结基础模型已经产生的行为；当基础模型的失败是系统性的而非随机的，且奖励仅在一个回合结束时到来时，就没有任何东西可供门控选择。因此，我们使任务验证器成为一个主动的环内控制信号（§5 (https://arxiv.org/html/2607.00871#S5)）——在回合内部、跨尝试、在动作空间内以及在信用分配内部——这样控制器既有信号又有其所需的变化来采取行动。

#### 贡献。

1. 1. 一个四层参考架构（§3 (https://arxiv.org/html/2607.00871#S3)），它将自我进化 LLM 智能体分解为一个冻结的基础模型 $L_0$、一个小的引导适配器 $L_1$（在线引导；在报告的任何运行中均未进行权重微调）、一个可变、版本化的框架 $L_2$，以及一个循环控制器 $L_3$（图 1 (https://arxiv.org/html/2607.00871#S1.F1)）。由于 $L_0$ 被冻结且 $L_1$ 是低维的，策略差值 $\lVert\pi_t-\pi_{t-1}\rVert$ 是可测量的，并且可以被信任区域化，这正是表演性灵敏度机制可行的原因。
2. 2. 五个循环控制器（§4 (https://arxiv.org/html/2607.00871#S4)），每个针对内源循环的一种失效模式：稳定性-可塑性、自指塌缩、信用分配、可验证自修改和假设空间扩展。每个都作为精确的问题陈述给出，附有算法解决方案和伪代码（算法 1 (https://arxiv.org/html/2607.00871#alg1)–5 (https://arxiv.org/html/2607.00871#alg5)），并明确说明它构建在哪些已发表结果之上，以及哪些保证在内源设定下仍然是开放猜想。
3. 3. 验证器在环机制和双循环设计（§5 (https://arxiv.org/html/2607.00871#S5)）：一个分级验证器（式 9 (https://arxiv.org/html/2607.00871#S5.E9)）、闭环测试执行、一个探索→编辑预算、过程级别奖励，以及一个验证器门控的优化爬山法（算法 6 (https://arxiv.org/html/2607.00871#alg6)），最终构建出一个经过验证的微步搜索（算法 7 (https://arxiv.org/html/2607.00871#alg7)）和一个搜索后蒸馏的双循环设计 (Zelikman et al., 2022 (https://arxiv.org/html/2607.00871#bib.bib41); Gulcehre et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib42))，五个控制器重新瞄准其中（表 2 (https://arxiv.org/html/2607.00871#S5.T2)；四个在搜索层，算法 9 (https://arxiv.org/html/2607.00871#alg9)，通过离线门控模拟验证）。
4. 4. 一个自创的环内验证器（§5.2 (https://arxiv.org/html/2607.00871#S5.SS2)，算法 8 (https://arxiv.org/html/2607.00871#alg8)）：搜索由一个模型仅从问题编写出的再预言机套件引导，该套件通过一个简单规则（一个预言机*必须在未修补的基础模型上失败*）被接纳，而留出的评分器则用于终端测量。当一个预言机套件被接纳时，搜索无需评分器运行，并且留出的测试从不引导它。
5. 5. 已验证的框架自我修复（§5.4 (https://arxiv.org/html/2607.00871#S5.SS4)，算法 10 (https://arxiv.org/html/2607.00871#alg10)）：一个框架修复原语的仓库，循环*根据针对真实环境测量的修复率选择*这些原语，而非根据人工判断——与算法 4 相同的提出加门控纪律，应用于智能体自身的失效模式。
6. 6. 一个可重用的随时有效统计核心（§6 (https://arxiv.org/html/2607.00871#S6)）：正态混合置信序列、具有可预测插注投注的 Hoeffding e-过程、一个*无水平、归一化的*确认触发谐波花费计划、时间一致 PAC-Bayes 惩罚、带有漂移触发的重启的无参数硬币投注预言机、精确的一维 Wasserstein 计算、野引导趋势检验、MAP-Elites 存档，以及通过反统一与合理优势剪枝的 Stitch 风格 MDL 压缩。

$L_0$ — 冻结基础模型
$L_1$ — 引导适配器 $\theta$（在线引导；未微调）
$L_2$ — 框架：提示 ⋅ 工具 ⋅ 预算 ⋅ 库
部署的策略 $\pi_t = L_0 \circ L_1^{(t)} \circ L_2^{(t)}$

算法 4 SGM-CS: 门控框架编辑 (CS++εW1++CTHS)
算法 5 SDC-QD: 增长抽象库 (MDL++QD)
算法 3 PA-COCOA: 反事实信用 →θ
算法 1 PPB-CL: 遗忘门控 ++ 信任区域在θ
算法 2 PNMP-A: 锚定学习到的奖励模型 q

$L_3$ — 循环控制器（复合双时间尺度调度器）
编辑（慢）增长（慢）训练（快）保护（快）

环境 ++ 验证器
任务 ⋅ 测试执行 ⋅ 奖励 $R, \tilde{R} \in [0,1]$
奖励模型 $q$
证书账本 accept/hold/nsf ⋅ $\delta$-spend
部署 / 行动
观察 ++ 测试反馈
轨迹 ⋅ 奖励 e-值漂移门控分数轨迹

图 1: 四层和五个控制器如何交互。部署的策略 $\pi_t = L_0 \circ L_1^{(t)} \circ L_2^{(t)}$ 组合了一个冻结的基础模型 $L_0$、一个小型引导适配器 $L_1$ 和一个可变的框架 $L_2$；第四层——$L_3$ 循环控制器——位于*这个前向传递之外*。部署导致表演性分布 $\mathcal{D}(\pi_t)$，并且验证器返回有界的终端奖励和过程奖励；$L_3$ 控制器消费这些奖励并通过随时有效门控作用于它们各自的层——算法 3/算法 1 每一轮更新和保护 $L_1$（快时间尺度），算法 4/算法 5 每 $K$ 轮编辑和增长 $L_2$（慢时间尺度），算法 2 使用 e-值漂移门保护任何学习到的奖励模型。每个决策都根据错误预算 $\delta_0$ 记录在证书账本中。在所有报告的运行中，$L_1$ 被*引导*——其离散指令的分布由算法 1/算法 3 在线更新——从未被权重微调；通过 §5.3 (https://arxiv.org/html/2607.00871#S5.SS3) 的慢循环蒸馏进行的权重级别适配器训练已设计但未在此运行。

我们刻意保持认识论上的清晰。本文中的每个数学陈述都来自已发表的结果，并在使用时引用了来源；我们在此不推导新的界限或速率。当引用一个经典保证时，我们精确说明其来源证明了什么，并将其在内源循环下的存活视为一个*开放猜想*，而不提出证明。同样，任何给定机制是否能提升给定基础模型，也不是通过轶事论证：§8 (https://arxiv.org/html/2607.00871#S8) 的协议旨在回答这个问题，我们将该讨论推迟到结果部分。

## 2 相关工作

SEA 并未引入新的学习理论；它复用了为*外生*设定证明的保证，并询问每个保证需要什么才能在学习器自身闭合的循环中存活。因此，先前工作扮演了两个角色。一个共享的视角（表演性）和一个共享的门控（随时有效推断）贯穿所有五个控制器；四个经典文献为每个控制器提供了种子结果，而第五个线索——验证器引导的搜索——是供给门控的引擎，而非控制器本身。

#### 表演性是视角。
共同的困难是，智能体自身的更新会改变其随后被评判的分布。表演性预测精确地指出了这一点：Perdomo 等人 (2020 (https://arxiv.org/html/2607.00871#bib.bib1)) 通过灵敏度条件 $W_1(\mathcal{D}(\pi), \mathcal{D}(\pi')) \le \varepsilon \lVert \pi - \pi' \rVert$（他们的定义 3.1）定义了决策依赖分布 $\mathcal{D}(\pi)$，并表明对于 $\beta$ 平滑、$\gamma$ 强凸的损失，当 $\varepsilon < \gamma / \beta$ 时（他们的定理 3.5，该阈值在其命题 3.6 中显示是紧的），重复训练以线性速率收敛到一个表演性稳定点。Mandal 等人 (2023 (https://arxiv.org/html/2607.00871#bib.bib15)) 将其引入强化学习，其中奖励和转移核在占用测度上是 $(\varepsilon_r, \varepsilon_p)$ 灵敏的，并且收敛通过足够强的正则化*被恢复*（他们的定理 1）——因此，在表演性下，信任区域和正则化是必要的而非可选的。我们自始至终采用这一视角：部署的配置是我们的表演性变量，而 $\varepsilon$ 既作为信任区域系数（算法 1）也作为置信半径膨胀（算法 4）出现。

#### 随时有效推断是门控。
由于自我进化智能体每一轮都在检查自身的统计数据，它依赖的任何测试都必须在连续窥视下保持有效——固定 $n$ 推断的构造无效。E-值、e-过程和时一致置信序列正是为此类可选停止提供了许可 (Ramdas et al., 2023 (https://arxiv.org/html/2607.00871#bib.bib12); Howard et al., 2021 (https://arxiv.org/html/2607.00871#bib.bib22); Ville, 1939 (https://arxiv.org/html/2607.00871#bib.bib44))。统计哥德尔机 (Wu et al., 2025 (https://arxiv.org/html/2607.00871#bib.bib21)) 是 Schmidhuber 基于证明的哥德尔机 (Schmidhuber, 2003 (https://arxiv.org/html/2607.00871#bib.bib36)) 的统计后裔，将该思想应用于自修改：它使用 e-值门控每个自编辑，并且由于被接受的编辑是不可逆的提交，它在谐波花费计划下控制族系（而非错误发现）错误。算法 4 直接建立在此门控之上，增加了表演性校正和非平稳性检验 (Chandak et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib23))，并继承了高置信 Seldonian 策略改进 (Thomas et al., 2015 (https://arxiv.org/html/2607.00871#bib.bib19), 2019 (https://arxiv.org/html/2607.00871#bib.bib20)) 的弃权语义——这是我们“未找到解决方案”输出的来源。

#### 四种内源失效模式，四个种子。
每个剩余的控制器都采用一个在外生世界中证明的保证，并询问当智能体提供自身数据时它是否仍然成立。
*持续学习。* 正交梯度下降使早期任务的预测保持不变 (Farajtabar et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib4))，但其无遗忘保证是一个 NTK 区域的结果，需要无界雅可比记忆 (Abbana Bennani et al., 2020 (https://arxiv.org/html/2607.00871#bib.bib5), 定理 2)，而 Friedman 和 Meir (2025 (https://arxiv.org/html/2607.00871#bib.bib7)) 的时间一致 PAC-Bayes 遗忘证书是最近的一种替代方案，它不需要 NTK 假设但管理一个非平凡的前景 - 后景权衡。我们将后者的门控版本部署为算法 1 的遗忘层。