我们用一个 agent 来帮助训练一个更强的继任者，然后用那个继任者去帮助训练下一个。我们的新论文 Terminal-RSI 研究了这种递归自我改进的循环：从已验证的成功中学习、通过实践改进、然后重复。经过两个循环，一个 27B 模型在 Terminal-Bench 2.1 上的成功率从 51.7% 提升到 86.5%，在 Terminal-Bench 4.0 上的成功率从 0.0% 提升到 19.8%，创下新的 SOTA。我们想知道这种爬山式改进能走多远，以及是什么让它停滞不前。论文：https://arxiv.org/abs/2610.22192

Terminal-RSI：通过递归自我重写与策略精炼实现递归自我改进的终端 Agent

来源：https://arxiv.org/html/2610.22192

Junyao Yang^1,2,∗^，Zongxia Li^1,3,∗^，Yucheng Shi^1,∗^，Zhongzhi Li^1,4^，Ruhan Wang^1,5^，Ruiwen Zhou^2^，Haitao Mi^1^，Shuicheng Yan^2,†^，Leowei Liang^1^

^1^Tencent Hy Frontier　^2^National University of Singapore　^3^University of Maryland, College Park　^4^University of Georgia　^5^Indiana University

∗Equal Contribution，†Corresponding Author

[email protected]，[email protected]

将验证器的结果转化为有效的策略更新、并将部分进展转化为完整的任务解决，对于终端 agent 而言至关重要。我们提出 Terminal-RSI，它交替进行已验证轨迹的递归自我重写（Recursive Self-Rewrite, RSR）与继承 critic 的递归策略精炼（Recursive Policy-Refine, RPR）。我们构造了轮次边界跳过观测 GAE（Turn-Boundary Skip-Observation GAE, TB-GAE），在跨交互轮次施加衰减的同时保留 token 级别的基线。**家族稠密奖励（Family Dense Reward, FDR）**校准跨任务家族的语义进展；**成功优先奖励（Success-Prioritized Reward, SPR）**将严格成功与有界的部分学分区分开来。一个 Warm-up Critic Model、递归的 critic 交接以及分阶段特定的学习率协同这两个精炼阶段。从 Qwen3.8-27B 基座模型出发，经由 RSR-1、RPR-1、RSR-2、RPR-2 的五阶段序列，得到 Terminal-RSI-27B：在 Terminal-Bench 4.0 上为 19.84%，在 Terminal-Bench 2.1 上为 86.52%，在 Terminal-Bench 3.0 上为 16.95%，在 Terminal-Bench Hard 上为 79.00%。在 LHTB 上，过程奖励从 0.21 提升至 0.37，严格完成数从 0/46 提升至 5/46；SWR100 成功率从 3.00% 翻倍至 6.00%。通过将已验证轨迹的重写与继承 critic 的策略精炼递归耦合，每个被保留的阶段都固化了已发现的行为，并逐步将 agent 从局部的部分修补推进到严格的终端验证。

**图 1：**在五个保留阶段上的终端与长时程基准评测。位置顺序为 Base、RSR-1、20 步的 RPR-1、RSR-2，以及 18 步的 RPR-2，构成 Terminal-RSI-27B。虚线加菱形表示 RSR；实线加星号表示被保留的 RPR；灰色分支表示被丢弃的备选方案。被保留的 Terminal-Bench 与 SWR100 数据点报告 Mean@3 成功率（百分比）。LHTB 左轴为平均严格完成任务数，右轴为过程奖励。

项目主页 (Project Page)代码仓库 (Code Repository)模型权重 (Model Weights)

日期：2026 年 10 月 15 日

1 引言

终端 agent 的评测依据的是可执行环境中的持久性变化，而非其回答的合理性。像 SWE-bench 和 Terminal-bench 这样的基准要求检查代码仓库、修复依赖并进行恢复，最终达到一个能通过受保护验证器的状态 [17 (https://arxiv.org/html/2610.22192#bib.bib31), 28 (https://arxiv.org/html/2610.22192#bib.bib27)]。Long-Horizon-Terminal-Bench 则将这一挑战延伸到长依赖链上——在那里，可观的局部进展未必能带来一个完整的解决方案 [22 (https://arxiv.org/html/2610.22192#bib.bib13)]。因此，学习必须把成功的探索与可复现的执行连接起来，并把延迟得到的验证与使之成为可能的决策连接起来。仅凭流畅的计划或通过的局部检查数量不断增加，都无法闭合这个回路。

第一个障碍是时间膨胀（temporal dilation）：token 生成的时钟与环境变化的时钟并不一致。数百个 token 可能只表达一个 shell 动作，而数千个观测 token 却不引入任何额外的策略决策。当 GAE 遍历一条交错的 token 链时，反复施加的折扣与迹因子会按照文本长度、而非交互的实际影响来衰减远处的信用 [34 (https://arxiv.org/html/2610.22192#bib.bib15), 13 (https://arxiv.org/html/2610.22192#bib.bib21)]。把观测从策略损失中屏蔽掉并不能消除它们的递归节点。因此，两次决策序列与终端结果完全相同的执行，可能仅仅因为其中一次产生了更冗长的日志，就获得不同的信用分配。长上下文也促使人们采用分块和摘要，但这两种操作性质不同：切分一条未改变的链可以在边界上精确传递，而摘要则会改变条件化的历史，并可能移除未来决策所需的细节。

第二个障碍是跨递归监督的价值漂移。基于仓库的轨迹、环境反演和任务合成扩展了可执行监督的范围 [45 (https://arxiv.org/html/2610.22192#bib.bib7), 25 (https://arxiv.org/html/2610.22192#bib.bib6), 31 (https://arxiv.org/html/2610.22192#bib.bib8)]。**递归自我重写（RSR）**通过运行手册规划、泄漏审查和全新公开执行来传递来自互补 harness 的发现 [23 (https://arxiv.org/html/2610.22192#bib.bib2)]。重写改变了 actor 偏好的动作，因此也改变了它的 critic 会遇到哪些历史。随后的强化学习再次改变这些分布；奖励重校准还改变了被预测的回报本身。重置 critic 会丢弃已学到的结果结构，而不经校准地迁移它则可能保留系统性的预测误差。这些误差会进入 token 优势函数与价值自举中，因此一个更强的 actor 在经历监督策略迁移之后，并不会自动为其新的历史、奖励或执行时程提供可靠的价值。奖励对齐也带来相关的难题。不同的终端任务家族暴露出不同数量的语义检查，而一条失败的轨迹可能累积大量通过的检查，却仍不满足完整的执行契约。单一的全局尺度会过度强调拥有大型验证器的家族；而纯粹按比例计算的进展奖励，在策略已经具备严格成功能力之后，仍会继续偏袒不完整的行为。我们的固定轨迹分析让这一区分变得具体：在较早的奖励设置下，失败获得了总奖励质量的 50.09%，而且某些失败通过了每一个被执行的场景检查，却错过了终端门槛。目标不是消除部分学分（它有助于探索），而是随着训练推进，让此类学分从属于已验证的完成。

我们提出 Terminal-RSI，交替进行仅 actor 的 RSR 与继承 critic 的递归策略精炼（RPR）。从 RSR-1 的 actor 和一个 Warm-up Critic Model 出发，RPR 在第二个循环中协调阶段内的价值校准、奖励演化以及五倍的 actor 学习率削减。我们建立在 T1 终端基础设施、PPO、GAE 和价值准备的先例之上，而非宣称这些原语是独立贡献 [46 (https://arxiv.org/html/2610.22192#bib.bib1), 35 (https://arxiv.org/html/2610.22192#bib.bib16), 49 (https://arxiv.org/html/2610.22192#bib.bib35), 50 (https://arxiv.org/html/2610.22192#bib.bib34)]。重点在于它们的递归耦合：监督式迁移保留 critic 权重，且每个新的策略精炼阶段在联合优化之前先适配继承来的价值。异步执行还要求区分流水线调度，与策略更新以及训练—推理实现差异所导致的似然不匹配 [47 (https://arxiv.org/html/2610.22192#bib.bib20)]。

贡献。

1. (i) 一个递归的 actor–critic 框架。 我们通过已验证的重写、critic 交接和阶段自适应优化，明确了 Base、RSR-1、RPR-1、RSR-2 与 RPR-2 的流程。初始的仅 critic 阶段与四次更新的阶段内校准各司其职，在不假设每次 actor 迁移后价值仍然校准的前提下，保留有用的回报结构。

2. (ii) 信用分配与奖励演化。 **轮次边界跳过观测 GAE（TB-GAE）**在跨轮次施加衰减的同时保留 token 级基线。我们刻画了固定输入续写、截断误差和条件方差。**家族稠密奖励（FDR）**校准家族内的进展；**成功优先奖励（SPR）**将严格成功与有界的部分学分区分开。独立的重新打分把失败所占的奖励份额从 50.09% 降至 28.72%，在不同奖励变体之间保持结果标签一致，并隔离出它们对信用的分配方式。

3. (iii) 在多个终端基准上的广泛评测。 Terminal-RSI-27B 达到 50.58% 的四套件平均成功率，较 Base 和 RSR-1 分别高出 29.90 和 16.33 个百分点。LHTB 达到 0.37 的过程奖励和 5/46 的严格完成数；SWR100 翻倍至 6.00%。完整的阶段轨迹与检查器层面的案例揭示了非单调分支与验证缺口，将被保留的性能与缺乏支撑的组件级因果主张区分开来。该评测区分了测得的任务完成度、塑形后的奖励与检查器覆盖率，而不是在变化的策略、任务与验证契约之间把它们当作可以互换的能力度量。

2 Terminal-RSI 方法

2.1 交互、监督与参数交接

设 (x \sim \mathcal{D}) 指定一个任务、沙箱和受保护的验证器，其公开指令为 (x_{\rm pub})。给定历史 (h_t = (x_{\rm pub}, o_0, a_0, \ldots, o_t))，actor 采样 (a_t \sim \pi_\theta(\cdot \mid h_t))，环境返回 (o_{t+1})。对于 (T) 轮，轨迹分布分解为 actor 的决策与环境的转移：

(P_\theta(\tau \mid x) = P(o_0 \mid x) \prod_{t=0}^{T-1} \pi_\theta(a_t \mid h_t) P(o_{t+1} \mid h_t, a_t).)　(1)

严格成功 (S \in {0, 1}) 要求完整的受保护验证器，而非 agent 的自我声明或通过检查的一个子集。我们沿用 T1 的 Token-In, Token-Out 契约，以保留采样输出 token 的身份并将观测从直接策略损失中屏蔽；但重建后的历史在条件化上仍可能不同 [46 (https://arxiv.org/html/2610.22192#bib.bib1)]。

**图 2：**递归循环在监督式迁移中携带 critic 权重。蓝色区块区分仅 actor 的 RSR 与联合 actor–critic 的 RPR；旁路保留 critic，反馈则将被保留的策略送入下一个循环。初始 actor 为 RSR-1；Warm-up Critic Model 指已准备好的价值网络。

已验证的重写。 沿用 Li et al. [23]，发现阶段仅在 (x, \tau, H) 由被保留的 actor (\theta_k^+) 在 harness (H \in \mathcal{H}) 下生成、且 (\mathcal{V}x(\tau) = 1) 时才予以保留。规划器接收到 (p{\rm plan} = I_{\rm plan} \oplus x_{\rm pub} \oplus \mathcal{C}(\tau))，其中 (\oplus) 表示拼接输入，(\mathcal{C}) 移除 harness 控制消息。只看到公开任务与运行手册的审查者应用二元的 schema、artifact 与兼容性门槛 (q(x, b))。令 (E_k(x, b)) 表示由 (\theta_k^+) 在目标 harness (H_0) 下的新一次执行，其私有引导为 (I_{\rm exec} \oplus x_{\rm pub} \oplus b)；(a_x(\tau) = \mathcal{V}x(\tau) , q{\rm leak}(\tau)) 将验证与泄漏筛查结合起来。被接受的重放与仅 actor 的监督为

(b_\ell \sim \pi_{\theta_k^+}(\cdot \mid p_{\rm plan}),\quad \widetilde{\tau}{\ell m} \sim E_k(x, b\ell),\quad q(x, b_\ell) = 1,) (Q_k^{\rm clean} = \operatorname{Unif}{\mathcal{P}(\widetilde{\tau}{\ell m}) : a_x(\widetilde{\tau}{\ell m}) = 1},)　(2)

(\mathcal{L}{\rm RSR}(\theta) = -\mathbb{E}{Q_k^{\rm clean}} \sum_j m_j \log \pi_\theta(y_j \mid h_j).)　(3)

此处 (\ell \leq K)、(m \leq M) 分别索引运行手册与执行重复次数；(\mathcal{P}) 移除私有运行手册与审查者对话。均匀采样保留了被接受的多重集的重数。参考的 RSR 分析使用 (K = M = 4)，并非这里运行的每一次。对于非空的 (Q_k^{\rm clean})，(m_j \in {0, 1}) 在公共前缀 (h_j) 下选择生成的决策 (y_j)，同时 critic 权重保持固定。前向 KL 的解释需要附录 D (https://arxiv.org/html/2610.22192#A4) 中的原生重放与掩码假设。

Critic 初始化与迁移。 用冻结 RSR-1 actor 的一个 SWR epoch 来准备 Warm-up Critic Model (\phi_{\rm seed})，供 RPR-1 使用。RPR-2 通过仅 actor 的 RSR-2 继承被保留的 RPR-1 critic，这建立在价值准备的先例之上 [46 (https://arxiv.org/html/2610.22192#bib.bib1), 49 (https://arxiv.org/html/2610.22192#bib.bib35), 50 (https://arxiv.org/html/2610.22192#bib.bib34)]。被保留的参数 ((\theta_k^+, \phi_k^+)) 初始化下一次重写与 critic 校准，并在价值更新期间保持 actor 固定：

((\theta_{k+1}^{0}, \phi_{k+1}^{0}) = (\operatorname{RSR}(\theta_k^+, Q_k^{\rm clean}), \phi_k^+),) (\phi_{k+1}^{\rm warm} = \operatorname{Warmup}4(\phi{k+1}^{0};; \theta_{k+1}^{0}\ \text{固定}).)　(4)

因此 (\Delta\phi\big|_{\rm RSR} = 0)。每个 RPR 阶段都先在 actor 冻结的情况下重新校准 critic，再进行联合更新；这四次更新不同于最初的完整 epoch。权重迁移保留了已学到的回报结构，而不假设在策略与奖励变化之后校准依然持续。

**图 3：**重写与策略精炼更新的是不同参数。左侧分支负责发现、重写并验证 actor 的示范；递归策略精炼（RPR）结合继承的价值、奖励校准与轮次边界跳过观测 GAE（TB-GAE）。阶段内 critic 校准由联合训练之前的四次仅 critic 更新构成，而非在每个 PPO minibatch 之前。

策略精炼。 对于阶段 (k) 中的生成位置 (u_j)，定义依赖 actor 与奖励的价值：

(V_k^\pi(h_{u_j}) = \mathbb{E}{\pi{\theta_k}}!\left[\sum_{q=j}^{L-1}\left(\prod_{i=j}^{q-1}\Gamma_i (1 - d_i)\right) \widetilde{r}q^{(k)} ,\middle|, h{u_j}\right].)　(5)

此处 (L) 统计生成的 token 数，区别于交互轮数 (T) 与执行重复次数 (M)。第 2.3 节 (https://arxiv.org/html/2610