Terminal-RSI：通过递归自我重写与策略优化实现递归自我改进的终端智能体

Hugging Face Daily Papers 论文
terminal-agents recursive-self-improvement reinforcement-learning reward-design agentic-ai

摘要

Terminal-RSI 提出通过递归轨迹重写（RSR）与继承批评器的策略精炼（RPR）交替进行，使终端代理从部分进展推进到严格验证，并在 Terminal-Bench 多项基准上取得显著成绩，发布了 Terminal-RSI-27B 模型。

将验证器的结果转化为有效的策略更新，并将局部进展推进至任务的完整解决，对终端智能体至关重要。我们提出了 Terminal-RSI，它交替执行对已验证轨迹的递归自重写（Recursive Self-Rewrite，RSR）和继承评论家的递归策略优化（Recursive Policy-Refine，RPR）。我们提出轮次边界跳过观测广义优势估计（Turn-Boundary Skip-Observation GAE，TB-GAE），在跨交互轮次应用衰减的同时，保留词元特定的基线。任务族稠密奖励（Family Dense Reward，FDR）校准不同任务族之间的语义进展；成功优先奖励（Success-Prioritized Reward，SPR）则将严格成功与有界的部分得分区分开来。预热评论家模型、递归评论家交接和阶段特定的学习率共同协调这两个优化阶段。从 Qwen3.8-27B 基础模型开始，依次经过 RSR-1、RPR-1、RSR-2 和 RPR-2 的五阶段序列，最终得到 Terminal-RSI-27B：其在 Terminal-Bench 4.0 上的得分为 19.84%，在 Terminal-Bench 2.1 上为 86.52%，在 Terminal-Bench 3.0 上为 16.95%，在 Terminal-Bench Hard 上为 79.00%。在 LHTB 上，过程奖励从 0.21 升至 0.37，严格完成数从 0/46 升至 5/46；SWR100 的成功率从 3.00% 翻倍至 6.00%。通过递归耦合已验证轨迹的重写与继承评论家的策略优化，每个保留下来的阶段都巩固了已发现的行为，并逐步推动智能体从局部修复迈向严格的终端验证。
查看原文
查看缓存全文

缓存时间: 2026/10/16 03:01

论文页面 - Terminal-RSI：通过递归自重写与策略优化实现递归自我改进的终端智能体

来源：https://huggingface.co/papers/2610.22192 发表于 10 月 15 日

·

提交者：https://huggingface.co/TberiusJunyao

Junyao (https://huggingface.co/TberiusJunyao)于 10 月 16 日提交

摘要

Terminal-RSI 交替执行递归轨迹重写与继承评价器的策略优化，推动终端智能体从部分进展迈向严格验证\。

将验证器的结果转化为有效的策略更新，并将部分进展转化为任务的彻底解决，对终端智能体至关重要\。我们提出了 Terminal-RSI，它交替执行对已验证轨迹的递归自重写 (https://huggingface.co/papers?q=Recursive%20Self-Rewrite)(RSR) 和继承评价器的递归策略优化 (https://huggingface.co/papers?q=Recursive%20Policy-Refine)(RPR)\。我们提出轮次边界跳过观测的广义优势估计 (TB-GAE (https://huggingface.co/papers?q=TB-GAE))，在跨交互轮次应用衰减的同时，保留各词元特有的基线\。任务族密集奖励 (https://huggingface.co/papers?q=Family%20Dense%20Reward)(FDR) 用于校准不同任务族的语义进展；成功优先奖励 (https://huggingface.co/papers?q=Success-Prioritized%20Reward)(SPR) 则将严格成功与有界的部分得分区分开来\。预热评价器模型 (https://huggingface.co/papers?q=Warm-up%20Critic%20Model)、递归评价器交接 (https://huggingface.co/papers?q=recursive%20critic%20handoff) 和分阶段学习率共同协调这两个优化阶段\。从 Qwen3.8-27B 基础模型开始，依次经过 RSR-1、RPR-1、RSR-2 和 RPR-2 的五阶段序列，最终得到 Terminal-RSI-27B：其在 Terminal-Bench 4.0 上达到 19.84%，在 Terminal-Bench 2.1 上达到 86.52%，在 Terminal-Bench 3.0 上达到 16.95%，在 Terminal-Bench Hard 上达到 79.00%\。在 LHTB 上，过程奖励从 0.21 提升至 0.37，严格完成任务数从 0/46 增至 5/46；SWR100 的成功率从 3.00% 翻倍至 6.00%\。通过递归耦合已验证轨迹的重写与继承评价器的策略优化，每个保留下来的阶段都能巩固已发现的行为，并逐步推动智能体从局部的部分修复迈向严格的终端验证\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22192)查看 PDF (https://arxiv.org/pdf/2610.22192)项目页面 (https://jyyang26.github.io/terminal-rsi/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22192)

在你的智能体中获取这篇论文：

hf papers read 2610\.22192

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.22192，即可从本页面链接到该模型\。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.22192，即可从本页面链接到该数据集\。

引用这篇论文的 Space0

没有 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22192，即可从本页面链接到该 Space\。

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集\。

相似文章

@omarsar0：腾讯出了一篇关于终端智能体递归自我改进的精彩论文。（收藏一下）如果你……这绝对是一篇值得一读的好文章

X AI KOLs Timeline

腾讯等机构联合发表 Terminal-RSI 论文，通过交替进行轨迹重写（RSR）与批评家继承式策略优化（RPR），将基于 Qwen3.8-27B 的终端智能体在 Terminal-Bench 系列基准上的平均成绩从 20.68% 提升至 50.58%，并展示了奖励设计审计对区分严格成功与部分奖励的重要性。

ReTerm：面向自我改进终端智能体的错误恢复训练

Hugging Face Daily Papers

ReTerm 提出一种通过从自身失败任务中学习错误恢复来自我改进的终端智能体训练方法，包含 ReTerm-10K 数据集与在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1，较基座提升 14.6 个百分点。

@AndyL5cc: 腾讯混元这次有点猛！ 最新开源论文 Terminal-RSI，让一个 27B 小模型的终端任务成功率从 51.7% 飙升到 86.5%！ 核心玩法很简单： AI 自己总结成功经验 → 重新训练 → 继续优化，循环两轮！ 不用一味堆参数，靠…

X AI KOLs Timeline

腾讯混元开源论文 Terminal-RSI 提出递归自我改进框架，通过递归自我重写与策略精炼交替训练，将 27B 终端 Agent 的 Terminal-Bench 2.1 任务成功率从 51.7% 提升至 86.52%。