ReTerm：面向自我改进终端智能体的错误恢复训练

Hugging Face Daily Papers 论文
terminal-agents reinforcement-learning self-improvement coding-agents grpo sft recovery-training

摘要

ReTerm 提出一种通过从自身失败任务中学习错误恢复来自我改进的终端智能体训练方法，包含 ReTerm-10K 数据集与在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1，较基座提升 14.6 个百分点。

终端智能体在复杂编程任务中展现出强大的能力。然而，在长时间运行的执行过程中，它们往往难以从错误中恢复（例如命令错误、有缺陷的实现），最终导致任务失败。为此，我们提出 ReTerm，一种通过学习从自身失败的终端任务中恢复来自我改进的终端智能体。为支持其训练，我们构建了定制化的数据流水线，并生成了 ReTerm-10K——一个高质量数据集，为 SFT 冷启动提供有效的错误恢复示范。此外，我们提出了 ReTerm-GRPO，一种在线强化学习算法，从智能体自身的失败状态分叉生成多个独立的自我恢复尝试。通过从这些尝试是否成功完成任务中学习，智能体借助自身的恢复经验实现自我改进。基于 Qwen3.5-9B 构建的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% 的 Pass@1，较基座模型提升 14.6 个百分点。进一步分析表明，与标准 GRPO 训练相比，我们的方法在多种错误类别上始终取得更高的恢复率。所有代码、数据和模型已在 https://github.com/twothsnd/ReTerm 发布。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:50

论文页面 - ReTerm：面向自我改进终端智能体的恢复训练

来源：https://huggingface.co/papers/2610.18484

摘要

终端智能体在复杂编码任务中展现出了强大的能力。然而，它们在长时间执行过程中往往难以从错误中恢复（例如命令错误、错误的实现），最终导致任务失败。为此，我们提出 ReTerm，一个通过学习从自身失败的终端任务中恢复来进行自我改进的终端智能体。为支持其训练，我们构建了一个定制化的数据流水线，并产出 ReTerm-10K —— 一个高质量数据集，为 SFT 冷启动提供了有效的恢复示范。此外，我们提出了 ReTerm-GRPO，一种在线强化学习算法，它从智能体自身的失败状态分叉，生成多个独立的自我恢复尝试。通过学习这些尝试是否成功完成任务，智能体借助自身的恢复经验实现自我改进。基于 Qwen3.5-9B 构建的 ReTerm-9B 在 Terminal-Bench 2.0 上取得了 34.8% 的 Pass@1，相比基座模型提升了 14.6 个百分点。进一步分析表明，与标准 GRPO 训练相比，我们的方法在各类错误类别上均取得了更高且更稳定的恢复率。所有代码、数据和模型均已发布于 https://github.com/twothsnd/ReTerm。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18484) 查看 PDF (https://arxiv.org/pdf/2610.18484) 项目主页 (https://github.com/twothsnd/ReTerm) GitHub7 (https://github.com/twothsnd/ReTerm) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18484)

在你的智能体中获取此论文：

hf papers read 2610.18484

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型1

twothsnd/ReTerm-9B Image-Text-to-Text • 9B • 约1小时前更新 (https://huggingface.co/twothsnd/ReTerm-9B)

引用本文的数据集1

twothsnd/ReTerm-10K Viewer • 约1小时前更新 • 9.71k • 7 (https://huggingface.co/datasets/twothsnd/ReTerm-10K)

引用本文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18484，即可将其链接到本页面。

收录本文的收藏集0

没有收藏集收录本文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以将其链接到本页面。

相似文章

@omarsar0：腾讯出了一篇关于终端智能体递归自我改进的精彩论文。（收藏一下）如果你……这绝对是一篇值得一读的好文章

X AI KOLs Timeline

腾讯等机构联合发表 Terminal-RSI 论文，通过交替进行轨迹重写（RSR）与批评家继承式策略优化（RPR），将基于 Qwen3.8-27B 的终端智能体在 Terminal-Bench 系列基准上的平均成绩从 20.68% 提升至 50.58%，并展示了奖励设计审计对区分严格成功与部分奖励的重要性。

@AndyL5cc: 腾讯混元这次有点猛！ 最新开源论文 Terminal-RSI，让一个 27B 小模型的终端任务成功率从 51.7% 飙升到 86.5%！ 核心玩法很简单： AI 自己总结成功经验 → 重新训练 → 继续优化，循环两轮！ 不用一味堆参数，靠…

X AI KOLs Timeline

腾讯混元开源论文 Terminal-RSI 提出递归自我改进框架，通过递归自我重写与策略精炼交替训练，将 27B 终端 Agent 的 Terminal-Bench 2.1 任务成功率从 51.7% 提升至 86.52%。

面向科学领域的终端环境自监督扩展

Hugging Face Daily Papers

提出软件在环重构（software-in-the-loop reconstruction）的自监督框架，从现有科学软件工作流中自动生成可执行的参考行为与验证目标，用于训练终端智能体；使用 Qwen3.8-Max 生成训练数据并对 Qwen3.8-27B 微调，使 Terminal-Bench 2 平均性能从 47.94% 提升至 53.56%。