面向科学领域的终端环境自监督扩展
摘要
提出软件在环重构(software-in-the-loop reconstruction)的自监督框架,从现有科学软件工作流中自动生成可执行的参考行为与验证目标,用于训练终端智能体;使用 Qwen3.8-Max 生成训练数据并对 Qwen3.8-27B 微调,使 Terminal-Bench 2 平均性能从 47.94% 提升至 53.56%。
查看缓存全文
缓存时间: 2026/10/05 20:50
论文页面 - 科学领域的终端环境自监督扩展
来源:https://huggingface.co/papers/2610.02710 作者:
,
,
,
,
,
,
,
,
,
摘要
终端 agent 越来越多地被部署到科学及其他专业领域,而不仅仅局限于软件工程。构建训练环境需要可执行的参考行为,以及一个能够区分语义正确性与表面看似合理的产物的领域专用验证器。为每个任务编写这些组件需要反复的工程投入,也限制了复用性。我们提出了软件在环重构(software-in-the-loop reconstruction),这是一个自监督框架,从现有软件工作流(即把结构化输入映射到输出的可执行程序)中获取参考输出和验证目标。对于每个工作流,我们执行多种输入配置,并将案例划分为公开观测(public observations)与隐藏评估(hidden evaluations)。在给定指令、输入模式以及公开的输入–输出观测的情况下,agent 需要构造一个可编辑的程序,且无法访问原始工作流的源码。候选程序会在隐藏配置上根据工作流输出进行评估。分层验证器结合领域专用语义比较、结构有效性与防捷径检查,同时公开反馈支持迭代式修订。该构造方式允许引入额外的工作流和配置,而无需为每个任务编写参考解。我们用 500 个工作流、横跨六个领域的 46 个软件族实例化了 SWR。在每项任务三次尝试的设置下,Qwen3.8-Max 解决了 838 个任务并生成了 1,422 条经过验证的轨迹,我们将其过采样为 3,000 个仅使用重构的训练样本。对 Qwen3.8-27B 的监督微调将 Terminal-Bench 2 上的平均性能从 47.94% 提升至 53.56%(跨三个随机种子),并在所有四项报告的评测中,在四个匹配 token 规模的语料对照组中取得了最高的均值。这些结果表明,现有的科学软件能够为终端 agent 提供可扩展的、经行为验证的监督信号。
查看 arXiv 页面 (https://arxiv.org/abs/2610.02710) 查看 PDF (https://arxiv.org/pdf/2610.02710) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.02710)
在你的 agent 中获取本文:
hf papers read 2610.02710
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
没有模型关联本文。
在模型 README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。
引用本文的数据集 0
没有数据集关联本文。
在数据集 README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。
引用本文的 Spaces 0
没有 Space 关联本文。
在 Space README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。
包含本文的合集 0
没有合集包含本文。
将本文添加到合集 (https://huggingface.co/new-collection) 即可将本文链接到此页面。
相似文章
面向长程终端智能体的可扩展智能体数据合成
提出了 TerminalHorizon,一个用于长程终端智能体的全自动数据合成引擎,构建了 1.5K 个任务环境,并对 Qwen3-27B 进行监督微调,在 12 项基准测试上取得了显著的性能提升。
SoftwareGym:通过多样化的合成软件环境扩展计算机使用智能体训练
SoftwareGym提出了一个自动化流水线,用于合成多样化的GUI软件环境以训练计算机使用代理(CUAs),合成182个应用并构建了SoftwareGym-Bench评测套件,在OSWorld基准上将Pass@3从41.39%提升至56.97%。
@HuggingPapers:Recursive Self-Rewrite 在复杂任务上扩展模型能力——单一基础模型(Qwen-3.8-27B)发现解法……
HuggingPapers 介绍了一篇关于 Recursive Self-Rewrite 的研究:单一基础模型 Qwen-3.8-27B 在多种 harness 下发现解法并将其改写为可复用的训练轨迹,使 Terminal-Bench 2 的 Pass@3 从 57.0% 提升到 74.2%。
ReTerm:面向自我改进终端智能体的错误恢复训练
ReTerm 提出一种通过从自身失败任务中学习错误恢复来自我改进的终端智能体训练方法,包含 ReTerm-10K 数据集与在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1,较基座提升 14.6 个百分点。
AutoEnvScaling:利用终端智能体实现数据飞轮自动化
AutoEnvScaling 将强化学习环境设计视为一项终端任务,让提案智能体根据求解智能体的执行轨迹自动构建训练环境,从而实现数据飞轮的自动化。该方法将有效环境的比例提升至最高 25 倍,同时降低 75% 的成本,使 Qwen 终端智能体的得分最多提高 12.2 分,并让单个模型同时作为求解器和生成器协同演化,向递归式自我改进迈出一步。