面向科学领域的终端环境自监督扩展

Hugging Face Daily Papers 论文

摘要

提出软件在环重构(software-in-the-loop reconstruction)的自监督框架,从现有科学软件工作流中自动生成可执行的参考行为与验证目标,用于训练终端智能体;使用 Qwen3.8-Max 生成训练数据并对 Qwen3.8-27B 微调,使 Terminal-Bench 2 平均性能从 47.94% 提升至 53.56%。

终端智能体正日益被部署到软件工程以外的科学及其他专业领域。构建训练环境需要可执行的参考行为,以及一个能够区分语义正确性与表面似是而非产物的领域特定验证器。为每项任务人工编写这些组件需要反复的工程投入,且限制了复用性。我们提出**软件在环重构**(software-in-the-loop reconstruction)——一个自监督框架,能够从现有软件工作流(即把结构化输入映射为输出的可执行程序)中获取参考输出与验证目标。针对每个工作流,我们执行多种输入配置,并将案例划分为公开观测与隐藏评估两部分。给定指令、输入模式以及公开的输入-输出观测,智能体在无法访问源工作流的情况下构建一个可编辑的程序。候选程序将在隐藏配置上与工作流输出进行比对评估。一个分层验证器结合了领域特定的语义比较、结构有效性检查以及防捷径(anti-shortcut)检查,同时利用公开反馈支持迭代式修订。这一构建方式允许不断引入额外的工作流和配置,而无需为每项任务编写参考解决方案。我们以六个领域的 500 个工作流和 46 个软件家族对 SWR 进行实例化。在每项任务三次尝试的设置下,Qwen3.8-Max 解决了 838 个任务并产生 1,422 条经过验证的轨迹,我们将这些轨迹过采样为 3,000 个仅基于重构的训练样本。对 Qwen3.8-27B 进行监督微调后,其在三个随机种子下 Terminal-Bench 2 的平均性能从 47.94% 提升至 53.56%,并在全部四项报告的评测中,在四个等 token 量级的对照语料中取得了最高均值。这些结果表明,现有科学软件能够为终端智能体提供可扩展的、基于行为验证的监督信号。
查看原文
查看缓存全文

缓存时间: 2026/10/05 20:50

论文页面 - 科学领域的终端环境自监督扩展

来源:https://huggingface.co/papers/2610.02710 作者:

,

,

,

,

,

,

,

,

,

摘要

终端 agent 越来越多地被部署到科学及其他专业领域,而不仅仅局限于软件工程。构建训练环境需要可执行的参考行为,以及一个能够区分语义正确性与表面看似合理的产物的领域专用验证器。为每个任务编写这些组件需要反复的工程投入,也限制了复用性。我们提出了软件在环重构(software-in-the-loop reconstruction),这是一个自监督框架,从现有软件工作流(即把结构化输入映射到输出的可执行程序)中获取参考输出和验证目标。对于每个工作流,我们执行多种输入配置,并将案例划分为公开观测(public observations)与隐藏评估(hidden evaluations)。在给定指令、输入模式以及公开的输入–输出观测的情况下,agent 需要构造一个可编辑的程序,且无法访问原始工作流的源码。候选程序会在隐藏配置上根据工作流输出进行评估。分层验证器结合领域专用语义比较、结构有效性与防捷径检查,同时公开反馈支持迭代式修订。该构造方式允许引入额外的工作流和配置,而无需为每个任务编写参考解。我们用 500 个工作流、横跨六个领域的 46 个软件族实例化了 SWR。在每项任务三次尝试的设置下,Qwen3.8-Max 解决了 838 个任务并生成了 1,422 条经过验证的轨迹,我们将其过采样为 3,000 个仅使用重构的训练样本。对 Qwen3.8-27B 的监督微调将 Terminal-Bench 2 上的平均性能从 47.94% 提升至 53.56%(跨三个随机种子),并在所有四项报告的评测中,在四个匹配 token 规模的语料对照组中取得了最高的均值。这些结果表明,现有的科学软件能够为终端 agent 提供可扩展的、经行为验证的监督信号。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02710) 查看 PDF (https://arxiv.org/pdf/2610.02710) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.02710)

在你的 agent 中获取本文:

hf papers read 2610.02710

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。

引用本文的数据集 0

没有数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。

引用本文的 Spaces 0

没有 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.02710 即可将本文链接到此页面。

包含本文的合集 0

没有合集包含本文。

将本文添加到合集 (https://huggingface.co/new-collection) 即可将本文链接到此页面。

相似文章

面向长程终端智能体的可扩展智能体数据合成

Hugging Face Daily Papers

提出了 TerminalHorizon,一个用于长程终端智能体的全自动数据合成引擎,构建了 1.5K 个任务环境,并对 Qwen3-27B 进行监督微调,在 12 项基准测试上取得了显著的性能提升。

ReTerm:面向自我改进终端智能体的错误恢复训练

Hugging Face Daily Papers

ReTerm 提出一种通过从自身失败任务中学习错误恢复来自我改进的终端智能体训练方法,包含 ReTerm-10K 数据集与在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1,较基座提升 14.6 个百分点。

AutoEnvScaling:利用终端智能体实现数据飞轮自动化

Hugging Face Daily Papers

AutoEnvScaling 将强化学习环境设计视为一项终端任务,让提案智能体根据求解智能体的执行轨迹自动构建训练环境,从而实现数据飞轮的自动化。该方法将有效环境的比例提升至最高 25 倍,同时降低 75% 的成本,使 Qwen 终端智能体的得分最多提高 12.2 分,并让单个模型同时作为求解器和生成器协同演化,向递归式自我改进迈出一步。