AutoEnvScaling:利用终端智能体实现数据飞轮自动化

Hugging Face Daily Papers 论文

摘要

AutoEnvScaling 将强化学习环境设计视为一项终端任务,让提案智能体根据求解智能体的执行轨迹自动构建训练环境,从而实现数据飞轮的自动化。该方法将有效环境的比例提升至最高 25 倍,同时降低 75% 的成本,使 Qwen 终端智能体的得分最多提高 12.2 分,并让单个模型同时作为求解器和生成器协同演化,向递归式自我改进迈出一步。

终端智能体通过在终端中执行命令,解决软件工程和科学研究中的任务。通过强化学习(RL)训练这些智能体,需要多样化且可验证的环境,但这些环境目前仍主要由人类研究人员设计,因此其供给增长速度受限于研究人员的工作速度。我们提出了 AutoEnvScaling,将环境设计视为一种终端任务,并利用智能体实现数据飞轮的自动化。提案智能体根据正在训练的求解智能体的执行轨迹构建新的 RL 环境,而求解智能体的新执行轨迹则为下一轮提供指导。通过将环境生成转化为终端任务,与仅依靠提示生成环境的方法相比,AutoEnvScaling 可将有效环境率提高至多 25 倍,同时将每个有效环境的成本降低至多 75%。我们表明,使用 GPT-5.6-sol 通过 AutoEnvScaling 生成的环境训练 Qwen3.5-35B-A3B,可使其在 Terminal-Bench 2.1 上的得分比条件匹配的 Tmax 基线高出 4.3 分。AutoEnvScaling 的更广泛目标是实现递归自我改进(RSI):通过将环境生成和任务求解都转化为终端任务,它使同一个模型能够在这两种角色中共同演进。我们表明,同时承担这两种角色的 Qwen3.6-35B-A3B 在 Terminal-Bench 2.1 上提高了 12.2 分,并将其在 Terminal-Bench 4.0 上的得分从 1.6 提升至 3.2。该流程还能泛化到不同的智能体应用领域,为软件工程、计算机操作、专业工作和 GPU 内核编程生成环境。总体而言,这些结果展示了一条让智能体构建自身训练环境的路径,减少了对人类的依赖,并朝着 RSI 迈出了关键一步。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:53

论文页面 - AutoEnvScaling:利用终端智能体自动化数据飞轮

来源:https://huggingface.co/papers/2610.14163 作者:

,

,

,

,

,

,

,

,

,

摘要

终端智能体通过在终端中执行命令来解决软件工程和科学研究中的任务\。通过强化学习(RL)训练它们需要多样且可验证的环境,但这些环境目前仍主要由人类研究人员设计,因此其供给增长速度受限于研究人员的工作速度\。我们提出了AutoEnvScaling,将环境设计视为一项终端任务,并使用智能体来自动化数据飞轮\。提议智能体根据正在训练的求解智能体的执行轨迹构建新的RL环境,而求解智能体的新执行轨迹则指导下一轮环境构建\。通过将环境生成转化为终端任务,与仅通过提示生成环境相比,AutoEnvScaling将有效环境的生成率提高至最高25倍,同时将每个有效环境的成本降低最多75%\。我们表明,使用GPT-5.6-sol生成的AutoEnvScaling环境训练Qwen3.5-35B-A3B,可使其Terminal-Bench2.1得分比匹配的Tmax基线提高4.3分\。AutoEnvScaling更广泛的目标是实现递归自我改进(RSI):通过将环境生成和求解都转化为终端任务,它使同一个模型能够在这两种角色中共同演进\。我们表明,同时担任这两种角色的Qwen3.6-35B-A3B在Terminal-Bench2.1上的得分提高了12.2分,并将其Terminal-Bench4.0得分从1.6提高到3.2\。该流程还可泛化至不同的智能体应用领域,为软件工程、计算机操作、专业工作和GPU内核编程生成环境\。总体而言,这些结果展示了一条让智能体构建自身训练环境的路径,减少了对人类的依赖,并向RSI迈出了关键一步\。

查看arXiv页面 (https://arxiv.org/abs/2610.14163)查看PDF (https://arxiv.org/pdf/2610.14163)项目页面 (https://auto-env-scaling.github.io/)GitHub2 (https://github.com/MSR-Orchard/AutoEnvScaling)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14163)

在你的智能体中获取这篇论文:

hf papers read 2610\.14163

还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该数据集\。

引用这篇论文的Spaces0

没有Space链接到这篇论文

在Space的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该Space\。

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到一个合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集\。

相似文章

Terminal-World: 通过智能体技能扩展终端代理环境

arXiv cs.CL

Terminal-World 引入了一个全自动流水线,利用智能体技能为终端代理合成高质量的训练数据,使得模型仅使用 1.2% 的训练数据就能超越基线。该方法从技能原语中共同推导出任务指令、环境和教师轨迹。

WorkRover:通过递归环境演化扩展长时程协作智能体训练

Hugging Face Daily Papers

WorkRover 是一个通过递归环境演化训练长时程协作智能体的框架,引入了因子兼容性回放(Factorial Compatibility Replay)和验证器到轮次的信用分配(Verifier-to-Turn Credit Assignment)以改进训练信号。对 Qwen3.5-35B-A3B 进行后训练得到 WorkRover-35B-A3B,在 JobBench、OfficeQAPro 和 GDPvalv2 基准测试上均取得了显著提升。