AutoEnvScaling:利用终端智能体实现数据飞轮自动化
摘要
AutoEnvScaling 将强化学习环境设计视为一项终端任务,让提案智能体根据求解智能体的执行轨迹自动构建训练环境,从而实现数据飞轮的自动化。该方法将有效环境的比例提升至最高 25 倍,同时降低 75% 的成本,使 Qwen 终端智能体的得分最多提高 12.2 分,并让单个模型同时作为求解器和生成器协同演化,向递归式自我改进迈出一步。
查看缓存全文
缓存时间: 2026/10/14 06:53
论文页面 - AutoEnvScaling:利用终端智能体自动化数据飞轮
来源:https://huggingface.co/papers/2610.14163 作者:
,
,
,
,
,
,
,
,
,
摘要
终端智能体通过在终端中执行命令来解决软件工程和科学研究中的任务\。通过强化学习(RL)训练它们需要多样且可验证的环境,但这些环境目前仍主要由人类研究人员设计,因此其供给增长速度受限于研究人员的工作速度\。我们提出了AutoEnvScaling,将环境设计视为一项终端任务,并使用智能体来自动化数据飞轮\。提议智能体根据正在训练的求解智能体的执行轨迹构建新的RL环境,而求解智能体的新执行轨迹则指导下一轮环境构建\。通过将环境生成转化为终端任务,与仅通过提示生成环境相比,AutoEnvScaling将有效环境的生成率提高至最高25倍,同时将每个有效环境的成本降低最多75%\。我们表明,使用GPT-5.6-sol生成的AutoEnvScaling环境训练Qwen3.5-35B-A3B,可使其Terminal-Bench2.1得分比匹配的Tmax基线提高4.3分\。AutoEnvScaling更广泛的目标是实现递归自我改进(RSI):通过将环境生成和求解都转化为终端任务,它使同一个模型能够在这两种角色中共同演进\。我们表明,同时担任这两种角色的Qwen3.6-35B-A3B在Terminal-Bench2.1上的得分提高了12.2分,并将其Terminal-Bench4.0得分从1.6提高到3.2\。该流程还可泛化至不同的智能体应用领域,为软件工程、计算机操作、专业工作和GPU内核编程生成环境\。总体而言,这些结果展示了一条让智能体构建自身训练环境的路径,减少了对人类的依赖,并向RSI迈出了关键一步\。
查看arXiv页面 (https://arxiv.org/abs/2610.14163)查看PDF (https://arxiv.org/pdf/2610.14163)项目页面 (https://auto-env-scaling.github.io/)GitHub2 (https://github.com/MSR-Orchard/AutoEnvScaling)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14163)
在你的智能体中获取这篇论文:
hf papers read 2610\.14163
还没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
没有模型链接到这篇论文
在模型的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该模型\。
引用这篇论文的数据集0
没有数据集链接到这篇论文
在数据集的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该数据集\。
引用这篇论文的Spaces0
没有Space链接到这篇论文
在Space的README.md中引用arxiv.org/abs/2610.14163,即可从此页面链接到该Space\。
包含这篇论文的合集0
没有合集包含这篇论文
将这篇论文添加到一个合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集\。
相似文章
EnvFactory:通过可执行环境合成与鲁棒强化学习扩展工具使用智能体
EnvFactory 自动化创建可执行工具环境和自然的多轮轨迹,用于训练具有智能体强化学习能力的大语言模型,在使用比先前工作更少的环境下,在 BFCLv3 和 MCP-Atlas 等基准测试上取得了优异性能。
EnvScaler:通过程序综合为LLM智能体扩展工具交互环境
EnvScaler是一个自动化框架,通过程序综合为LLM智能体扩展工具交互环境,创建了191个多样化环境和7K个场景,以提升智能体在多轮、多工具交互任务上的性能。
Terminal-World: 通过智能体技能扩展终端代理环境
Terminal-World 引入了一个全自动流水线,利用智能体技能为终端代理合成高质量的训练数据,使得模型仅使用 1.2% 的训练数据就能超越基线。该方法从技能原语中共同推导出任务指令、环境和教师轨迹。
WorkRover:通过递归环境演化扩展长时程协作智能体训练
WorkRover 是一个通过递归环境演化训练长时程协作智能体的框架,引入了因子兼容性回放(Factorial Compatibility Replay)和验证器到轮次的信用分配(Verifier-to-Turn Credit Assignment)以改进训练信号。对 Qwen3.5-35B-A3B 进行后训练得到 WorkRover-35B-A3B,在 JobBench、OfficeQAPro 和 GDPvalv2 基准测试上均取得了显著提升。
ProgramGym:为长周期程序复现智能体构建可扩展的训练环境
ProgramGym 提出了一套由 Program-Env 和 Program-Agent 组成的框架,用于为长周期程序复现智能体构建可扩展、可验证的训练环境。在生成的环境中对 Qwen3.8-27B 进行微调后,性能取得了显著提升。