QwenGyre：用于训练超长期代理的弹性强化学习框架

Hugging Face Daily Papers 论文
reinforcement-learning long-horizon-agents elastic-framework gpu-efficiency llm-agents

摘要

QwenGyre 是一个弹性强化学习框架，旨在解决训练超长期大语言模型代理时面临的挑战，通过提高 GPU 利用率和减少轨迹冗余来提升训练效率。

大语言模型代理越来越多地承担超长期任务，单次执行可能持续数小时，涉及数百次模型与环境交互，每次展开几乎包含100万个标记。将在线强化学习应用于此类执行面临两个根本挑战：（1）严重的执行方差和延长的展开延迟导致大量 GPU 空闲；（2）复杂的非线性分支产生大量轨迹冗余，严重损害训练效率。为了解决这些问题，我们推出了 QwenGyre，一个用于超长期在线强化学习的端到端框架。QwenGyre 在展开和训练之间弹性分配 GPU，而不中断实时执行，同时其轨迹处理器重构分支历史、评估部分进度并去重冗余路径，以控制训练成本。应用于我们的旗舰模型 Qwen~3.8 2.4T，每次展开包含 70万个标记，QwenGyre 在 NL2RepoBench 上在48步内实现了6.0%的绝对增益（从52.5%提升到58.5%）。在我们对不同领域训练数据集的评估中，QwenGyre 相比 Colocate 和 Async 分别实现了高达 1.85 倍和 1.78 倍的加速。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:10

论文页面 - QwenGyre：用于训练超长时程智能体的弹性强化学习框架

来源：https://huggingface.co/papers/2609.33848 作者：

,

,

,

,

,

,

,

,

,

,

摘要

大型语言模型（LLM）智能体越来越多地承担超长（xlong）时程任务，单次执行可能持续数小时、包含数百次模型-环境交互，并且每次轮换消耗近100万个词元。将在线强化学习（RL）应用于此类执行面临两大核心挑战：（1）严重的执行方差和过长的轮换延迟导致大量GPU闲置；（2）复杂的非线性分支产生巨大的轨迹冗余，严重降低训练效率。为解决这些问题，我们提出了QwenGyre——一个面向超长时程在线RL的端到端框架。QwenGyre能在不中断在线执行的情况下，弹性地在轮换与训练之间重新分配GPU资源。其轨迹处理器能够重构分支历史、评估部分进展并去重冗余路径，从而控制训练成本。在我们的旗舰模型Qwen~3.82.4T上进行扩展，以每次轮换700K词元计，QwenGyre在48个步骤内，在NL2RepoBench基准上取得了6.0%的绝对性能提升（从52.5%到58.5%）。在我们针对训练数据集不同领域的评估中，QwenGyre相对于Colocate和Async方法分别实现了最高1.85倍和1.78倍的加速。

查看arXiv页面 (https://arxiv.org/abs/2609.33848)查看PDF (https://arxiv.org/pdf/2609.33848)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.33848)

在你的智能体中获取这篇论文：

hf papers read 2609\.33848

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用arxiv.org/abs/2609.33848以从本页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2609.33848以从本页面链接它。

引用此论文的空间0

没有空间链接此论文

在空间的README.md中引用arxiv.org/abs/2609.33848以从本页面链接它。

包含此论文的收藏夹0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从本页面链接它。

相似文章