面向智能体强化学习的单次生成异步优化

Hugging Face Daily Papers 论文
reinforcement-learning llm asynchronous-optimization agentic-rl sao token-level-clipping grpo

摘要

本文提出了单次生成异步优化（SAO），以解决异步强化学习在智能体任务中的稳定性和离策略挑战，在编码和推理基准测试上优于GRPO及其变体。SAO已部署在GLM-5.2模型的智能体强化学习流程中。

强化学习（RL）在大语言模型（LLM）的后训练中变得越来越重要。以往用于LLM的RL流程大多是同步和批量交错的，这对于长周期智能体任务效率较低。最近，异步RL作为一种更高效的替代方案出现，它通过异步接收生成结果来更新模型。然而，现有的异步RL系统往往强调吞吐量，而对训练稳定性和任务有效性探索不足。例如，一个关键挑战是广泛使用的GRPO框架中的分组采样并不自然地适用于异步智能体训练。在本文中，我们提出了单次生成异步优化（SAO），以解决异步RL中的稳定性和离策略挑战。为了减少离策略影响并提高泛化能力，我们用单次生成采样取代了分组采样，即每个提示只生成一次结果。我们进一步通过实用的价值模型训练设计改进了这一单次生成策略。为了提高优化稳定性，我们引入了一种严格的双侧标记级裁剪策略。SAO能够稳定训练一千步，并在智能体编码和推理基准测试（如SWE-Bench Verified、BeyondAIME和IMOAnswerBench）上持续优于GRPO及其变体。我们还证明了单次生成强化学习在模拟在线学习环境中特别有效，此时模型必须适应不断变化的环境。最终，SAO已成功部署在智能体RL流程中，用于训练开源的GLM-5.2模型（750B-A40B）。
查看原文
查看缓存全文

缓存时间: 2026/07/09 15:40

论文页面 - 单展开异步优化用于智能体强化学习

来源：https://huggingface.co/papers/2607.07508

摘要

单展开异步优化强化学习通过解决LLM在复杂任务训练中的稳定性问题，在编码和推理基准测试中表现优于现有方法。

强化学习（Reinforcement learning (https://huggingface.co/papers?q=Reinforcement%20learning)）在大语言模型（large language models (https://huggingface.co/papers?q=large%20language%20models)）的后训练中变得越来越重要。之前的LLM强化学习流程大多是同步且批量交替的，这对于长程智能体任务（agentic tasks (https://huggingface.co/papers?q=agentic%20tasks)）来说效率低下。近期，异步强化学习（asynchronous RL (https://huggingface.co/papers?q=asynchronous%20RL)）作为一种更高效的替代方案出现，它通过随展开结果到达时更新模型来工作。然而，现有的异步强化学习系统往往强调吞吐量，而训练稳定性和任务有效性方面则研究不足。例如，一个关键挑战是：广泛使用的GRPO (https://huggingface.co/papers?q=GRPO)框架中的分组采样（group-wise sampling (https://huggingface.co/papers?q=group-wise%20sampling)）并不自然适合异步智能体训练。在本文中，我们提出了单展开异步优化（Single-rollout Asynchronous Optimization, SAO），以解决异步强化学习（asynchronous RL (https://huggingface.co/papers?q=asynchronous%20RL)）中的稳定性和离策略挑战。为了减少离策略效应（off-policy effects (https://huggingface.co/papers?q=off-policy%20effects)）并提高泛化能力，我们用单展开采样（single-rollout sampling (https://huggingface.co/papers?q=single-rollout%20sampling)）取代了分组采样（group-wise sampling (https://huggingface.co/papers?q=group-wise%20sampling)），即每个提示只使用一次展开。我们进一步通过实用的价值模型训练设计改进了这种单展开策略。为了提高优化稳定性，我们引入了一种严格的双侧令牌级裁剪（token-level clipping (https://huggingface.co/papers?q=token-level%20clipping)）策略。SAO能够稳定训练一千步，并在智能体编码和推理基准测试（如SWE-Bench Verified (https://huggingface.co/papers?q=SWE-Bench%20Verified)、BeyondAIME (https://huggingface.co/papers?q=BeyondAIME)和IMOAnswerBench (https://huggingface.co/papers?q=IMOAnswerBench)）上持续优于GRPO (https://huggingface.co/papers?q=GRPO)及其变体。我们还展示了单展开强化学习在模拟在线学习环境中尤其有效，其中模型必须适应不断变化的环境。为此，SAO已成功部署在用于训练开放GLM-5.2模型（750B-A40B）的智能体强化学习流程中。

查看arXiv页面 (https://arxiv.org/abs/2607.07508) 查看PDF (https://arxiv.org/pdf/2607.07508) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07508)

在您的智能体中获取此论文：

hf papers read 2607.07508

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接至此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.07508 以在此页面建立链接。

引用此论文的数据集0

无数据集链接至此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.07508 以在此页面建立链接。

引用此论文的Spaces0

无Space链接至此论文

请在Space README.md 中引用 arxiv.org/abs/2607.07508 以在此页面建立链接。

包含此论文的收藏集1

相似文章

Z.ai的稳定异步强化学习（13分钟阅读）

TLDR AI

本文介绍了单rollout异步优化（SAO）技术，用于解决LLM后训练中异步RL的稳定性和异策略挑战，并证明SAO在智能体编码和推理基准测试上持续优于GRPO。

@VukRosic99: GLM 5.2 是如何训练的？清华异步强化学习论文解读——该论文用单次展开异步训练取代 GRPO 的等待全部展开批次的方法。

X AI KOLs Timeline

这篇来自清华大学的论文提出了单次展开异步优化 (SAO, Single-rollout Asynchronous Optimization)，用于大语言模型的强化学习后训练。SAO 用单次展开异步训练取代了基于批次的 GRPO，以减少 GPU 空闲时间并提高稳定性。该技术被用于训练 GLM-5.2 模型（750B-A40B），在智能体编程和推理基准测试上取得了最先进的结果。

面向进度与可靠性的智能体强化学习组策略优化

arXiv cs.AI

ProGPO是一种免学习评论器的方法，用于LLM智能体基于组的RL中的步骤级优势估计，它使用精确前缀动作比较和基于rollout的状态势，以改善长视界任务上的信用分配。在ALFWorld和WebShop上使用Qwen2.5模型的实验表明，它优于现有的智能体RL基线。