论文页面 - 老旧但稳定：面向异步强化学习稳定性的陈旧自适应信任域

来源：https://huggingface.co/papers/2607.18722 发布于 7月21日

·

提交者 https://huggingface.co/zli12321

LZX (https://huggingface.co/zli12321) 于 7月22日

摘要

异步强化学习通过将 rollout 生成与优化解耦来提高吞吐量，但陈旧性是不可避免的副产品，且会因策略滞后、引擎延迟和混合专家路由而加剧。从信任域的角度来看，这种不匹配至关重要：训练-推理差异决定了无限时域边界中的近似误差，而 PPO 裁剪仅对采样到的外向更新进行门控，充当采样代理而非完整的策略约束。因此，在异步机制中，高陈旧性更新仍然受到弱控制，而陈旧 rollout 最需要关注。我们引入了陈旧自适应信任域（SAT），它使用分离的采样对数比作为实用的陈旧性代理，通过基于陈旧性的核缩放识别每个批次内的高不匹配尾部，并仅收缩名义 PPO 区间中经符号选择的端点。这保留了普通 token 上的基线行为，同时对新截获的外向带施加更保守的更新。我们证明了局部区间包含性和相对于 PPO 的逐点保守性，展示了自适应规则如何在异质陈旧性下重塑更新几何。我们在基于 Qwen3-30B-A3B-Base 构建的解耦异步 RL 设置中评估了 SAT，使用 SGLang 作为推理引擎，Megatron 用于训练。在此设置中，SAT-GSPO w/ R3 达到了最佳观察到的 AIME24 avg@8，在 lag1 时为 35.83，在 lag8 时为 34.79，而 SAT-GSPO 在 lag1 时达到 34.17。自适应裁剪和路由重放分别作为针对不匹配尾部和路由不一致性的互补稳定器。总体而言，将裁剪区间与陈旧性异质性对齐有效稳定了异步 RL。

查看 arXiv 页面 (https://arxiv.org/abs/2607.18722) 查看 PDF (https://arxiv.org/pdf/2607.18722) GitHub9 (https://github.com/jyyang26/SAT) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18722)

引用该论文的模型0

无模型链接此论文

请在模型的 README.md 中引用 arxiv.org/abs/2607.18722 以从此页面链接。

引用该论文的数据集0

无数据集链接此论文

请在数据集的 README.md 中引用 arxiv.org/abs/2607.18722 以从此页面链接。

引用该论文的空间0

无空间链接此论文

请在空间的 README.md 中引用 arxiv.org/abs/2607.18722 以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。