@ziv_ravid: 刚刚读到清华大学/Z.AI关于异步强化学习用于智能体的新论文（arXiv:2607.07508）。它是在……几周后发布的

刚读了清华大学/Z.AI关于异步强化学习智能体的新论文（arXiv:2607.07508）。该论文在GLM-5.2发布数周后出现，其中他们提到使用了价值网络（critic）而非GRPO方法。

他们的观点是GRPO不适用于异步训练。一个组必须等待最慢的rollout完成，而对于128k token的智能体轨迹，等待时间很长，导致数据在训练前就过时了。

他们的解决方案是每个提示只进行一次rollout。这意味着需要再次引入价值模型（即critic）。这很有趣，因为critic是经典强化学习方法（如PPO）的核心，但它增加了内存开销且难以训练，因此人们转向了GRPO及其组均值基线。

为了使critic可训练，他们冻结了注意力层，仅更新MoE投影（梯度爆炸主要来自注意力层）。每个策略步骤更新两次critic。对于多轮轨迹，他们在GAE中跳过观测token。

智能体轨迹中模型动作与环境观测交替出现。标准GAE会将优势传播到所有token，包括模型从未产生的token。因此他们将一个动作的最后一个token直接连接到下一个动作的第一个token。

对于离策略问题，他们完全丢弃旧策略。重要性比率是当前策略相对于rollout引擎的logprobs，任何超出硬双边范围的部分都会从梯度中屏蔽而不进行裁剪。

他们展示了GRPO更快崩溃，而SAO不会，并且在SWE-Bench Verified和数学基准测试上优于GRPO变体。还有一个有趣的实验：奖励偏好在中途发生变化，价值模型跟踪速度远快于运行均值基线。

总之，这是一项令人印象深刻的工作，证明了组采样与异步性之间的不匹配真实存在，我预计后续会有更多相关论文出现。