async-rl

Prime Intellect 的 prime-rl 0.10.0 引入了 IPO（Intellect Policy Optimization），旨在解决异步强化学习中训练器与推理引擎对 token 概率估计不一致的真实问题。

推荐 HuggingFace 博客文章系列《Score Function Centering》，从直觉出发系统讲解 LLM 异步强化学习中的 trainer-generator 失配问题以及分数函数中心化（SFC）如何修复策略梯度中零期望性质，只需了解 GRPO 即可阅读。

作者们用纯 JAX 创建了一个轻量级、高性能的异步强化学习堆栈，分享了一份关于推理、RDMA 权重传输、内存优化以及用于扩展 RL 系统的分片的见解的工作日志。

PRIME-RL是一个用于大规模异步强化学习的框架，设计上易于定制，可扩展至1000+块GPU，并支持多种模型和环境。

讨论了一篇来自清华大学/智谱AI的关于异步强化学习用于智能体的新论文，并指出他们之前的GLM-5.2模型使用了评论家而不是GRPO。

AsyncWebRL提出了一种异步多步强化学习系统，用于视觉语言Web代理，通过用常数替换每条轨迹的归一化项以减少轨迹长度低效问题，实现了高达2.9倍的训练加速，并在WebGym上取得了新的最优结果。