标签
FlashREINFORCE 引入了一种无批评器、单次采样的异步强化学习框架，用于智能语言模型，通过立即从每个轨迹学习来提高稳定性和效率。
Introduces Critic-Free Pretraining (CFP), a method for offline-to-online RL that discards the offline-trained critic and uses a fresh critic with warm-up, matching or improving upon conventional O2O algorithms across tasks.
BV-Blend是一种无评论家的强化学习框架，它将提示本地在线策略统计与来自语义聚类的历史矩相结合，以稳定优势估计，从而提高使用可验证奖励对齐大型语言模型的训练稳定性和性能。
本文重新思考了在大型语言模型的无评论家强化学习中分组的作用，并提出了负令牌过滤策略，使得每个提示只需一次rollout即可实现稳定训练，在推理和代理任务上取得了与基于分组的方法相当或更好的性能。