论文页面 - 从 RL 论文到框架代码：七个开源训练框架中的纳入与评审

来源：https://huggingface.co/papers/2610.28027

摘要

大多数为语言模型提出的强化学习训练方法并未被开源框架采用，尽管发表数量不断增长，采用率依然很低。

从业者通过训练框架使用语言模型的强化学习方法，因此框架所包含的方法对用户而言只需一次配置变更即可使用。我们衡量了这种情况发生的频率。我们追溯了七个开源 RL 后训练框架的提交历史，并将其与 2025 年 1 月至 2026 年 6 月间筛选出的 6,939 篇 arXiv 论文进行了关联。在 1,598 篇提出通用 RL 训练方法的论文中，有 37 篇被至少一个框架采纳。在五个按季度分组的论文队列中，180 天内被纳入的方法数量始终在 5 到 7 篇之间，而各队列的论文数已从 72 篇增长到 386 篇。与同季度的论文相比，被纳入的论文更常训练 30B 参数以上的策略（占 41% 对 10%），也更常修改现有损失函数中的系数、clip、mask 或权重（占 29% 对 9%）。即使排除维护这些框架的公司的论文，这两个差距依然存在，而两组中发布代码的比例相当。框架的 issue 和 pull request 显示，很少有方法在公开场合被拒绝。在未被任何框架纳入的通用方法中，超过九成在框架仓库中没有任何提及它们的讨论帖；而那些确实被提及的提案，很多在没有回复的情况下长期保持 open 状态。另外两项记录——框架的 issue 和 13 个大型开放权重模型的技术报告——表明用户很少公开报告训练失败的情况，且这些报告中提及了 13 个被广泛纳入的方法中的 8 个。我们以追踪器的形式发布数据，将训练失败与框架实现相关联，并列出每个框架的贡献规则和此前的提案。

查看 arXiv 页面 (https://arxiv.org/abs/2610.28027) | 查看 PDF (https://arxiv.org/pdf/2610.28027) | 项目页面 (https://pth2002.github.io/rl-method-tracker/) | GitHub (https://github.com/pth2002/rl-method-tracker) | 加入合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.28027)

在你的 agent 中获取本文：

hf papers read 2610.28027

没有最新版 CLI？运行 curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型：0

暂无模型链接本文。

在模型 README.md 中引用 arxiv.org/abs/2610.28027 即可从此页面链接。

引用本文的数据集：0

暂无数据集链接本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.28027 即可从此页面链接。

引用本文的 Space：0

暂无 Space 链接本文。

在 Space README.md 中引用 arxiv.org/abs/2610.28027 即可从此页面链接。

包含本文的合集：0

暂无合集包含本文。

将本文加入合集 (https://huggingface.co/new-collection) 即可从此页面链接。