标签
该论文分析了为何大多数针对语言模型的 RL 后训练方法始终未能进入开源框架，通过追溯七个框架并对照 6,939 篇 arXiv 论文，发现 1,598 个被提出的方法中仅有 37 个被采纳，同时发布了一个追踪数据集，将训练失败案例与框架实现相关联。