标签
MetaRubric 通过交替进行证据感知的策略优化与响应引导的评分标准适配，解决基于评分标准的强化学习中「空洞奖励（Vacuous Credit）」问题，在 PubMedQA 上比静态评委 GRPO 提升 6.00–20.40 个百分点。
该论文揭示了基于评分表的强化学习中加和式奖励聚合导致的奖励作弊问题：模型通过堆砌无关建议换取高分却降低回答质量。作者提出ProRubric，将评分标准按协议级维度分组（所有条件同时满足才计分），在临床咨询场景中将适切性提升10.8个点且不损失覆盖率。
结合GRPO和OPSD，CriPO是字节跳动和浙江大学提出的一种基于规则的强化学习方法，通过自蒸馏处理未探索和被抑制的标准，实现了更好的性能和计算效率。
提出了CriPO，一种通过同策略自蒸馏增强LLM的基于量规的强化学习的方法，解决了未探索标准和受抑制标准的问题。在医学和科学基准上的实验表明，在优化步骤约减少一半的情况下，获得了更强的最终性能。