@ddkang：来自Bridgewater AIA Labs、UIUC和MIT的新研究：我们证明了我们认为的首个非平凡泛化…

来自Bridgewater AIA Labs、UIUC和MIT的新研究：我们首次证明，针对推理大语言模型在真实世界问题上的非平凡泛化界限，我们相信这是首例。

RLVR（可验证奖励强化学习）驱动着前沿推理能力，但其对未见数据的泛化能力在理论上仍是悬而未决的问题，也成为从业者部署时的障碍。我们为RLVR推导的泛化界限，可为数十亿参数规模的RLVR模型在未见数据上的准确性提供可证明的高概率下界，从而为安全部署RLVR提供指导。

1/9

更多关于我们工作的细节可在此处查看：

论文：https://arxiv.org/abs/2607.14506 代码：https://github.com/uiuc-kang-lab/rlvr_generalization_bounds… Substack：https://ddkang.substack.com/p/provable-generalization-bounds-for… Medium：https://medium.com/@danieldkang/c3faa4d63967…

2/9

为了在理论上保障RLVR模型的泛化能力，我们将基于压缩的PAC-Bayes界应用于RLVR。然而，标准的PAC-Bayes界对RLVR无效，因为典型的RLVR训练目标是在随机令牌解码过程中定义的。

3/9

我们使用Gumbel-max技巧将随机解码过程重新参数化为一个随机噪声的确定性函数，从而得到以下PAC-Bayes界：

4/9

要使这个界限非平凡，我们需要极致的压缩。我们引入渐进式RLVR（Progressive RLVR）来在无明显性能退化的情况下实现这一目标：

1. 在策略蒸馏
2. TinyLoRA实现极致的参数效率
3. 量化

5/9

我们在Qwen3.5-4B模型上评估了我们的框架，覆盖4个领域（数学、编程、通用知识、Text-to-SQL）。我们的界限很紧，与模型训练准确率的差距在8%到13%之间，且比基础模型准确率高出17%到51%。

6/9

我们进行了消融研究，表明渐进式RLVR的每个组成部分都是必要的：

• 去除蒸馏而直接使用TinyLoRA训练，会使界限宽松15%。
• 用标准LoRA替换TinyLoRA，会使界限完全平凡（在同样4B模型上）或失去意义（在2B模型上）。

7/9

这在实践中为什么重要？我们的框架使组织能够在专有数据上通过RLVR训练专用模型，并以高概率保证其在未见部署查询上的期望准确率。

除了我们推导的界限，未来还有几个开放方向，包括非平稳环境（实时工具API）以及无标签的分布外评估。欢迎联系我们讨论下一步！

8/9

特别感谢@johnschulman2的宝贵反馈，以及@tinkerapi提供的出色基础设施，使我们的工作成为可能。

与@maxYuxuanZhu和@rohanalur合作完成。

9/9