[R] RLVR 中没有免费的午餐：在策略专门化下，可证明每一次 pass@1 的提升都必然以某些提示上的性能损失为代价，而 pass@k 的交叉点具有紧界 [R]

论文：https://arxiv.org/abs/2610.39295 代码 + 验证包（论文中的每个数字都由脚本核验）：https://github.com/yliusci/no-free-lunch-rlvr 浏览器诊断工具：https://huggingface.co/spaces/yliusci/passk-price 我在 RLVR 论文中反复遇到同一种模式：RL 模型在 pass@1 上胜出，而基础模型在 k 较大时追平或反超（Yue 等人，2025，以及许多后续研究）。我想知道，增加训练能否解决这个问题，还是说它具有结构性。这是一篇理论论文，没有进行新的训练实验。设定：将 RLVR 建模为对基础策略的指数倾斜，倾斜作用于跨提示共享的解题策略（对于镜像下降，这一描述是精确的；在模拟中，熵相同时，GRPO 与该模型之间的总变差距离不超过 3e-4）。得到的结果：没有免费的午餐。在排他性专门化条件下，每次提高 pass@1 的更新都会严格降低某个提示上的成功率。其精确条件可用 Stiemke 对偶性表述（存在一组严格为正的提示价格，使各解题策略的适应度相等）。可以证明，仅仅在每个提示上都有最优策略并不足够：存在一个可获得免费午餐的 3×3 反例。pass@k 的代价。一旦损失波及最难的提示，交叉就必然发生。交叉次数至多等于逐提示成功率变化的符号变号次数（Karlin 全正性）。对于 1 到 6 次交叉，这个界都是紧的；而保序情形恰好产生一次交叉，从而重现已知的单次交叉结果。这是权衡前沿，不是缺陷。为每个提示设置成功率下限后，受约束的更新会描绘出 pass@1 与 pass@k 之间的最优权衡。禁止任何逐提示损失，会消除交叉，也会同时消除全部 pass@1 增益。同一种指数倾斜还给出了具有可识别指数的熵—性能定律。实践部分：仅凭基础模型和 RL 模型的逐提示成功率（任何评估日志中都已有这些数据），就足以读出交叉次数、上界和代价（最大的 pass@k 损失）。在已发表的 Omni-MATH GRPO 数据上（转录自 2607.20543，因此仅供参考），该方法发现 k=64 与 k=256 之间存在一次交叉。我预期会受到质疑的地方：共享解题策略模型是一种总体极限下的抽象，而交叉必然发生还需要一个覆盖性假设（论文给出了该结论失效的情形）。我很希望看到有人观察到 2 次或更多交叉的逐提示日志，因为这正是 RL 改变提示难度排序的标志。