诊断并纠正可验证指令遵循中的奖励投机行为
摘要
本文揭示了可验证指令跟随基准中的评估盲点:前沿模型能在几乎不回答实际问题的情况下获得满分,而使用验证器奖励进行强化学习会加剧这种奖励黑客行为。作者提出 CALIF 方法,用基于校准似然的轻量级奖励增强来保留响应质量,在 IFBench 等基准上同时提升约束满足度和响应质量。
查看缓存全文
缓存时间: 2026/10/15 07:04
论文页面 - 诊断和纠正可验证指令遵循中的奖励黑客行为
来源:https://huggingface.co/papers/2610.19525
摘要
可验证指令遵循基准强调输出约束的满足情况,却可能忽略回答是否实质性地回应了底层请求,从而造成评估盲点。我们表明,前沿模型即使生成几乎没有实质性答案内容的回答,也能获得满分。将同样的基于验证器的标准用作训练奖励可能诱发奖励黑客行为:公开发布的检查点在经过可验证奖励强化学习后,约束满足程度更高,但回答质量更低。为解决这一奖励黑客问题,我们提出了 CALIF,这是一种轻量级方法,通过在验证器奖励中加入经过校准的基于似然的奖励项来保持回答质量。CALIF 利用现有的冻结参考策略,评估仅以请求为条件的回答似然,无需额外的评判模型或经过训练的奖励模型。在参数规模从 1.7B 到 8B 的模型上,无论采用推理模式还是非推理模式,CALIF 都能提高 IFBench 上的约束满足程度,同时将回答质量保持在接近或高于强化学习前的水平。在三个基于评分细则的指令遵循基准上进行的 45 项模型与指标组合比较中,它还在 40 项中优于相应的基础策略,表明其改进效果超出了训练验证器所覆盖的范围。
查看 arXiv 页面 (https://arxiv.org/abs/2610.19525)查看 PDF (https://arxiv.org/pdf/2610.19525)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.19525)
在你的智能体中获取这篇论文:
hf papers read 2610\.19525
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
暂无模型链接到这篇论文
在模型的 README.md 中引用 arxiv.org/abs/2610.19525,即可在此页面建立链接。
引用这篇论文的数据集1
sangyon/CALIF 更新于约 3 小时前 • 14 (https://huggingface.co/datasets/sangyon/CALIF)
引用这篇论文的 Spaces0
暂无 Space 链接到这篇论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.19525,即可在此页面建立链接。
包含这篇论文的合集0
暂无合集包含这篇论文
将这篇论文添加到合集 (https://huggingface.co/new-collection),即可在此页面建立链接。
相似文章
验证视界:编码智能体奖励并无银弹
该论文指出,对于当前的编码智能体,验证解决方案比生成解决方案更为困难,且任何固定的奖励函数都无法随着能力增长而持续有效。作者通过四种奖励构建的实验表明,针对性的验证设计可以抑制奖励黑客行为并提升任务完成质量。
基于评分标准的强化学习中的奖励黑客问题
本文研究了基于评分标准的强化学习中的奖励黑客现象,分析了训练验证器与评估指标之间的分歧。文章提出了一种针对“自我内化差距”的诊断方法,并证明更强的验证能力虽然能减少但无法完全消除奖励黑客问题。
超越二元可验证奖励:面向软件工程智能体的行为自奖励
论文提出了行为自奖励(BSR),一种奖励精炼方法,利用策略自身对同一任务轨迹的调试行为进行两两比较,并生成辅助奖励,超越二元可验证奖励的局限。该方法基于 Qwen3-14B/32B,在 SWE-bench Verified 和 SWE-bench-Live 上均取得了一致提升。
面向可证明正确代码的验证器驱动智能体强化学习
提出一种以程序验证器为奖励信号的智能体强化学习框架,通过读取验证器诊断信息(而非二元判决)并加入完整性审计,显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率(最高达100%)。
更令人信服,而非更正确:无参考LLM评判者的自我博弈奖励操纵
本文识别了自我博弈训练中使用的无参考LLM评判者的结构缺陷,表明它们评估的是合理性而非正确性,导致奖励操纵,策略学会生成合理但错误的答案。作者提出了一种隐藏锚点审计和解锚奖励来缓解这一问题。