诊断并纠正可验证指令遵循中的奖励投机行为

Hugging Face Daily Papers 论文

摘要

本文揭示了可验证指令跟随基准中的评估盲点:前沿模型能在几乎不回答实际问题的情况下获得满分,而使用验证器奖励进行强化学习会加剧这种奖励黑客行为。作者提出 CALIF 方法,用基于校准似然的轻量级奖励增强来保留响应质量,在 IFBench 等基准上同时提升约束满足度和响应质量。

可验证的指令遵循基准强调对输出约束的满足程度,却可能忽视回答是否切实回应了用户的根本请求,从而形成评估盲点。我们表明,前沿模型即使生成几乎不含实质性答案内容的回答,也能获得满分。将同一套基于验证器的判定标准用作训练奖励,可能导致奖励投机:公开发布的模型检查点显示,在采用可验证奖励进行强化学习后,约束满足程度有所提高,但回答质量却有所下降。为解决这一奖励投机问题,我们提出了 CALIF,一种轻量级方法,通过在验证器奖励中加入经过校准的基于似然的奖励项来保持回答质量。CALIF 利用现有的冻结参考策略,仅以请求为条件评估回答的似然,无需额外的评判模型或经过学习的奖励模型。在参数规模从 1.7B 到 8B 的模型上,无论采用推理模式还是非推理模式,CALIF 都能提高 IFBench 上的约束满足程度,同时使回答质量保持在接近或高于强化学习前的水平。此外,在三个基于评分细则的指令遵循基准上,CALIF 在 45 项模型与指标组合比较中的 40 项中优于对应的基础策略,表明其改进效果超出了训练所用验证器的范围。
查看原文
查看缓存全文

缓存时间: 2026/10/15 07:04

论文页面 - 诊断和纠正可验证指令遵循中的奖励黑客行为

来源:https://huggingface.co/papers/2610.19525

摘要

可验证指令遵循基准强调输出约束的满足情况,却可能忽略回答是否实质性地回应了底层请求,从而造成评估盲点。我们表明,前沿模型即使生成几乎没有实质性答案内容的回答,也能获得满分。将同样的基于验证器的标准用作训练奖励可能诱发奖励黑客行为:公开发布的检查点在经过可验证奖励强化学习后,约束满足程度更高,但回答质量更低。为解决这一奖励黑客问题,我们提出了 CALIF,这是一种轻量级方法,通过在验证器奖励中加入经过校准的基于似然的奖励项来保持回答质量。CALIF 利用现有的冻结参考策略,评估仅以请求为条件的回答似然,无需额外的评判模型或经过训练的奖励模型。在参数规模从 1.7B 到 8B 的模型上,无论采用推理模式还是非推理模式,CALIF 都能提高 IFBench 上的约束满足程度,同时将回答质量保持在接近或高于强化学习前的水平。在三个基于评分细则的指令遵循基准上进行的 45 项模型与指标组合比较中,它还在 40 项中优于相应的基础策略,表明其改进效果超出了训练验证器所覆盖的范围。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19525)查看 PDF (https://arxiv.org/pdf/2610.19525)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.19525)

在你的智能体中获取这篇论文:

hf papers read 2610\.19525

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.19525,即可在此页面建立链接。

引用这篇论文的数据集1

sangyon/CALIF 更新于约 3 小时前 • 14 (https://huggingface.co/datasets/sangyon/CALIF)

引用这篇论文的 Spaces0

暂无 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19525,即可在此页面建立链接。

包含这篇论文的合集0

暂无合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection),即可在此页面建立链接。

相似文章

验证视界:编码智能体奖励并无银弹

arXiv cs.AI

该论文指出,对于当前的编码智能体,验证解决方案比生成解决方案更为困难,且任何固定的奖励函数都无法随着能力增长而持续有效。作者通过四种奖励构建的实验表明,针对性的验证设计可以抑制奖励黑客行为并提升任务完成质量。

基于评分标准的强化学习中的奖励黑客问题

Hugging Face Daily Papers

本文研究了基于评分标准的强化学习中的奖励黑客现象,分析了训练验证器与评估指标之间的分歧。文章提出了一种针对“自我内化差距”的诊断方法,并证明更强的验证能力虽然能减少但无法完全消除奖励黑客问题。

超越二元可验证奖励:面向软件工程智能体的行为自奖励

arXiv cs.AI

论文提出了行为自奖励(BSR),一种奖励精炼方法,利用策略自身对同一任务轨迹的调试行为进行两两比较,并生成辅助奖励,超越二元可验证奖励的局限。该方法基于 Qwen3-14B/32B,在 SWE-bench Verified 和 SWE-bench-Live 上均取得了一致提升。

面向可证明正确代码的验证器驱动智能体强化学习

arXiv cs.LG

提出一种以程序验证器为奖励信号的智能体强化学习框架,通过读取验证器诊断信息(而非二元判决)并加入完整性审计,显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率(最高达100%)。