论文页面 - RLHF的另一面：面向奖励模型自监督改进的在策略反馈

来源：https://huggingface.co/papers/2605.30888

摘要

SAVE 框架通过使用价值函数对在策略响应进行评分，并借助对比目标更新模型，从而改进奖励模型的训练过程。

构建用于语言模型对齐的强奖励模型（RMs）一直受到获取多样、可靠偏好数据（来自人工标注或评判模型）的成本和难度的制约。随着策略的演进超越静态 RM 训练，这一问题变得愈发严峻。为此，我们提出了 SAVE（通过价值锚定的在策略反馈实现奖励模型自监督改进）框架，该框架利用价值函数对在策略响应进行评分，并将其作为反馈用于在策略 RM 训练。SAVE 自然地将奖励评分的在策略响应转化为监督信号，采用一个与提示相关的价值头作为自适应锚点。它计算 RM 优势值，并过滤模糊样本，通过对比目标更新 RM。通过在六个不同基准上的严格实证评估，SAVE 在增强 RM 训练方面的有效性得到了有力验证。它在所有数据集上均取得了优异结果，并且在三种 RL 算法（GRPO、RLOO、GSPO）以及不同的策略骨干网络上保持一致的改进。

查看 arXiv 页面 (https://arxiv.org/abs/2605.30888) 查看 PDF (https://arxiv.org/pdf/2605.30888) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.30888)

在您的 agent 中获取此论文：

hf papers read 2605.30888

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.30888，以在此页面建立链接。

引用此论文的数据集0

无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.30888，以在此页面建立链接。

引用此论文的 Space0

无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2605.30888，以在此页面建立链接。

收录此论文的集合0

无集合收录此论文

请将本论文添加到一个集合 (https://huggingface.co/new-collection) 中，以在此页面建立链接。