论文页面 - 精确至上：精确率目标缓解基于评分量表的强化学习中的奖励投机

来源：https://huggingface.co/papers/2610.33512

摘要

FORK 通过评分量表驱动的必要性得分和事实性评估，联合优化召回率与精确率，以提高强化学习中的回答质量并减少冗长内容\。

基于评分量表的奖励 (https://huggingface.co/papers?q=Rubric-based%20rewards)能够在不可验证的任务上实现有效的强化学习 (https://huggingface.co/papers?q=reinforcement%20learning)\。然而，由于这些奖励通常被定义为评分量表覆盖程度的加权度量，模型训练主要以最大化召回率 (https://huggingface.co/papers?q=recall)为目标\。因此，经过强化学习训练的模型生成的回答更加完整，但也更加冗长，并包含更多不必要或事实不正确的内容，导致这些回答相较于基础模型的回答更不受青睐\。为解决这一问题，我们提出了 FORK 奖励 (https://huggingface.co/papers?q=FORK%20reward)，它联合优化召回率 (https://huggingface.co/papers?q=recall)和一种新的精确率 (https://huggingface.co/papers?q=precision)目标，要求模型回答的每个单元既有必要，又符合事实，分别通过评分量表驱动的必要性得分 (https://huggingface.co/papers?q=necessity%20credits)和事实正确性评估器 (https://huggingface.co/papers?q=factual-correctness%20grader)进行衡量\。我们的实验结果表明，FORK 优于现有的基于评分量表的强化学习方法，并实现了平衡评分量表覆盖程度与整体回答质量的帕累托最优 (https://huggingface.co/papers?q=Pareto-optimal)性能\。与原始的基于召回率 (https://huggingface.co/papers?q=recall)的奖励相比，FORK 在保持相近的评分量表覆盖程度的同时，显著提高了精确率 (https://huggingface.co/papers?q=precision)并缩短了回答长度，从而显著提高了相对于基础策略的胜率(例如，在 RubricHub-Medical 上从 10.6% 提高至 68.0%，在 HealthBench 上从 22.1% 提高至 74.1%)\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.33512)查看 PDF (https://arxiv.org/pdf/2610.33512)GitHub1 (https://github.com/JHKim631/FORK)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.33512)

在你的智能体中获取这篇论文：

hf papers read 2610\.33512

尚未安装最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.33512，即可在此页面建立指向该模型的链接\。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.33512，即可在此页面建立指向该数据集的链接\。

引用这篇论文的 Spaces0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.33512，即可在此页面建立指向该 Space 的链接\。

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面建立指向该合集的链接\。