论文页面 - 在潜在空间中进行评判：通过语义保持压缩实现高效的生成式奖励建模

来源：https://huggingface.co/papers/2610.09788

摘要

奖励建模通常需要同时表示并推理多个评估标准，而逐 token 地将这一过程用自然语言表达出来可能会带来巨大的推理开销。近期关于潜在推理（latent reasoning）的研究表明，连续状态可能更紧凑地支持这种计算。我们提出了 LatentGRM，一个基于语义分块、压缩与重建的潜在评估框架。通过利用评分标准引导评估（rubric-guided evaluation）的结构来指导压缩，LatentGRM 学习到紧凑的连续轨迹，能够在不生成文本评估的情况下支持自主的成对评判。一个独立的解释器从这些轨迹中重建评估文本，从而提供离线视角以观察压缩下保留的信息。在相同训练数据和骨干模型的条件下，LatentGRM 在 4B 和 8B 规模上均取得了与显式监督微调（Supervised Fine-Tuning, SFT）评判模型相当的综合偏好准确率。在四个基准领域中，LatentGRM-8B 将评估轨迹压缩了 8.9–9.2 倍，并在 vote@5 设置下将评判模型的总推理时间减少了 6.1–7.0 倍。受控的评分标准干预实验表明，与标准相关的偏好信息确实通过潜在序列得以传递。综合来看，这些结果表明，连续潜在评估可以在保持有竞争力的评判质量的同时，大幅降低推理开销。

查看 arXiv 页面　查看 PDF　GitHub　添加到收藏夹

在您的 agent 中获取此论文：

hf papers read 2610.09788

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

暂无引用此论文的模型。

在模型 README.md 中引用 arxiv.org/abs/2610.09788 即可从此页面链接。

引用此论文的数据集

暂无引用此论文的数据集。

在数据集 README.md 中引用 arxiv.org/abs/2610.09788 即可从此页面链接。

引用此论文的 Space

暂无引用此论文的 Space。

在 Space README.md 中引用 arxiv.org/abs/2610.09788 即可从此页面链接。

包含此论文的收藏夹

暂无包含此论文的收藏夹。

添加此论文到收藏夹 即可从此页面链接。