论文页面 - LexReward：面向法律语言模型的分类驱动奖励框架

来源：https://huggingface.co/papers/2609.39071

摘要

法律语言模型需要奖励信号，这些信号不仅要捕捉答案的正确性，还要反映法律回答的多维质量。然而，现有的奖励方法往往依赖于粗粒度的整体判断，在领域特异性和可解释性方面存在局限。我们提出了 LexReward，这是一个面向法律奖励建模的分类驱动框架。LexReward 从三个互补维度刻画法律回答的质量：Style（风格），涵盖词汇与句法质量；Element（要素），评估法律主体、事实、法条与判决；Chain（推理链），评估法律推理的顺序、完整性、正确性与非冗余性。针对每个维度，我们设计了明确评价标准与质量等级的评分细则（rubric）。由此得到的奖励被用于构建成对偏好数据，以进行 Direct Preference Optimization（DPO）和奖励模型训练。实验表明，基于评分细则的奖励能够可靠地区分不同质量的法律回答，并且在这些偏好数据上进行 DPO 训练可以在所有三个维度上提升性能。所学习的奖励模型 LexRM 同样支持有效的下游优化：每个维度专属的奖励模型都可以通过强化学习提升策略在对应维度上的表现，且在奖励计算时无需参考答案。逐维度的分析进一步验证了所提出分类体系与奖励构建方法的有效性。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39071) 查看 PDF (https://arxiv.org/pdf/2609.39071) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.39071)

在你的 agent 中获取这篇论文：

hf papers read 2609.39071

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2609.39071，即可从此页面链接该论文。

引用该论文的数据集 0

没有数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2609.39071，即可从此页面链接该论文。

引用该论文的 Spaces 0

没有 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2609.39071，即可从此页面链接该论文。

收录该论文的合集 0

没有合集收录该论文

将该论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接该论文。