CalibratedRubric：面向开放式LLM评估的任务自适应评分标准库

# CalibratedRubric：面向开放式大语言模型评估的任务自适应评分标准库
来源：https://arxiv.org/html/2607.29252
Mengting Chen1，Yanshu Sun1，Wanting Liang1，Beidi Luan2，Rui Sun2，Dezhi Chen1，Jing Li2，Zuo Bai2,1（通讯作者）

###### 摘要

对开放式 LLM 输出的可靠评估需要细粒度的评分标准，但专家编写成本高昂且难以扩展。现有自动化流水线依赖严格的评审一致性和二值方差过滤，无法区分可度量的评分标准与信息量丰富的评分标准。我们提出 *CalibratedRubric*，一个任务自适应框架，结合了类型特定评分、贝叶斯评分标准可度量性过滤，以及基于项目反应理论（IRT）的标准库组装。CalibratedRubric 使用 Beta–Bernoulli 一致性后验估计每条评分标准的可度量性，并利用子模信息覆盖目标在观测到的能力范围内构建紧凑的评分标准库。在金融、医疗、通用和法律基准上，可度量性过滤将 JudgmentBench 上的人类金标一致性从 \(\kappa=0.604\) 提升到 \(0.743\)。基于 IRT 的贪心选择在所有六个被评估的响应块上相对于随机选择提高了交叉拟合排名保真度，并且在 FinResearchBench 决策支持任务上只需 49 条评分标准而非 131 条即可达到目标相关性。任务标签扰动进一步降低了系统区分度，证实了任务自适应评分的实际相关性。这些结果支持 CalibratedRubric 作为一种高效、不确定性感知的开放式 LLM 评估方法，其校准收益依赖于足够的评审冗余。

## 1 引言

基于 LLM 的自主智能体越来越多地采用解耦的、面向服务的设计，具有专门的记忆、检索增强生成（RAG）和工具使用层，从而能够在较长的交互周期内生成长文输出（Wang et al.2024a (https://arxiv.org/html/2607.29252#bib.bib28); Xi et al.2025 (https://arxiv.org/html/2607.29252#bib.bib31)）。这种转变使得传统的自动评估指标不再适用：词汇重叠度量（如 BLEU 和 ROUGE）以及基于嵌入的度量（如 BERTScore）是为相对较短、有参考答案约束的输出而设计的，在合成的金融研究报告等开放式交付物上与专家判断的相关性较弱（Papineni et al.2002 (https://arxiv.org/html/2607.29252#bib.bib22); Lin2004 (https://arxiv.org/html/2607.29252#bib.bib15); Zhang et al.2020 (https://arxiv.org/html/2607.29252#bib.bib35)）。LLM-as-a-Judge 范式提供了一种可扩展的替代方案，但整体分数混淆了不同的质量维度，并且仍然容易受到长度、位置和自我偏好偏差的影响（Li et al.2024 (https://arxiv.org/html/2607.29252#bib.bib13); Zheng et al.2023 (https://arxiv.org/html/2607.29252#bib.bib36); Liu et al.2023 (https://arxiv.org/html/2607.29252#bib.bib17); Wang et al.2024b (https://arxiv.org/html/2607.29252#bib.bib29)）。因此，分析型评估器将质量分解为技能级、评分标准条件化、多维校准、协作对齐或原子式检查表判断（Ye et al.2024 (https://arxiv.org/html/2607.29252#bib.bib33); Kim et al.2024 (https://arxiv.org/html/2607.29252#bib.bib10); Hashemi et al.2024 (https://arxiv.org/html/2607.29252#bib.bib8); Chiang et al.2026 (https://arxiv.org/html/2607.29252#bib.bib5); Cook et al.2024 (https://arxiv.org/html/2607.29252#bib.bib6)）。

当前分析型评估器面临两个结构性瓶颈。首先，可靠的评分标准编写仍然严重依赖稀缺的领域专业知识。例如，按照专业考试标准构建金融基准需要专家起草、完善和验证标准，这使得标注难以扩展（Liu et al.2026 (https://arxiv.org/html/2607.29252#bib.bib16)）。其次，自动化方法可以合成实例特定的标准（Wang and Blanco2026 (https://arxiv.org/html/2607.29252#bib.bib30); Jia et al.2026 (https://arxiv.org/html/2607.29252#bib.bib9); Li et al.2026 (https://arxiv.org/html/2607.29252#bib.bib14)），但评估项的信息量差异很大（Rodriguez et al.2021 (https://arxiv.org/html/2607.29252#bib.bib24)），而可靠的筛选在很大程度上仍是启发式的。先前的工作使用 IRT 来构建 NLP 评估量表、比较测试集并精简基准（Lalor, Wu, and Yu2016 (https://arxiv.org/html/2607.29252#bib.bib11); Vania et al.2021 (https://arxiv.org/html/2607.29252#bib.bib27); Maia Polo et al.2024 (https://arxiv.org/html/2607.29252#bib.bib20)）；我们则把 IRT 嵌入评分标准构建过程内部，并使用项目信息函数在相关能力范围内选择标准（Birnbaum1968 (https://arxiv.org/html/2607.29252#bib.bib3); Lord1980 (https://arxiv.org/html/2607.29252#bib.bib18); Baker2001 (https://arxiv.org/html/2607.29252#bib.bib2)）。我们扩展的共识派生流水线只保留所有评审都同意的评分标准，并应用二值方差过滤（Luan et al.2026 (https://arxiv.org/html/2607.29252#bib.bib19)）。这有利于可复现性，但将评审视为同等可靠，将标准视为同等信息量。二值过滤只会移除完全恒定的标准，无法量化剩余标准能在多大程度上区分系统。

我们提出 *CalibratedRubric*，用任务自适应、概率化校准的评估取代固定的确定性流水线。任务类型化前端将每个查询映射到一种认知任务类型——证据推理、决策支持、高风险约束或发散性创作——并分配相应的评分标准形式和聚合规则。贝叶斯校准模块将评审特定的宽松度和可靠性建模为潜在参数，用由少量人类标注子集锚定的稳健后验共识取代严格的全体一致。最后，我们将项目反应理论（IRT）嵌入评分标准构建：候选评分标准被视为项目，项目信息函数（IIF）选择在相关能力范围内信息量最大化的标准（Birnbaum1968 (https://arxiv.org/html/2607.29252#bib.bib3); Lord1980 (https://arxiv.org/html/2607.29252#bib.bib18); Baker2001 (https://arxiv.org/html/2607.29252#bib.bib2)）。

我们的贡献有四个方面：（1）我们引入了一个任务自适应分类体系，根据认知需求动态选择评分标准形式和评分规则。（2）我们将 IRT 和 IIF 作为信息最大化的评分标准选择机制，产生带有校准置信区间的系统能力估计。（3）我们开发了一种贝叶斯评审校准程序，对偏差和可靠性进行建模，建立稳健的后验共识。（4）在通用和专业领域，我们证明了该框架保持人类专家对齐