当没有参考答案时，LLM评委可能过于慷慨

# LLM 评判者在缺乏参考答案时可能过于宽容

来源：https://arxiv.org/html/2607.12885

Chalamalasetti Kranti  
计算语言学，语言学系，波茨坦大学，德国  
kranti\.chalamalasetti@uni\-potsdam\.de

###### 摘要

LLM 评判者正越来越多地被用于评估开放式的模型回答，通常是在无参考设置中，即不存在真实答案。然而，在这种评估设置下，它们能否可靠地进行评估？本文通过一个两阶段流程来探讨这一问题：(a) 校准实验，评估评判模型对其所评估的任务的了解程度；(b) 敏感性实验，评估评判模型的性能如何受到提示中参考答案的存在和位置的影响。在覆盖三种语言的实验中，我们表明，我们所评估的评判模型在缺乏参考答案时倾向于过度奖励错误答案，而在提示中添加参考答案信息会在某些实验设置中使评判模型正确/错误的判断发生高达85%的翻转。与部分人工标注的比较表明，这些由参考驱动的变化通常与人类判断一致。我们的结果强调了在可靠地使用无参考设置之前，需要用参考感知评估的样本对 LLM 评判者进行校准的必要性，并且我们的方法为研究人员和实践者针对其他任务进行此类 LLM 评判者校准提供了蓝图。

---

# LLM 评判者在缺乏参考答案时可能过于宽容

Chalamalasetti Kranti  
计算语言学，语言学系，波茨坦大学，德国  
kranti\.chalamalasetti@uni\-potsdam\.de

Sowmya Vajjala  
国家研究委员会，渥太华，加拿大  
sowmya\.vajjala@nrc\-cnrc\.gc\.ca

## 1 引言

机器生成文本的评估已从 n-gram 指标（如 BLEU (Papineni et al., 2002) 和 ROUGE (Lin, 2004)），发展到神经网络指标（如 BERTScore (Zhang et al., 2019)、事实性指标 (Kryscinski et al., 2020)），再到基于 LLM 的评估 (Li et al., 2024b)。随着语言模型输出规模的扩大，快速、自动且准确的评估变得愈发重要。近期的工作遵循 LLM-as-a-Judge 范式，在广泛的任务中利用 LLM 作为评估者 (Gu et al., 2024a; Li et al., 2024a, 2025a)。尽管被广泛采用，研究人员已经发现了 LLM 作为评判者的各种缺陷（例如，Doddapaneni et al., 2024; Razavi et al., 2025; Moon et al., 2026）。虽然这些研究主要关注 LLM 评判者决策可靠性的各个方面，但关于评判模型执行评估任务的能力或其对评估提示中真值信息存在/缺失的敏感性，在过去的研究中并未得到充分探讨。

图 1：LLM 评判者的裁决在无参考评估中可能得到过度奖励。上方：在没有参考的情况下，评判者将正确和错误的答案都标记为 CORRECT。下方：评判者在 NR 中将答案标记为 CORRECT，但在 RV 和 RC 中将裁决改为 INCORRECT。NR：无参考；RV：参考可见；RC：参考比较；JEA：评判者提取的答案；JV：评判者裁决。

许多使用 LLM 评判者的真实任务都是在无参考设置中进行评估的，因为真值信息并不总是易于获取。在这种设置下，评判者必须基于自身对领域、语言和任务的了解来评估正确性。当这种知识不足时，评判者可能会接受错误的答案，从而夸大报告的正确性分数。图 1 展示了一个例子：在无参考设置下，评判者将正确和错误的答案都标记为正确，但当真实答案出现时，它改变了决策。

那么，我们如何判断一个 LLM 评判者能否可靠地对给定任务进行无参考评估？在本文中，我们通过一个受控的、开放式的、多语言问答设置来探索这个问题，采用一个新颖的两阶段流程：(a) 校准实验，评估 LLM 评判者是否对其正在评估的任务有良好的理解；(b) 敏感性实验，评估 LLM 评判者能否在无参考评估场景中可靠使用。这些实验使我们能够系统地分析 LLM 评判者的评估失败是由于评判模型对该任务本身能力的局限，还是由于其在评判时对参考答案存在的敏感性。在实践中，这个两阶段流程也可以作为开发类似评估流程的蓝图，用于比较和选择适用于其他任务的正确 LLM 评判者。

## 2 相关工作

##### 大语言模型作为评估者

近期工作越来越多地将 LLM 用作自动评估者，用于文本连贯性 (Barbosa and Campelo, 2024)、数学推理 (Li et al., 2025b; Stephan et al., 2025)、代码生成与评估 (Zhao et al., 2025; Wang et al., 2025; Moon et al., 2026)、生物医学关系提取 (Laskar et al., 2025)、自动答案评分 (Rodrigues et al., 2025; Su et al., 2025; Zhu et al., 2025a)、文本摘要 (Chehbouni et al., 2025) 以及开放式问题评估 (Zheng et al., 2023; Kamalloo et al., 2023; Wei et al., 2026) 等任务。关于微调评估模型 (Zhu et al., 2025b; Huang et al., 2025) 以及评估 LLM 评判者行为的基准 (Zeng et al., 2024; Tan et al., 2025; Xu et al., 2025) 也已存在。虽然 LLM 评判者提供了人工评估的实用替代方案，但其可靠性取决于提示设计、任务框架以及评估过程中提供的信息。例如，Lee et al. (2026) 表明，当提供的参考与其参数化知识冲突时，评判者无法遵循该参考。在本文中，我们专注于多语言实验设置中，在参考存在/缺失情况下评判者行为的变化。

##### LLM 评判者评估中的偏差

先前的工作已经研究了 LLM 评判者的若干局限性 (Gu et al., 2024b; Li et al., 2025a)，包括提示敏感性 (Echterhoff et al., 2024; Thakur et al., 2025)、位置偏差 (Wang et al., 2024; Li et al., 2024c; Jiao et al., 2024; Ye et al., 2025; Shi et al., 2025)、冗长性偏差 (Zhou et al., 2024; Jiao et al., 2024; Alvarez-Arenas et al., 2026)、性别偏差、权威偏差 (Chen et al., 2024)、自我偏好偏差 (Chen et al., 2025) 以及评估标准的不一致性 (Doddapaneni et al., 2024; Lee et al., 2025; Wu and Aji, 2025; Siro et al., 2026)。我们的工作则考察提示中的参考信息如何影响评判者行为，以及参考可见性和比较框架是否会跨语言改变裁决。据我们所知，这些关切在先前的工作中并未得到充分解决，尤其是在多语言背景下。

## 3 方法

我们的目标是研究 LLM 评判者在无参考评估设置中的可靠性，重点关注其执行任务的能力以及其对提示中参考答案存在的敏感性。为此，我们进行一项受控研究，LLM 评判者对模型生成的开放式问题答案进行评估，并给出正确或错误的二元裁决。

图 2：校准和敏感性实验中使用的 LLM 评判者评估流程。评判者从模型回答中提取核心答案，然后分配正确性裁决，并以 JSON 格式响应。

通用实验流程（见图 2）包含两个部分：首先，要求 LLM 评判者从生成的模型回答中提取答案，因为开放式回答通常很详尽。然后，评判者检查提取的答案是否针对给定问题正确，并分配 CORRECT 或 INCORRECT 的决策。评判者的最终输出是一个包含三个字段的 JSON 对象：extracted_answer、explanation 和 verdict。extracted_answer 字段包含评判者从模型回答中提取的答案，verdict 字段给出最终二元决策，explanation 字段提供决策的理由。这种方法使我们能够评估评判者识别了什么作为答案，这种情况如何随上下文变化，以及最终决策是如何做出的。我们设计了两类实验来研究 LLM 评判者的行为：校准实验和敏感性实验。

图 3：校准和敏感性实验设置概述。校准实验改变答案的正确性，而敏感性实验改变参考答案的可用性和框架。

### 3.1 校准实验

这些实验测试评判模型是否对所评估的任务足够了解。提供一个问题和可能的答案，评判者需要评估该答案是否正确。我们在两种设置下运行此实验：一种设置为提供的答案对应正确的真实答案（C1），另一种设置为对应错误的真实答案（C2）。在两种设置中，答案都被标记为“生成答案”（见图 3），因此评判者必须依赖其自身推理而不是显式标签¹¹。为了避免让错误案例容易被检测，我们从数据集中其他现有的问答对中构建错误的真实答案。注意，在这种设置中，我们仅旨在为任务校准评判模型，不需要任何生成模型。

### 3.2 敏感性实验

敏感性实验旨在通过测量参考答案的存在和位置如何改变评判者对生成器模型回答的评估，来估计评判者是否适合进行无参考评估，通过三种实验设置：无参考（NR）、参考可见（RV）、参考比较（RC）²²。在无参考设置（NR）中，评判者在没有访问任何参考的情况下评估模型生成的回答是否正确回答该问题。此实验与校准实验不同，因为这里评估的答案是模型生成的回答。在参考可见设置（RV）中，参考答案出现在提示中，但未显式用于比较。在参考比较设置（RC）中，提示显式指示评判者在分配决策之前将其提取的答案与参考答案进行比较。

##### 使用决策翻转进行评估：

对于所有实验，我们衡量决策翻转，即评判模型评估结果在实验设置之间的变化（从 CORRECT 到 INCORRECT，或反之）。在校准实验中，如果评判模型对任务有良好理解，我们期望 C1 和 C2 之间的差异较高。对于所有敏感性实验，我们将无参考（NR）设置视为基线，并分析两种转变类型的决策翻转：从 NR 到 RV，捕捉使参考可见的效果；从 RV 到 RC，捕捉显式要求与参考进行比较的效果。如果评判模型是好的，我们期望这种决策翻转的量尽可能低。

## 4 实验设置

我们评估两个数据集——一个覆盖三种语言（英语、阿拉伯语和泰卢固语），另一个覆盖这三种语言之一（泰卢固语）。所有示例均使用四个 LLM 生成的回答进行评估，每个回答由三个评判模型评估，每个数据集-语言对产生十二个评判评估。

##### 数据集：

我们使用两个数据源进行实验，以检查研究结果是否跨数据集和语言泛化。TyDi QA (Clark et al., 2020) ³³ 是一个覆盖 11 种语言的问答数据集。每个语言子集都有训练集和验证集，我们使用泰卢固语（1338）、阿拉伯语（1902）和英语（990）的验证集。我们进一步处理这些数据，排除无法回答问题（其真实值为空）的条目。这导致泰卢固语最终有 669 个问题，阿拉伯语有 951 个问题，英语有 445 个问题。这些语言来自不同的语系，每种语言使用不同的书写系统。

图 4：跨语言和数据集的校准结果。C1 衡量评判者接受正确答案的频率，而 C2 衡量接受错误答案的频率；所有评判者在泰卢固语中都过度奖励错误答案（C2 > 0）；CGP 是 C1 和 C2 之间的差异，值越高表明区分度越好；G3.1FL：Gemini3.1-Flash-Lite-Preview；G3：Gemma3-27B；Q3：Qwen3-32B；

第二个数据集是 MATA (Kranti and Vajjal)

（注：由于原文在摘要后给出了完整的作者和单位信息，但正文开头也重复了部分，翻译时保留了结构。后续图标题和引用被截断，根据指令恢复完整翻译。请注意，原文中图4的标题(a)和(b)以及脚注等内容需要保留。由于翻译要求只输出翻译文本，我将在连续输出中尽量保持格式。）# LLM 评判者在缺乏参考答案时可能过于宽容

来源：https://arxiv.org/html/2607.12885

Chalamalasetti Kranti  
计算语言学，语言学系，波茨坦大学，德国  
kranti\.chalamalasetti@uni\-potsdam\.de

###### 摘要

LLM 评判者正越来越多地被用于评估开放式的模型回答，通常是在无参考设置中，即不存在真实答案。然而，在这种评估设置下，它们能否可靠地进行评估？本文通过一个两阶段流程来探讨这一问题：(a) 校准实验，评估评判模型对其所评估的任务的了解程度；(b) 敏感性实验，评估评判模型的性能如何受到提示中参考答案的存在和位置的影响。在覆盖三种语言的实验中，我们表明，我们所评估的评判模型在缺乏参考答案时倾向于过度奖励错误答案，而在提示中添加参考答案信息会在某些实验设置中使评判模型正确/错误的判断发生高达85%的翻转。与部分人工标注的比较表明，这些由参考驱动的变化通常与人类判断一致。我们的结果强调了在可靠地使用无参考设置之前，需要用参考感知评估的样本对 LLM 评判者进行校准的必要性，并且我们的方法为研究人员和实践者针对其他任务进行此类 LLM 评判者校准提供了蓝图。

---

# LLM 评判者在缺乏参考答案时可能过于宽容

Chalamalasetti Kranti  
计算语言学，语言学系，波茨坦大学，德国  
kranti\.chalamalasetti@uni\-potsdam\.de

Sowmya Vajjala  
国家研究委员会，渥太华，加拿大  
sowmya\.vajjala@nrc\-cnrc\.gc\.ca

## 1 引言

机器生成文本的评估已从 n-gram 指标（如 BLEU (Papineni et al., 2002) 和 ROUGE (Lin, 2004)），发展到神经网络指标（如 BERTScore (Zhang et al., 2019)、事实性指标 (Kryscinski et al., 2020)），再到基于 LLM 的评估 (Li et al., 2024b)。随着语言模型输出规模的扩大，快速、自动且准确的评估变得愈发重要。近期的工作遵循 LLM-as-a-Judge 范式，在广泛的任务中利用 LLM 作为评估者 (Gu et al., 2024a; Li et al., 2024a, 2025a)。尽管被广泛采用，研究人员已经发现了 LLM 作为评判者的各种缺陷（例如，Doddapaneni et al., 2024; Razavi et al., 2025; Moon et al., 2026）。虽然这些研究主要关注 LLM 评判者决策可靠性的各个方面，但关于评判模型执行评估任务的能力或其对评估提示中真值信息存在/缺失的敏感性，在过去的研究中并未得到充分探讨。

图 1：LLM 评判者的裁决在无参考评估中可能得到过度奖励。上方：在没有参考的情况下，评判者将正确和错误的答案都标记为 CORRECT。下方：评判者在 NR 中将答案标记为 CORRECT，但在 RV 和 RC 中将裁决改为 INCORRECT。NR：无参考；RV：参考可见；RC：参考比较；JEA：评判者提取的答案；JV：评判者裁决。

许多使用 LLM 评判者的真实任务都是在无参考设置中进行评估的，因为真值信息并不总是易于获取。在这种设置下，评判者必须基于自身对领域、语言和任务的了解来评估正确性。当这种知识不足时，评判者可能会接受错误的答案，从而夸大报告的正确性分数。图 1 展示了一个例子：在无参考设置下，评判者将正确和错误的答案都标记为正确，但当真实答案出现时，它改变了决策。

那么，我们如何判断一个 LLM 评判者能否可靠地对给定任务进行无参考评估？在本文中，我们通过一个受控的、开放式的、多语言问答设置来探索这个问题，采用一个新颖的两阶段流程：(a) 校准实验，评估 LLM 评判者是否对其正在评估的任务有良好的理解；(b) 敏感性实验，评估 LLM 评判者能否在无参考评估场景中可靠使用。这些实验使我们能够系统地分析 LLM 评判者的评估失败是由于评判模型对该任务本身能力的局限，还是由于其在评判时对参考答案存在的敏感性。在实践中，这个两阶段流程也可以作为开发类似评估流程的蓝图，用于比较和选择适用于其他任务的正确 LLM 评判者。

## 2 相关工作

##### 大语言模型作为评估者

近期工作越来越多地将 LLM 用作自动评估者，用于文本连贯性 (Barbosa and Campelo, 2024)、数学推理 (Li et al., 2025b; Stephan et al., 2025)、代码生成与评估 (Zhao et al., 2025; Wang et al., 2025; Moon et al., 2026)、生物医学关系提取 (Laskar et al., 2025)、自动答案评分 (Rodrigues et al., 2025; Su et al., 2025; Zhu et al., 2025a)、文本摘要 (Chehbouni et al., 2025) 以及开放式问题评估 (Zheng et al., 2023; Kamalloo et al., 2023; Wei et al., 2026) 等任务。关于微调评估模型 (Zhu et al., 2025b; Huang et al., 2025) 以及评估 LLM 评判者行为的基准 (Zeng et al., 2024; Tan et al., 2025; Xu et al., 2025) 也已存在。虽然 LLM 评判者提供了人工评估的实用替代方案，但其可靠性取决于提示设计、任务框架以及评估过程中提供的信息。例如，Lee et al. (2026) 表明，当提供的参考与其参数化知识冲突时，评判者无法遵循该参考。在本文中，我们专注于多语言实验设置中，在参考存在/缺失情况下评判者行为的变化。

##### LLM 评判者评估中的偏差

先前的工作已经研究了 LLM 评判者的若干局限性 (Gu et al., 2024b; Li et al., 2025a)，包括提示敏感性 (Echterhoff et al., 2024; Thakur et al., 2025)、位置偏差 (Wang et al., 2024; Li et al., 2024c; Jiao et al., 2024; Ye et al., 2025; Shi et al., 2025)、冗长性偏差 (Zhou et al., 2024; Jiao et al., 2024; Alvarez-Arenas et al., 2026)、性别偏差、权威偏差 (Chen et al., 2024)、自我偏好偏差 (Chen et al., 2025) 以及评估标准的不一致性 (Doddapaneni et al., 2024; Lee et al., 2025; Wu and Aji, 2025; Siro et al., 2026)。我们的工作则考察提示中的参考信息如何影响评判者行为，以及参考可见性和比较框架是否会跨语言改变裁决。据我们所知，这些关切在先前的工作中并未得到充分解决，尤其是在多语言背景下。

## 3 方法

我们的目标是研究 LLM 评判者在无参考评估设置中的可靠性，重点关注其执行任务的能力以及其对提示中参考答案存在的敏感性。为此，我们进行一项受控研究，LLM 评判者对模型生成的开放式问题答案进行评估，并给出正确或错误的二元裁决。

图 2：校准和敏感性实验中使用的 LLM 评判者评估流程。评判者从模型回答中提取核心答案，然后分配正确性裁决，并以 JSON 格式响应。

通用实验流程（见图 2）包含两个部分：首先，要求 LLM 评判者从生成的模型回答中提取答案，因为开放式回答通常很详尽。然后，评判者检查提取的答案是否针对给定问题正确，并分配 CORRECT 或 INCORRECT 的决策。评判者的最终输出是一个包含三个字段的 JSON 对象：extracted_answer、explanation 和 verdict。extracted_answer 字段包含评判者从模型回答中提取的答案，verdict 字段给出最终二元决策，explanation 字段提供决策的理由。这种方法使我们能够评估评判者识别了什么作为答案，这种情况如何随上下文变化，以及最终决策是如何做出的。我们设计了两类实验来研究 LLM 评判者的行为：校准实验和敏感性实验。

图 3：校准和敏感性实验设置概述。校准实验改变答案的正确性，而敏感性实验改变参考答案的可用性和框架。

### 3.1 校准实验

这些实验测试评判模型是否对所评估的任务足够了解。提供一个问题和可能的答案，评判者需要评估该答案是否正确。我们在两种设置下运行此实验：一种设置为提供的答案对应正确的真实答案（C1），另一种设置为对应错误的真实答案（C2）。在两种设置中，答案都被标记为“生成答案”（见图 3），因此评判者必须依赖其自身推理而不是显式标签¹¹。为了避免让错误案例容易被检测，我们从数据集中其他现有的问答对中构建错误的真实答案。注意，在这种设置中，我们仅旨在为任务校准评判模型，不需要任何生成模型。

### 3.2 敏感性实验

敏感性实验旨在通过测量参考答案的存在和位置如何改变评判者对生成器模型回答的评估，来估计评判者是否适合进行无参考评估，通过三种实验设置：无参考（NR）、参考可见（RV）、参考比较（RC）²²。在无参考设置（NR）中，评判者在没有访问任何参考的情况下评估模型生成的回答是否正确回答该问题。此实验与校准实验不同，因为这里评估的答案是模型生成的回答。在参考可见设置（RV）中，参考答案出现在提示中，但未显式用于比较。在参考比较设置（RC）中，提示显式指示评判者在分配决策之前将其提取的答案与参考答案进行比较。

##### 使用决策翻转进行评估：

对于所有实验，我们衡量决策翻转，即评判模型评估结果在实验设置之间的变化（从 CORRECT 到 INCORRECT，或反之）。在校准实验中，如果评判模型对任务有良好理解，我们期望 C1 和 C2 之间的差异较高。对于所有敏感性实验，我们将无参考（NR）设置视为基线，并分析两种转变类型的决策翻转：从 NR 到 RV，捕捉使参考可见的效果；从 RV 到 RC，捕捉显式要求与参考进行比较的效果。如果评判模型是好的，我们期望这种决策翻转的量尽可能低。

## 4 实验设置

我们评估两个数据集——一个覆盖三种语言（英语、阿拉伯语和泰卢固语），另一个覆盖这三种语言之一（泰卢固语）。所有示例均使用四个 LLM 生成的回答进行评估，每个回答由三个评判模型评估，每个数据集-语言对产生十二个评判评估。

##### 数据集：

我们使用两个数据源进行实验，以检查研究结果是否跨数据集和语言泛化。TyDi QA (Clark et al., 2020) ³³ 是一个覆盖 11 种语言的问答数据集。每个语言子集都有训练集和验证集，我们使用泰卢固语（1338）、阿拉伯语（1902）和英语（990）的验证集。我们进一步处理这些数据，排除无法回答问题（其真实值为空）的条目。这导致泰卢固语最终有 669 个问题，阿拉伯语有 951 个问题，英语有 445 个问题。这些语言来自不同的语系，每种语言使用不同的书写系统。

图 4：跨语言和数据集的校准结果。C1 衡量评判者接受正确答案的频率，而 C2 衡量接受错误答案的频率；所有评判者在泰卢固语中都过度奖励错误答案（C2 > 0）；CGP 是 C1 和 C2 之间的差异，值越高表明区分度越好；G3.1FL：Gemini3.1-Flash-Lite-Preview；G3：Gemma3-27B；Q3：Qwen3-32B；

第二个数据集是 MATA (Kranti and Vajjala)