通过在策略自蒸馏缓解LLM评判器中的评分标准干扰

# 通过在线策略自蒸馏缓解LLM评判标准中的指标干扰
来源: https://arxiv.org/html/2608.14684  
丁耀宇<sup>1,2</sup>, 张通<sup>2</sup>, 牟宇韬<sup>1,2</sup>, 张云霄<sup>1,2</sup>, 叶炜<sup>1</sup>, 张世坤<sup>1</sup>  
<sup>1</sup>北京大学 <sup>2</sup>腾讯微信AI  
\{yudingyao,wye,shangsk\}@pku.edu.cn

###### 摘要  
大型语言模型（LLM）评判器正越来越多地依据细粒度的评分检查清单来评估回答。当一个样本需要评估多个指标时，现有方法通常在不同的推理调用中分别评估每个指标。在单次评估中处理所有指标是一种更高效的自然替代方案，但我们发现这会引入**指标干扰**：对一个指标的判定结果会随着其他共现指标的变化而改变。在初步研究中，当使用不同构成的指标集进行评估时，只有三分之一的样本获得了完全一致的判定结果。我们开发了一个测量框架，通过四种受控操作来探测干扰：指标集扩展、子集化、重排序和噪声注入。为了在无需外部监督的情况下缓解干扰，我们提出了**自锚定指标对齐（SARA）**。SARA利用模型自身的单指标判定作为稳定锚点，并通过在线策略自蒸馏使多指标推理与这些锚点对齐。我们在三个数据集（HealthBench、FLASK、ResearchQA）和两个模型系列（Qwen3、Llama-3.1）上验证了SARA。SARA在保持与基础模型和作为参考评判器的GPT-4.1一致性的同时，持续提升了评估的一致性。此外，所学到的一致性在不同数据集间迁移，证实SARA传授的是一种通用能力，而非拟合数据集特定的模式。我们的代码可在以下地址获取：https://anonymous.4open.science/r/SARA-22E2/

---

## 1 引言
大型语言模型现在作为开放式文本生成的自动评估器，正在基准测试和奖励建模中替代或补充人工标注<cit.>。早期方法依赖于整体评分或成对比较。整体评分将多维质量压缩为单一数值，牺牲了诊断粒度<cit.>。成对比较避免了校准问题，但仍无法提供每个维度的反馈。这些局限性推动了该领域向基于指标（rubric-based）的评估发展，该方法将质量分解为具体、可验证的项目进行单独评估<cit.>。在如HealthBench<cit.>和ResearchQA<cit.>等任务中，单个样本需要根据多个指标进行评估。处理此类多指标集有两种策略。**隔离评估（Isolation evaluation）**在单独的推理调用中处理每个指标，生成独立的判定结果。**联合评估（Joint evaluation）**在一次评估中处理所有指标，生成统一的结构化报告。当前实践默认采用隔离评估<cit.>。联合评估因其高效性和生成连贯的跨指标叙述能力而具有吸引力，这在评判器作为强化学习人类反馈（RLHF）<cit.>中的在线奖励信号时尤为可取。然而，其可靠性在很大程度上尚未得到检验。

> **图1：联合评估中的指标干扰。** 相同的指标根据共现指标的构成和排序会收到不同的判定结果。

对于联合评估可靠地替代隔离调用，每个指标的判定必须仅取决于对话内容和该指标本身。我们发现这种不变性并不成立。联合评估引入了**指标干扰**：对一个指标的判定会根据指标集的构成方式而变化。图1展示了一种表现形式：仅仅重新排序指标列表就会导致判定结果反转。当我们将评估模式从隔离扩展到联合时，干扰也会出现：通过在HealthBench上比较每个指标的隔离判定结果与其联合判定结果，即使是Qwen3-32B模型，在样本级别的精确匹配率也仅为36%。这反映的是系统性干扰而非生成噪声：所有模型在使用不同随机种子重复评估时，自我一致性均达到≥0.98。

指标干扰是系统性的且可复现的。它不同于已知的评判器偏差，如位置偏差、冗余偏差和自我增强偏差<cit.>，这些偏差关注的是评判器如何对不同的**回答**进行排序。指标干扰则关注评判器如何处理针对同一回答的不同**评估上下文**。

一个关键观察促成了我们的解决方案。虽然联合评估不可靠，但同一模型在**隔离模式**下评估每个指标时，能产生稳定的判定结果，且无需外部标注。隔离判定与联合判定之间的差距揭示了干扰扭曲推理的位置，从而在无需外部监督的情况下提供了训练信号。我们提出**自锚定指标对齐（SARA）**，该方法通过在线策略自蒸馏，使联合模式推理与模型自身的隔离判定保持一致。SARA生成多指标评估，将其解析为每个指标的片段，并从一个缓慢更新的教师模型中进行蒸馏，该教师模型在隔离上下文中评估每个片段。散度损失校正分析片段中受干扰扭曲的推理；保留损失维持判定结构。我们的贡献如下：
1.  我们将指标干扰识别为多指标LLM评估中的一个系统性失败模式，并开发了一个包含四种操作的测量框架，以量化二元和评分格式下的干扰。
2.  我们提出了SARA，一种自蒸馏方法，通过将联合模式推理锚定到模型自身的隔离判定，从而缓解指标干扰，且无需外部监督。
3.  我们在三个数据集和两个模型系列上验证了SARA。SARA在保持与基础模型和GPT-4.1评估质量一致性的同时，提升了评估的一致性。

## 2 相关工作

#### LLM即评判器
LLM评判器已成为标准的评估基础设施<cit.>。早期工作表明，GPT-4在MT-Bench上的表现达到了标注者间一致性，证明了大规模使用LLM评判器的合理性<cit.>。思维链（Chain-of-thought）提示进一步提高了与人类评分的相关性<cit.>，而来自真实用户的特定任务检查清单已将评估推向针对每个样本的结构化标准<cit.>。最近，基于指标的评估将质量分解为细粒度、可验证的项目，并显示出在不同评判模型间具有更高的可重复性<cit.>。如HealthBench<cit.>和ResearchQA<cit.>等基准测试已采用每样本的指标集作为评估协议的一部分。我们的工作将指标干扰识别为联合多指标评估特有的可靠性问题。

#### LLM评判器的偏差与可靠性
LLM评判器表现出系统性偏差，包括位置偏差、冗余偏差和自我增强偏差<cit.>。特别是位置偏差是稳定且特定于模型的，而非采样伪影，它在12个评判模型和超过10万次评估实例中持续存在<cit.>。对提示复杂性的敏感性以及普遍的宽松倾向进一步损害了可靠性<cit.>。即使是GPT-4o在具有挑战性的回答对上的表现也接近随机水平<cit.>。已有校准策略被提出来解决这些问题<cit.>。所有这些发现都涉及**回答间**偏差——评判器如何比较不同的回答。指标干扰是正交的：在固定回答的情况下，对单个指标的判断会因共评的指标集而改变。

#### 提示敏感性与评估一致性
除了评判器特定的偏差外，LLM还表现出广泛的提示敏感性：仅格式变化就可能导致准确率波动达76分<cit.>，这促使多提示评估成为一种方法论上的默认选择<cit.>。基于复述的一致性框架测量等效措辞的查询是否能引出相同的事实答案<cit.>。这些研究关注的是LLM作为**任务解决者**的敏感性。我们研究的是LLM作为**评判者**的敏感性：上下文变化如何改变分配给另一个模型输出的标签。

#### 在线策略蒸馏
在线策略蒸馏（On-policy distillation）在学生模型上使用自采样的轨迹和逐token的教师指导进行训练，以缓解分布偏移<cit.>。自蒸馏（Self-distillation）无需单独的教师模型：将模型蒸馏到自身可以提升泛化能力<cit.>。在LLM场景中，模型已被训练用于区分自身的输出与参考答案<cit.>，充当自身的奖励函数<cit.>，并通过利用特权信息进行自我教学<cit.>。SARA共享这种在线策略自蒸馏原则，但目标不同：对齐联合模式与隔离模式的评估。这里的特权信息不是更强的模型，而是不存在干扰指标的环境。

## 3 问题定义

### 3.1 联合指标评估
我们考虑一个评判器模型 $\mathcal{M}$，它针对一组指标 $R = \{r_1, \ldots, r_n\}$ 评估对话 $c$。对于每个指标，评判器从一个离散值集 $\mathcal{V}$ 中分配一个判定结果 $v_i$。我们研究二元（$\mathcal{V} = \{0,1\}$）和评分（例如 $\mathcal{V} = \{1,\ldots,5\}$）评估；该框架可扩展到任何序数尺度。在**隔离评估**中，评判器在单独的推理调用中处理每个指标，从 $\mathcal{M}(c, \{r_i\})$ 产生判定结果 $v_i^{\text{iso}}$。在**联合评估**中，评判器在一次评估中处理所有指标，从 $\mathcal{M}(c, R)[r_i]$ 产生判定结果 $v_i^{\text{jnt}}$。联合评估效率更高，但判定结果 $v_i^{\text{jnt}}$ 可能依赖于 $R$ 中的其他指标，从而引入指标干扰。理想的评判器应对任何指标 $r$ 产生相同的判定结果，无论伴随它的其他指标是什么：
$$
\mathcal{M}(c, R)[r] = \mathcal{M}(c, R')[r] \quad \forall\; R, R' \ni r \tag{1}
$$
本节余下部分描述我们如何测试真实评判器是否满足此条件。

### 3.2 测试指标干扰
我们通过受控方式改变指标集并检查共享指标上的判定结果是否保持稳定来测试一致性。表1总结了四种操作，每种针对不同的干扰机制。

| 操作 | 改变内容 | 比较对象 |
| :--- | :--- | :--- |
| 扩展 | 集大小: $1 \to n$ | $v_i^{\text{iso}}$ vs $v_i^{\text{jnt}}$ |
| 子集化 | 集大小: $m \to n$ | $v_i$ 在小集 vs 大集中 |
| 重排序 | 指标顺序 | $v_i$ 在不同排列中 |
| 噪声注入 | 添加无关指标 | $v_i$ 在添加噪声前 vs 后 |

表1：测试指标干扰的四种操作。每种操作改变指标集，同时保持对话和目标指标不变。

**扩展（Expansion）** 是我们的主要测试：我们比较每个指标的隔离判定与其联合判定。我们报告**整体一致性**（完整集合）和**K值一致性**（大小为K的随机子集），以追踪干扰如何随指标数量增加而增长。**子集化（Subsetting）** 泛化了扩展，通过比较两个任意大小的嵌套子集（而非锚定于隔离模式）来测试干扰是否单调累积，但需要采样有效的超集。**重排序（Reordering）** 在相同集合的多个排列下进行评估，将位置效应与基于内容的干扰分离。**噪声注入（Noise injection）** 添加来自无关对话的指标，测试模型是否能忽略无关上下文。

对于所有操作，我们报告指标级一致性和Cohen's $\kappa$，以及样本级精确匹配（EM）。完整的指标定义见附录A。

## 4 自锚定指标对齐

> **图2：SARA训练流程。** 学生模型生成联合评估（上），并将其解析为每个指标的片段。教师模型在隔离上下文中评估每个片段（下），产生无干扰的锚点logits。蒸馏损失对齐分析片段中学生与教师的logits；保留损失维持结构化token。

### 4.1 概述
SARA通过在线策略自蒸馏训练评判器以抵抗指标干扰。核心思想很简单：在联合评估中遇到困难的同一模型，在隔离模式下能可靠地评判每个指标。这些隔离判定结果稳定且无需外部标注，使其成为天然的训练锚点。在每个训练步骤中，学生模型生成联合评估，并将其解析为每个指标的片段。学生模型的缓慢更新副本（教师）随后在隔离上下文中评估每个片段，产生无干扰的logits。散度损失使学生模型在分析片段上的联合模式logits与这些锚点对齐，而保留损失则维持结构化token（判定结果、格式）。图2展示了该流程。

### 4.2 在线策略生成与片段提取
在每个训练步骤，学生模型 $\mathcal{M}_\theta$ 为对话 $c$ 和指标集 $R$ 生成多指标评估：
$$
y \sim \mathcal{M}_\theta(\cdot \mid c, R) = [a_1, s_1, \ldots, a_n, s_n]
$$