换一个裁判，分数就变了：审计大模型作为裁判的可靠性

# 当法官改变时，测量结果也随之改变：审计 LLM-as-Judge 的可靠性

来源：https://arxiv.org/html/2607.08535
Zongyou Yang, Yinghan Hou
Department of Electrical and Electronic Engineering, Imperial College London
London, United Kingdom
yh24@ic\.ac\.uk (https://arxiv.org/html/2607.08535v1/mailto:[email protected])
and
Xiaokun Yang
School of Electronic Information, Nanchang Institute of Technology
Nanchang, China
yangxk@bupt\.cn (https://arxiv.org/html/2607.08535v1/mailto:[email protected])

###### 摘要。

即使候选回答保持不变，仅因评估者更换，LLM-as-judge 的评分也可能发生变化。我们将这种评估者更换歧义视为一个测量有效性问题。在四个判断数据集上，我们比较了实践中可用的两种升级路径：将 Qwen3 密集型评估者从 1.7B 扩展到 32B 参数，以及跨 MiniMax M2-M2.7 发布版 API 进行迁移。主要发现是：评估者升级不可互换；只有 Qwen3 1.7B→\rightarrow4B 提供了稳健的相邻增益，而 MiniMax 相邻发布版则没有。更强的评估者减少了但并未消除位置偏差和冗长偏差。当错误相关时，重复样本陪审团收效甚微。结构化辩论可以大幅改变决策，但如果没有解析器和回退日志，这些变化不能归因于深思熟虑。我们认为 LLM-as-judge 报告应包括数据集切片、偏差探测、错误依赖性估计和协议审计跟踪。

LLM-as-judge，自动评估，模型缩放，评估可靠性，偏差，陪审团聚合

††copyright:none††conference:第十届人工智能进展国际会议；2026年9月21-24日；伦敦，英国††journalyear:2026††ccs:计算方法论 自然语言处理††ccs:计算方法论 机器学习

## 1. 引言

LLM-as-judge 评估现在常被用作衡量模型质量的测量工具。困难在于这个工具本身也是一个模型。当系统评分在更换评估者后发生变化时，这种变化是模糊的：它可能表明新评估者更有能力，或者其偏差不同，或者在基准测试的不同切片上失败，又或者评估流程在解析和聚合其输出时有所不同。这种模糊性并非一个次要的实现细节。它决定了 LLM-as-judge 的评分是否能够被解读为关于候选系统的证据。

我们称之为*评估者更换歧义*：当更换评估者后测量的偏好结果发生变化时，仅凭准确率无法识别变化的来源。本文通过评估实践中可用的两种可观察干预措施来研究这种模糊性。第一种是参数缩放决策，由 Qwen3 密集型评估者从 1.7B 到 32B 参数代表 (Yang and others, 2025 (https://arxiv.org/html/2607.08535#bib.bib33))。第二种是已发布模型的升级路径，由按发布版本评估的 MiniMax M2-M2.7 API 代表 (MiniMax, 2026 (https://arxiv.org/html/2607.08535#bib.bib35))。这些轴是证据来源，而非本文解释的对象。MiniMax M2 报告记录了发布系列及其面向代理的训练流程，但它并未使我们的 API 序列成为受控消融实验；因此，本文不对 MiniMax 内部机制提出因果主张。

这种表述引出了三个研究问题。RQ1 询问评估者可靠性是否沿参数轴和已发布模型升级路径以类似方式改善。如果评估者能力是主导因素，那么两个路径在所有数据集上都应显示出一致的正向相邻增益；如果可靠性依赖于工作负载，则增益应随数据集变化，且显著性不应统一转移。RQ2 询问更高的聚合准确率是否也能减少已知的评估者偏差。更高能力的评估者应该对偏差不那么敏感，但非零翻转率将表明能力并不能消除测量伪影。RQ3 询问协议级别的升级，例如陪审团和辩论，是否会改变超越单个评估者缩放的可靠性。当错误相关性高时，陪审团收益应有限，而辩论变化应取决于能力不对称性和协议可审计性。

核心论点是：评估者能力很重要，但并不完整：同一个评估者在不同的工作负载、偏差探测、相关投票和协议实现下可能表现不同。

本文为 LLM-as-judge 可靠性贡献了一个可审计的测量框架，将模型能力与工作负载依赖性、偏差行为、相关投票和测量伪影区分开来。首先，它提出了一个双轴评估者研究，比较了参数缩放与已发布模型代际，同时明确避免对 MiniMax 内部机制提出因果主张。其次，它将可靠性分解为单评估者准确率、偏差探测、相关陪审团错误和辩论可审计性。第三，它提炼出一个报告标准：基准测试切片、解析共享测试、A/B 随机化、ρ\rho 估计和协议日志。

本研究得出三个主要结果。首先，评估者升级不可互换：参数缩放产生了一个稳健的低端增益，而 MiniMax 相邻发布版则没有。其次，更高的准确率减少了但并未消除偏差。第三，聚合协议只有在假设可审计时才可解释：陪审团投票受限于相关错误，而没有解析器日志，辩论变化不能归因于深思熟虑。

参见图注
图 1. LLM-as-judge 作为测量流程。报告评分不仅取决于候选回答，还取决于基准测试切片、评估者模型、提示和解码选择、解析器以及任何聚合或辩论协议。
一个管道图，显示了候选回答、基准测试切片、评估者模型、提示和解码、解析器、聚合或辩论以及报告评分，并附有有效性、偏差、依赖性和解析器伪影的风险标签。

## 2. 相关工作

**LLM 评估者与偏好评估。** MT-Bench、Chatbot Arena、PandaLM、JudgeLM、G-Eval、Auto-J、Prometheus 和 RewardBench 帮助确立了 LLM 评估者作为开放性生成任务实用评估者的地位 (Zheng et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib1); Wang et al., 2023c (https://arxiv.org/html/2607.08535#bib.bib2); Zhu et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib3); Liu et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib5); Li et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib20); Kim et al., 2024a (https://arxiv.org/html/2607.08535#bib.bib18), b (https://arxiv.org/html/2607.08535#bib.bib19); Lambert et al., 2024 (https://arxiv.org/html/2607.08535#bib.bib21))。这些研究表明 LLM 评估者可以与人偏好相关，但相关性也取决于任务、提示、评分尺度和模型家族。我们的工作遵循这一实证传统，但将评估者本身视为缩放分析的对象。不足之处在于，先前的报告通常将评估者性能表现为一维模型排序，这掩盖了增益究竟来自能力、基准测试切片、偏差减少还是协议设计。

**评估者偏差与协议效应。** 先前的工作记录了位置偏差、冗长偏差、对评分格式的敏感性以及评估设计选择引起的可靠性变化 (Dubois et al., 2024 (https://arxiv.org/html/2607.08535#bib.bib7); Saito et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib8); Wang et al., 2023a (https://arxiv.org/html/2607.08535#bib.bib17); Yamauchi et al., 2025 (https://arxiv.org/html/2607.08535#bib.bib41))。这些效应之所以重要，是因为它们可以在不改变候选回答的情况下改变排名。然而，关于偏差如何随评估者缩放而共同变化，而非在孤立提示扰动下变化，这一点仍未得到充分说明。与全面的提示因子实验不同，我们的实验使用一个固定的主提示，并将提示敏感性作为稳健性检查；主要关注点是在受控报告协议下，模型能力、偏差、聚合和辩论如何相互作用。

**聚合与辩论。** 经典孔多塞风格的结果预测了来自独立投票者的收益，而关于相关投票者的工作表明依赖性会急剧减少这些收益 (de Condorcet, 1785 (https://arxiv.org/html/2607.08535#bib.bib9); Ladha, 1992 (https://arxiv.org/html/2607.08535#bib.bib10))。在 LLM 评估中，自洽性、多智能体辩论和 ChatEval 风格协议提供了类似聚合或商议的途径 (Wang et al., 2023b (https://arxiv.org/html/2607.08535#bib.bib24); Du et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib12); Liang et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib23); Chan et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib13); Khan et al., 2024 (https://arxiv.org/html/2607.08535#bib.bib22))。现有研究通常强调最终准确率；我们的焦点是此类增益所需的聚合假设是否在经验上得到满足。我们的陪审团实验直接估计了错误相关性，而我们的辩论实验则作为可审计性案例研究进行报告。

## 3. 实验设计

### 3.1. 操作化评估者可靠性

我们将 LLM-as-judge 可靠性视为一个多维测量属性，而非单一的准确率分数。在本研究中，可靠性由四个可观察的组成部分构成：判断有效性、偏差鲁棒性、聚合独立性和协议可审计性。表 1 (https://arxiv.org/html/2607.08535#S3.T1) 将每个构念映射到一个操作化测量和实验。

表 1. LLM-as-judge 可靠性的操作化。

### 3.2. 模型与数据集

主面板包含八个评估评估者：Qwen3-1.7B、Qwen3-4B、Qwen3-14B、Qwen3-32B、MiniMax-M2、MiniMax-M2.1、MiniMax-M2.5 和 MiniMax-M2.7。此面板将一个近似的参数干预与一个观察到的已发布模型干预区分开来。GLM-5.1 和 mimo-v2-pro 在选定的实验中作为跨家族参考评估者使用，但不属于任一个轴。

四个数据集涵盖了互补的判断设置，以确保可靠性不是从单个任务切片推断出来的。LLMBar 是一个对抗性成对基准测试，包含 419 个示例 (Zeng et al., 2024 (https://arxiv.org/html/2607.08535#bib.bib4))。PandaLM testset-v1 提供了广泛领域的成对判断；在移除打平占多数的示例后，剩下 894 个有效的成对示例 (Wang et al., 2023c (https://arxiv.org/html/2607.08535#bib.bib2))。从 Chatbot Arena 抽取的一个种子为 42 的 2000 示例样本提供了广泛的人偏好比较，其中包含 1997 个有效的成对示例 (Zheng et al., 2023 (https://arxiv.org/html/2607.08535#bib.bib1))。我们的 Judge's Verdict 切片使用了 200 个源自 TechQA 的示例，具有三级逐点评分，支持精确匹配和基于排名的评估 (Han et al., 2025 (https://arxiv.org/html/2607.08535#bib.bib36); Castelli et al., 2019 (https://arxiv.org/html/2607.08535#bib.bib14))。

### 3.3. 指标与协议

成对实验报告可解析判决的准确率和 Cohen 的 κ\\kappa；Judge's Verdict 额外报告 Spearman 秩相关系数。主要的单评估者运行使用接近贪婪解码 (T=0.1T=0.1) 以减少估计模型级可靠性时的采样噪声。同质陪审团在 T=0.7T=0.7 下多次采样同一个评估者，因为重复的低温度调用会低估随机陪审员之间的依赖结构；异质陪审团在 T=0.1T=0.1 下组合不同的评估者，以将模型组合与抽样方差隔离开来。相邻模型比较使用精确的双侧 McNemar 检验，应用于解析共享的示例，因此显著性反映成对判断的变化，而非解析器覆盖范围的差异。Holm 校正控制了 18 个相邻检验的族系。

这些实验实现了表 1 (https://arxiv.org/html/2607.08535#S3.T1) 中的构念。实验 1 测量沿两个轴的单评估者有效性。实验 2 测量 LLMBar 的位置、冗长和粒度鲁棒性。实验 3 在测量到的错误相关性下评估多数投票陪审团。实验 4 评估一个结构化辩论协议作为可审计性案例研究。四个稳健性检查涵盖了人类上限校准、校正后的相邻显著性、有限的提示敏感性和 Arena 种子稳定性。

参见图注
图 2. 研究设计。本文使用 Qwen3 参数轴和 MiniMax 发布代际轴作为可观察的评估者更换干预措施，然后测试单评估者缩放、偏差探测、陪审团聚合和结构化辩论是否回答了相同的可靠性问题。
一个双轴 LLM-as-judge 测试平台的示意图，包含模型轴、数据集、实验和稳健性检查。

## 4. 结果

表 2. 按研究问题划分的主要答案。

### 4.1. 发现 1：评估者升级不可互换

仅凭能力的解释会预测沿两条升级路径都有相似的相邻增益；成对检验并不显示这种模式。表 3 (https://arxiv.org/html/2607.08535#S4.T3) 总结了主要的单评估者模式。Qwen3 在 LLMBar 上从 1.7B 到 4B 显著改善（0.463 到 0.617），在 Arena 上改善较温和，但随后的参数步骤较小，且并非均匀单调。MiniMax 发布代际在本面板中未显示可靠的相邻改进：相邻成对差异最大为 0.022 准确率，且九个 MiniMax 相邻检验没有一个达到未校正的 p<0.05p<0.05。在对所有 18 个相邻检验进行 Holm 校正后，只有 Qwen3 在 LLMBar 和 Arena 上从 1.7B 到 4B 的步骤保持显著。

表 3. 单评估者聚合结果。数值为准确率，Judge's Verdict 除外，为了可比性报告了精确匹配；括号内为 Wilson 95% 区间。
相关的结论并非一个家族普遍更强。没有评估者在所有数据集上领先：GLM-5.1 在 LLMBar 上领先，MiniMax-M2.7 在 PandaLM 上领先，mimo-v2-pro 在抽样的 Arena 切片上领先。这将设计问题从一维评估者排序转向特定切片的测量有效性。

参见图注
图 3. 两个轴的相邻成对 McNemar 检验。在对 18 个相邻检验进行 Holm 校正后，只有 Qwen3 在 LLMBar 和 Arena 上从 1.7B→\rightarrow4B 的步骤保持显著；本面板中没有一个 MiniMax 相邻发布步骤是显著的。
一个热图，显示了 Qwen3 和 MiniMax 在多个数据集上的相邻模型显著性值。

### 4.2. 发现 2：更强的评估者偏差更小，但并非无偏

在 LLMBar 上，偏差探测与能力朝相同方向移动，但并未消失。位置翻转率从 Qwen3-1.7B 的 0.320 下降到 MiniMax 发布版的 0.117–0.147。在固定通用且无害的填充字符串下，冗长偏差从 Qwen3-1.7B 的 0.547 下降到 MiniMax 的大约 0.13。粒度敏感性对于更强的评估者也更小。

这种模式最好被解释为能力-公平性关联，而非一种机制。在八个评估评估者中，LLMBar 准确率与位置翻转率之间的相关性很强 (Pearson r=−0.957r=-0.957)，但这是在一个数据集和一个模型面板上测量的。更强的评估者也不是无偏的：MiniMax-M2.7 在 A/B 反转下仍然改变了 14.7% 的判决。因此，即使使用高准确率的评估者，位置随机化和切片级偏差报告仍然是必要的。

参见图注
图 4. LLMBar 上的能力-公平性关联。更高的单评估者准确率与更低的位置翻转率共变，在八个评估评估者中，但非零翻转率表明更强的评估者仍然需要 A/B 随机化和偏差报告。
散点图，横轴为 LLMBar