绘制评估前沿：十一种评估者-代理条件下偏差-可靠性权衡的实证调查

# 绘制评估前沿：跨越11种评估器–智能体条件的偏差-可靠性权衡实证调查
来源：https://arxiv.org/html/2607.00304
###### 摘要

偏差-可靠性权衡猜想认为，LLM评估系统在\(γ,H,CV\)空间中受到约束，其中评估器耦合系数γ、策略多样性H和小样本测量可靠性CV(N)无法在固定样本量N下同时优化。先前的证据仅来自单一研究的5种条件及完整指标。本文将实证基础扩展到11种条件，测量了全部11种条件的γ和H（其中9种具有有效权重向量），以及7种具有足够种子数（N≥5）的条件的CV(N=5)。其中5种条件提供了完整的\(γ,H,CV\)三元组。数据证实了权衡关系：低评估器耦合（γ<0.2）的条件表现出高测量噪声（CV(N=5)>1.0），而强耦合（γ>0.9）的条件则实现低噪声（CV(N=5)<0.16）。相关性r(H,γ)=−0.989（n=5，排除下文讨论的GPT-4o条件）证实评估器耦合抑制了策略多样性。四个GPT-4o条件在所有种子上均显示γ=0.000和H=1.000——我们将此模式归因于2026年6月GPT-4o API版本中评估器信号不足，这与先前记录的版本漂移一致。没有条件占据{γ<0.2, CV(N=5)<0.3}这一区域。我们发布所有条件指标作为评估器比较的标准化基准数据集。

## 1 引言

LLM评估面临结构性挑战：使评估器具有理想特性——无偏性、小样本可靠性、鼓励多样化智能体策略——的因素相互制约。Anonymous (2026a)将此形式化为\(γ,H,CV\)空间中的一个约束三角形，其中：

- γ≥0是评估器耦合系数——受评估器影响的策略权重与基线（仅任务）权重之间的归一化L2距离。γ=0表示评估器影响为零；γ>1表示评估器效应超过基线策略范数。
- H∈[0,1]是策略权重分布的归一化香农熵。H=1对应均匀分布（所有策略同等可行）；H=0对应策略坍缩。
- CV(N)=std(γ̂_N)/E[γ̂_N]是样本量为N时耦合估计的变异系数，衡量小样本可靠性。CV(N)≪1表示稳定估计；CV(N)≫1表示噪声主导的估计。

权衡机制是评估器诱导的策略集中：更强的评估器偏好（γ↑）抑制策略多样性（H↓），进而降低跨种子方差并提高测量可靠性（CV↓）。无偏评估（γ≈0）的代价是高策略多样性（H≈1）以及随之而来的高测量噪声。

该权衡的原始证据来自Anonymous (2026a)中5种具有完整\(γ,H,CV\)指标的条件。虽然相关性很强（r(H,γ)=−0.987），但五种条件不足以描述经验前沿的形状或评估模型和协议之间的普适性。

本文将实证基础扩展。我们对Anonymous (2026b)多实验数据集中的所有11种评估器–智能体条件进行调查，涵盖四种评估器模型（GPT-4o、DeepSeek-V3、Qwen-3.7、Claude-3.5）、三种执行器模型和两种实验协议。我们为每种条件计算标准化的\(γ,H,CV\)指标，识别经验帕累托前沿，并刻画权衡空间中的三个不同区域。我们发布所有条件数据作为评估器比较的基准。

## 2 方法

### 2.1 数据来源与指标计算

我们使用Anonymous (2026b)的完整数据集，该数据集包含每种评估器–智能体条件的逐种子策略权重向量和耦合系数，每种条件有N=5–30个种子。每个种子在16项任务（8项文本、8项视觉）上执行30轮测试时强化学习（TTRL），使用n=11种候选策略。

对于每种条件，我们计算：

- γ：逐种子耦合系数的均值（根据数据格式为γ_TV或g_TV）。
- H：逐种子基线（仅任务）策略权重向量的归一化香农熵均值。缺少权重向量的条件标记为缺失。
- CV(N=5)：样本量为5时γ估计的自助法变异系数（5000次重抽样）。种子数N<5的条件标记为缺失。

完整分析流程见补充材料（来自Anonymous (2026a)的triangle_verification.py）。

### 2.2 注意事项：GPT-4o条件

使用GPT-4o作为评估器（2026年6月API版本）的四个条件在所有种子上产生γ=0.000和H=1.000——这种模式与Anonymous (2026b)中记载的版本漂移一致，GPT-4o的评估器行为在2026年5月到6月之间发生了实质性变化。均匀权重（H=1.0且方差为零）表明当前GPT-4o API施加的评估器影响可忽略不计——其判断要么不存在，要么与智能体的策略分布正交。我们将这四个条件排除在主H–γ相关性分析之外（否则它们会通过聚集在原点而人为夸大相关性），但为了完整性，仍保留在完整条件表中。

## 3 结果

### 3.1 条件调查

表1列出了全部11种条件。其中5种提供完整的\(γ,H,CV\)三元组；另外2种条件提供γ和CV（但缺少计算熵的权重向量）；4种GPT-4o条件提供γ和H（但H值是伪迹）。

表1：完整条件调查。†GPT-4o条件排除在主分析之外（见§2.2）。‡权重向量不可用于熵计算。
### 3.2 经验前沿

图1描绘了具有完整\(γ,CV\)指标的5种条件。尽管样本有限，但清晰的结构显现出来：

参见图注图1：经验评估前沿。点表示具有完整\(γ,CV\)指标的5种条件。颜色表示策略熵H。红色阴影区域（低γ，低CV）是经验上的空区域。低耦合区域（γ<0.2）。DS自评估（γ=0.033，CV=2.42）占据“无偏、不可靠”角落。评估器耦合接近零时，测量噪声极大：N=5时γ估计的标准差超过均值的两倍。

高耦合区域（γ>0.9）。DS自评估r30、Ablation max和Qwen 3.7聚集在高γ（0.94–1.06）和低CV（0.08–0.16）处。这些条件产生稳定排名——所有情况下CV(N=5)<0.16——但排名主要反映评估器偏好。

中间区域。仅DS×Qwen（γ=0.187，CV=1.025）占据两个聚类之间的过渡区。该区域采样严重不足。

空区域。区域{γ<0.2, CV(N=5)<0.3}为空。在我们样本中，没有评估器–智能体对在N=5时同时实现低偏差和高可靠性。

### 3.3 策略熵梯度

在具有有效H测量的5种条件中（排除GPT-4o伪迹），熵随耦合降低：r(H,γ)=−0.989（p=0.001，n=5）。DS自评估条件在最小耦合下表现出接近最大的熵（H=0.992），而Ablation max在强耦合（γ=1.038）下表现出大幅降低的熵（H=0.753）。Ablation no-S0条件（γ=0.979，H=0.788）仅有N=5个种子，提供了与该趋势一致的额外数据点。

## 4 讨论

缺失的中间区域。经验前沿是双峰的：条件聚集在非常低或非常高的γ处，中间区域采样稀疏。这反映了当前的实验实践——自评估（γ≈0）和强外部评估（γ>0.9）是主导范式。有意识设计具有中间耦合的评估器（例如弱评估器、具有部分偏差抵消的集成评估器）将填补该区域，并能够更精确地刻画权衡曲线。

GPT-4o版本漂移。四个GPT-4o条件均表现出γ=0.000和H=1.000——评估器对智能体的策略分布施加零可测量的影响。这与Anonymous (2026b)中记载的版本漂移一致：GPT-4o的2026年5月版本表现出强耦合（γ≈1.176），而2026年6月版本则没有。从权衡的角度来看，这使GPT-4o同时成为最“无偏”和最“不可靠”的评估器——其排名与智能体策略无关，不提供任何评估信号。

局限性。我们的调查有三个主要局限。首先，所有条件都来自单一研究小组的实验，限制了普适性。需要以不同模型、任务和协议进行独立复现。其次，具有完整指标的5种条件的样本量不足以可靠估计权衡曲线的函数形式。第三，GPT-4o条件产生退化指标（γ=0，H=1），这可能反映了API版本伪迹而非真实的评估器行为；这些条件应使用稳定的API版本或其他评估器模型重新测量。

基准发布。我们以标准化JSON数据集（补充材料中的p16_data.json）发布所有条件指标。每条记录包含条件名称、γ均值和标准差、H均值、标准差和范围、CV(N=5)以及种子数。我们鼓励社区使用标准化流程向该基准贡献额外的评估器–智能体条件，遵循Liang等人 (2023)建立的多指标LLM评估模型。

## 5 结论

一项对偏差-可靠性权衡的11种条件实证调查确认，在多种评估器–智能体对中，评估器耦合（γ）与测量可靠性（CV）呈负相关，r(H,γ)=−0.989（n=5个完整条件）。数据显示双峰经验前沿——自评估位于低γ、高CV端，强外部评估位于高γ、低CV端——中间区域采样稀疏。GPT-4o的2026年6月版本表现出零可测量的评估器耦合，与记载的版本漂移一致。所有数据作为公共基准发布。

## 更广泛影响声明

本文使用定量指标刻画评估器行为。该框架可能被滥用于为有偏评估辩护（“高γ是可接受的，因为它提高了可靠性”），我们对此明确警告：权衡应促使对无偏评估器使用更大的样本量，而不是接受偏差。基准数据集可用于比较评估器模型；此类比较应考虑到API版本效应（如GPT-4o漂移所示），并且不应被视为随时间稳定。

## 可复现性声明

所有数据均来自Anonymous (2026b)的公开数据集。来自Anonymous (2026a)的分析流程（triangle_verification.py）包含在补充材料中。条件级基准数据集（p16_data.json）以机器可读的JSON格式提供。

## 参考文献

- Anonymous (2026a). The Bias-Reliability Tradeoff in LLM Evaluation: A Conjectured Impossibility Triangle. TMLR submission, 2026.
- Anonymous (2026b). A Diagnostic Framework and Multi-Evaluator Audit of Evaluator-Driven Preference Dynamics. TMLR submission, 2026.
- Anonymous (2026c). N-Sensitivity: Small-Sample Measurement Instability as a General Property of Complex Evaluation Systems. TMLR submission, 2026.
- Liang et al. (2023). P. Liang, R. Bommasani, T. Lee, et al. Holistic Evaluation of Language Models. TMLR, 2023.
- Zheng et al. (2023). L. Zheng, W.-L. Chiang, Y. Sheng, et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS, 2023.