基于预测驱动推理的统计可靠LLM排名评估

# 通过预测驱动推理实现统计可靠的基于LLM的排序评估
来源：https://arxiv.org/html/2606.05308

###### 摘要

通过 PRECISE¹，我们将预测驱动推理（Prediction-Powered Inference）扩展，通过将少量人工标注集与大量LLM判断集结合，产生排序评估指标的无偏校正估计。无论LLM裁判的错误分布如何，PPI在理论上都是无偏的。我们将其应用于像Precision@K这样的分层指标——其中标注基于文档，但指标基于查询——通过将输出空间计算从O(2^|C|)减少到O(2^K)。在ESCI基准上，使用Claude 3 Sonnet判断增强30个人工标注，将Precision@4估计的标准误差从4.45降低到3.50（相对减少21%）。在一个生产系统中，我们的框架从100个人工标签和2小时的领域专家标注中正确识别了三个系统变体中的最佳方案；A/B测试以每日销售额+407 bps的速度确认了这一排名。

¹扩展摘要；参见完整PRECISE论文：https://doi.org/10.1609/aaai.v40i47.41427

## 1 引言

人工评估成本高昂，但较小的标注集会产生宽置信区间，无法区分真正的系统改进与噪声。LLM作为裁判（LLM-as-a-Judge）的方法试图解决这一问题，但带有系统性偏差，当用作人工标注的替代品时会扭曲评估指标（Chen等，2024）。

大多数先前工作通过提示工程、微调或多智能体辩论来构建更好的裁判，以解决这一矛盾。我们采用了一种正交的方法：接受LLM裁判存在偏差，并从统计上校正偏差。我们的框架扩展了预测驱动推理（PPI；Angelopoulos等，2023），这是一种半监督估计方法，它结合了一个小的黄金集（人工标签）和一个大的LLM标注集。黄金集衡量裁判的系统性误差并对其进行校正。由此产生的估计在理论上无偏，每个额外的LLM判断示例都会降低指标估计的方差，而不会引入新的偏差。

一个挑战出现在对于将细粒度判断聚合成更高级别分数的指标：对于Precision@K，人工标注是按文档收集的，但指标是按查询计算的。标准PPI无法处理这种粒度不匹配的问题。我们通过对输出空间进行稀疏重构（§2）来解决这个问题，并在公共基准和生产A/B测试（§3）上进行了验证。

## 2 方法

设D_g = {(x_g^(i), y_g^(i))}_{i=1}^n 是一个带有人工标签的小型黄金集，D_u = {x_u^(i)}_{i=1}^N 是一个由LLM M标注的大型集合（N >> n）。PPI++估计量（Angelopoulos等，2024）评估：

μ̂_PPI = λ/N ∑_{i=1}^N μ̃_u^(i) ⏟ LLM基础估计 + 1/n ∑_{i=1}^n [φ_i - λ μ̃_g^(i)] ⏟ 偏差校正 (1)

其中φ_i是第i个黄金查询上的人工基准指标，μ̃_u^(i), μ̃_g^(i)是通过对裁判的输出分布进行边际化得到的基于LLM的指标估计。参数λ∈[0,1]被调优以最小化μ̂_PPI的方差；对于任何λ>0，该估计量保持无偏。

偏差校正项（第二个求和项）衡量LLM裁判在黄金集上偏离人工真实值的程度，然后从仅LLM的估计中减去该偏差。当LLM校准良好时，设置λ≈1允许完整的未标记集驱动方差减少。当LLM偏差较大时，我们可以将λ缩小到≈0，估计量依赖于黄金估计。

### 分层指标

对于Precision@K，标注在查询-文档级别进行，但指标是按查询计算的。朴素的PPI输出空间是{0,1}^|C|（每个语料库文档一个二元相关性变量），当|C|达到数百万时，这在计算上是难以处理的。

我们观察到Precision@K仅依赖于前K个检索到的文档；因此，它简化为稀疏向量上的缩放点积：φ(ŷ, y) = ŷ^⊤ y / K。因为只有K个位置有贡献，所有未检索文档的概率质量合并为全零K向量的单一权重。这使输出空间减少到{0,1}^K。

对于每个查询，LLM裁判为第k个排名结果提供逐文档相关概率 p̃'(d_k)。我们假设文档间条件独立，形成K长度二元向量的联合分布：

p̃(y) = ∏_{k=1}^K p̃'(d_k)^{y_k} (1 - p̃'(d_k))^{(1 - y_k)} (2)

其中y_k是y ∈ {0,1}^K的第k个元素。然后，通过将φ(ŷ, y) · p̃(y)对所有2^K个向量求和，计算式(1)中的基于LLM的估计μ̃^(i)。对于典型的K≤10，这个和是可行的。

## 3 结果

我们在ESCI检索基准（Reddy等，2022）上进行了验证，使用Claude 3 Sonnet和Haiku作为LLM裁判，n=30个黄金标注，N=60,000个未标记查询。

参见说明 图1：ESCI上Precision@4的采样分布（N=60K，Claude 3 Sonnet）。顶部：n=30；底部：n=100。PPI（绿色）比仅黄金集（红色）更窄，并以真实值（黄色虚线）为中心。仅LLM估计（青色、蓝色）有偏。

表1：ESCI上Precision@4估计（n=30黄金，N=60K LLM判断）。Sonnet将标准误差从4.45降低到3.50（相对减少21%）；Haiku以12倍更低的成本实现了最低偏差。

### 方差减少与成本

表1显示，使用Sonnet的PPI将标准误差从4.45降低到3.50（相对减少21%），同时保持低偏差（0.70对仅黄金集的1.04）。Haiku在12倍更低推理成本下实现了相当的质量（SE：3.86，偏差：0.29）。图1说明了原因：PPI采样分布（绿色）比仅黄金集（红色）更窄，因为LLM信号减少了方差，并且由于偏差校正项去除了裁判的系统误差，它仍然以真实值（黄色虚线）为中心。另外，我们发现框架在未标记与黄金比例达到100倍时趋于平稳：N=3,000个LLM查询与N=60,000个（n=30个标记示例）提供的标准误差几乎相同。

### 生产A/B测试

在一个人工搜索系统中，我们的Precision@K公式利用n=100个人工标签和N=8,400个LLM判断（在2小时的专家标注内产生）对三个系统变体（C、T1、T2）进行了排名。预测的排名（T1 > T2 > Control）通过A/B测试得到确认：T1在每日销售额上产生了+407 bps，在点击率上产生了+571 bps。没有PPI校正时，仅LLM估计无法区分变体，因为系统性向上偏差类似地抬高了所有估计；引入半监督估计通过校正这种偏差恢复了区分能力。

尽管我们在Precision@K上进行了验证，但分层公式原则上适用于任何聚合细粒度判断的指标（例如，逐声明真实性、逐回合对话质量）。

## 4 未来工作

几个有前景的方向仍有待未来工作。我们描述其中几个。

**合成协变量**。过度依赖人工标签是我们估计方法的一个主要缺点。LLM生成的合成数据集可以从固定但黄金标签开始，并提供良好的文本协变量，这些协变量可能仍可用于估计（Yu等，2023；Kowshik等，2024）。

**双重稳健估计**。Oosterhuis（2023）与LLM偏差共享理论基础，可能提供实时、偏差校正指标推断的途径。采用这一范式将为我们的方法实现在线评估。

**多个裁判**。一条互补的工作线聚合多个LLM裁判的判断，这可能比单一模型更接近人工评分（Zheng等，2023）。然而，另一种选择——将多个评分标准折叠到单个裁判提示中并联合调优——在实践中被证明是脆弱的（Darshan和Divekar，2026）。因此，我们方法的一个自然扩展是采用多目标优化程序，而不是依赖单一的通用评估器。

**代理批评者**。代理系统越来越多地依赖基于LLM的批评者来评分和改进自己的输出（Yuksekgonul等，2025；Rudman等，2026），然而这些批评者继承了PRECISE所校正的相同偏差。将我们的方法扩展到从最小人工标签中产生校准的批评信号，是实现更可靠的代理优化的一个有前景的方向。

## 致谢

Anirban Majumder对本文的原始版本做出了贡献（Divekar和Majumder，2026）。

## 伦理声明

生产A/B测试中的所有用户查询在由LLM裁判或人工标注员处理之前都已匿名化，以移除个人身份信息。人工标注由领域专家在正常工作时间内作为其常规职责的一部分进行；未使用众包劳动力。该框架减少了（但并未消除）对人工标注的需求；它并非旨在完全取代人工评估，而是让少量人工标注预算发挥更大作用。

## 局限性

我们的框架有三个局限性。首先，我们仅在检索任务的Precision@K上验证了分层PPI扩展；推广到其他分层指标（例如逐声明真实性、逐回合对话质量）尚未经过测试。其次，式(2)中跨文档的条件独立性假设在一个文档的相关性依赖于另一个文档是否存在时（例如多样性敏感排序）可能不成立；放松这一假设留待未来工作。第三，该框架需要一个小型黄金集，其分布与未标记集相同；黄金查询与未标记查询之间的分布偏移（例如来自时间漂移）可能会降低偏差校正的效果。

## 参考文献

- A. N. Angelopoulos, S. Bates, C. Fannjiang, M. I. Jordan, and T. Zrnic (2023). Prediction-powered inference. *Science* 382(6671), pp. 669–674. External Link: Link (https://doi.org/10.1126/science.adi6000) 被引用于：§1.
- A. N. Angelopoulos, J. C. Duchi, and T. Zrnic (2024). PPI++: efficient prediction-powered inference. External Link: 2311.01453, Link (https://arxiv.org/abs/2311.01453) 被引用于：§2.
- G. H. Chen, S. Chen, Z. Liu, F. Jiang, and B. Wang (2024). Humans or LLMs as the judge? a study on judgement biases. In *Proc. of EMNLP 2024*. External Link: Link (https://aclanthology.org/2024.emnlp-main.474/) 被引用于：§1.
- P. Darshan and A. Divekar (2026). When gradients collide: failure modes of multi-objective prompt optimization for LLM judges. External Link: 2605.26046, Link (https://arxiv.org/abs/2605.26046) 被引用于：§4.
- A. Divekar and A. Majumder (2026). PRECISE: reducing the bias of LLM evaluations using prediction-powered ranking estimation. *Proc. of AAAI 2026*. External Link: Link (https://ojs.aaai.org/index.php/AAAI/article/view/41427), Document (https://dx.doi.org/10.1609/aaai.v40i47.41427) 被引用于：致谢.
- S. S. Kowshik, A. Divekar, and V. Malik (2024). CorrSynth – a correlated sampling method for diverse dataset generation from LLMs. In *Proc. of EMNLP 2024*, Y. Al-Onaizan, M. Bansal, and Y. Chen (Eds.), Miami, Florida, USA, pp. 16076–16095. External Link: Link (https://aclanthology.org/2024.emnlp-main.899/), Document (https://dx.doi.org/10.18653/v1/2024.emnlp-main.899) 被引用于：§4.
- H. Oosterhuis (2023). Doubly robust estimation for correcting position bias in click feedback for unbiased learning to rank. *ACM Trans. Inf. Syst.* 41(3). External Link: ISSN 1046-8188, Link (https://doi.org/10.1145/3569453), Document (https://dx.doi.org/10.1145/3569453) 被引用于：§4.
- C. K. Reddy, L. Màrquez, F. Valero, N. Rao, H. Zaragoza, S. Bandyopadhyay, A. Biswas, A. Xing, and K. Subbian (2022). Shopping queries dataset: a large-scale ESCI benchmark for improving product search. External Link: 2206.06588, Link (https://arxiv.org/abs/2206.06588) 被引用于：§3.
- W. Rudman, A. Divekar, K. Jain, S. Joseph, S. S. R. Offner, M. Lease, K. Mahowald, G. Durrett, and J. J. Li (2026). VESTA: visual exploration with statistical tool agents. External Link: 2606.00384, Link (https://arxiv.org/abs/2606.00384) 被引用于：§4.
- Y. Yu, Y. Zhuang, J. Zhang, Y. Meng, A. Ratner, R. Krishna, J. Shen, and C. Zhang (2023). Large language model as attributed training data generator: a tale of diversity and bias. In *Proc. of NeurIPS 2023*. External Link: Link (https://dl.acm.org/doi/10.5555/3666122.3668555) 被引用于：§4.
- M. Yuksekgonul, F. Bianchi, J. Boen, S. Liu, P. Lu, Z. Huang, C. Guestrin, and J. Zou (2025). Optimizing generative AI by backpropagating language model feedback. *Nature* 639, pp. 609–616. External Link: Link (https://www.nature.com/articles/s41586-025-08661-4) 被引用于：§4.
- L. Zheng, W. Chiang, Y. Sheng, S. Zhuang, Z. Wu, Y. Zhuang, Z. Lin, Z. Li, D. Li, E. P. Xing, H. Zhang, J. E. Gonzalez, and I. Stoica (2023). Judging LLM-as-a-judge with MT-bench and chatbot arena. In *Proc. of NeurIPS 2023*. External Link: Link (https://dl.acm.org/doi/10.5555/3666122.3668142) 被引用于：§4.