基于策略性标注的人类锚定事实性评估

# 基于人类锚定的事实性评估与策略性标注
来源：https://arxiv.org/html/2609.00494
###### 摘要

基于大语言模型的事实性裁判能提供可扩展的评估信号，但其指标相对于人类判断往往存在系统性偏差。我们研究了在有限标注预算下进行人类锚定的事实性评估，其中对完整数据集的裁判预测与对少量选择性采样子集的人类标注相结合，以获得统计上有效的估计。该方法的效率关键取决于哪些样本获得人类标注：在事实性评估中，裁判与人类的不一致并非仅由低置信度驱动，也源于结构化的失败模式，如证据不完整、时间不匹配、主张无法验证以及评分标准不一致。为利用这一结构，我们引入了一个事实性专属的标注策略设计流程，使用故障空间分析（FSA）来推导多样的预测信号，以建模裁判-人类不一致。在内部基于参考的事实性评估系统（AutoFA）和RAGTruth（其中裁判预测估计显著低估了人类标注的事实准确率）上，我们的FSA引导策略相较于均匀采样和基于不确定性的基线提升了标注效率，在AutoFA上实现40.3%的有效样本量增益，在RAGTruth上实现27.1%的增益。

22脚注文本：现就职于微软。## 1引言

事实性评估是大语言模型部署于用户交互系统时反复出现的关注点。在生产环境中，团队依赖事实准确率来衡量系统质量（例如大语言模型、提示、基于检索的生成），监控性能回退，并基于既及时又统计可靠的评估数据做出发布决策。人类标注仍然是衡量事实准确率最受信赖的方式，但成本高昂且速度缓慢。收集足够的标签以获得窄置信区间需要大量标注预算，并引入操作延迟。这就在评估质量与评估效率之间产生了实际矛盾。

LLM裁判系统提供了一种扩展事实性评估的可行方式（Min等人，2023；陈等人，2023；牛等人，2024；魏等人，2024；宋等人，2024）。给定查询、回复和参考证据，裁判可以将回复分解为多个主张，依据证据进行验证，并产生比人类标注者规模大得多的事实性标签。然而，裁判预测的事实性估计不一定以人类为锚（郑等人，2023；王等人，2024）。在基于参考的事实性评估中，裁判的错误通常是系统性的而非随机的。当参考不完整、过时、冲突或间接支持时，裁判可能会拒绝合理的答案。它也可能应用比人类标注者更字面的验证标准。因此，即使裁判作为代理信号是有用的，将裁判预测视为真值也可能产生有偏的事实准确率估计。

本文研究了在预算标注设置下的事实性评估。给定大量评估项目，LLM裁判为所有项目提供代理事实性预测，而只有一小部分能获得人类标注。目标是估计人类定义的事实准确率（FAR），要求有效的不确定性量化，并且方差低于仅使用均匀采样人类标注。我们采用主动统计推断（ASI）（Zrnic和Candes，2024），它将裁判预测与来自样本子集的人类修正相结合。ASI保持了以人类为锚的目标，但其效率关键取决于标注策略——人类标签应分配给裁判最可能与人类不一致的样本。

事实性残差通常是结构化的，而非在样本间均匀分布。现有的基于置信度的方法（Gligorić等人，2025）使用裁判表达的不确定性作为采样信号，但裁判-人类不一致并非仅由低置信度驱动。当证据不完整、时间不一致或仅间接支持，且回复需要释义、推理或评分标准容错时（人类和裁判处理方式不同），裁判可能在高置信度下与人类不一致。为利用这种结构，我们使用*故障空间分析*（FSA）构建标注策略，这是一种事实性专属的策略设计流程，从裁判输出、证据质量、任务与输入分层以及答案-标准对齐中推导预测信号，然后将其转化为ASI采样策略。

我们在两个基准测试上评估了该框架：一个用于虚拟助手回复的内部自动事实性评估系统（AutoFA），以及一个带有逐人类标注的公共幻觉基准RAGTruth。在两种设置中，裁判预测的FAR显著低估了人类标注的FAR，采用FSA推导的策略在保持期望覆盖的同时，提升了相对于均匀采样和基于置信度采样的标注效率。在不同预算上综合来看，FSA引导的ASI在AutoFA上实现了平均40.3%的有效样本量增益，在RAGTruth上实现了27.1%的增益。

总结而言，我们的贡献有三方面。首先，我们将基于参考的事实性评估表述为一个在有限标注预算下以人类为锚、裁判辅助的推断问题。其次，我们引入故障空间分析作为实际的策略设计层，用于识别事实性特有的裁判-人类残差风险。第三，我们在内部和公共事实性场景中都证明，FSA引导的ASI能够恢复人类定义的评估目标，同时提升了相对于均匀和基于置信度替代方案的标注效率。这些贡献共同使得在完全人工标注不可行且仅裁判指标可能存在系统性偏差的实用评估流程中，实现可靠且成本高效的事实性测量成为可能。

## 2背景

### 2\.1问题设定

我们首先为简短查询-回复对设定基于参考的事实性评估问题，同时指出所提出的方法可以自然地扩展到长文本场景。每个评估项目包括一个查询$q_i$、一个模型回复$a_i$以及通过检索、策划来源或现有评估流程获得的参考证据$e_i$。我们将可观察输入记为$X_i=\{q_i, a_i, e_i\}$，并将每个$X_i$的人类标注事实性标签记为$Y_i$。在实践中，$Y$通常不是直接的裁定，而是经过验证的原子主张或检测到的幻觉片段。

在本文中，我们重点关注*事实准确率*（FAR）[^1]，其定义为：

$$\theta = \mathbb{E}[\phi(X, Y)] \quad (1)$$

其中$\phi(X_i, Y_i)$表示第$i$项的事实正确性。

[^1]: 如果LLM裁判提供的证据是提供给答案生成器的基础，那么FAR衡量的是忠实率。

### 2\.2预算标注下的裁判辅助事实评估

虽然人类标注的FAR通常被视为真值，但获取人类标签成本高且速度慢，难以扩展以得出统计显著的结论。另一方面，自动事实评估可以大规模产生裁判预测，但获得的FAR通常是有偏的。这促使我们研究一个预算化的、裁判辅助的事实评估问题，我们将丰富的裁判预测与有限的人类标签相结合，形成一个统计上有效且更高效的估计量。

给定$N$个数据点，LLM裁判为所有项目提供预测，记为$f(X)$，而只有$n_{\text{bgt}} \ll N$个项目可以送交人类标注。我们采用主动统计推断（ASI）（Zrnic和Candes，2024），它从标注策略（记为$\pi(X)$）中选择标注子集。

令$\xi_i \sim \text{Bernoulli}(\pi_i)$指示项目$i$是否接受人类标签，其包含概率为$\pi_i$。ASI通过以下公式估计FAR：

$$\hat{\theta}^{\text{ASI}} = \frac{1}{N} \sum_{i=1}^{N} \left[ \phi_i^f + \frac{\xi_i}{\pi_i} (\phi_i^h - \phi_i^f) \right]$$

其中$\phi^f$和$\phi^h$分别表示裁判预测和人类标注的事实正确性。

信号族 | 代表性信号
--- | ---
裁判输出产物（F1） | 主张/片段结构、验证或幻觉比例、无法验证的输出、自我反思或置信度。
证据与参考质量（F2） | 参考支持强度、参考冲突、来源新鲜度、直接与间接支持。
任务与输入分层（F3） | 任务或领域类型、查询类别、时间敏感或位置上下文指标。
答案-标准对齐（F4） | 主张重要性、完整性与正确性、过度精确或辅助细节、释义/推理容错性。
表1：残差风险策略设计的故障空间信号族。表格列出了代表性的预标注信号，而非详尽的特征集。
### 2\.3统计效率

得出有统计意义的结论不仅需要以正确的人类定义指标为目标，还需要在有限的标注预算下以低方差估计该指标。我们比较本文核心的三个估计量。*经典*估计量$\hat{\theta}^h = \frac{1}{n_{\text{bgt}}} \sum_{i:\xi_i=1} \phi_i^h$，仅使用$n_{\text{bgt}}$个均匀随机采样的已标注样本。它对人类定义的FAR是无偏的，但在小标注预算下可能噪声很大。*裁判预测*估计量$\hat{\theta}^f = \frac{1}{N} \sum_{i=1}^{N} \phi_i^f$，使用所有$N$个样本的裁判预测，因此方差低，但当裁判与人类系统性不一致时，它是有偏的。

ASI估计量保持以人类为锚。然而，其方差依赖于策略，并与$\mathbb{E}[\Delta^2 (1/\pi(X) - 1)]$成比例，其中$\Delta = \phi^h - \phi^f$是裁判-人类残差（Zrnic和Candes，2024）。因此，高效的标注需要将更高的采样概率分配给具有更大预期残差的样本，这激励了下一节的故障空间分析。

## 3FSA引导的策略设计

高效的ASI需要将人类标签分配给具有较大预期裁判-人类残差的样本。在理想情况下，最优策略与条件残差幅度成正比，

$$\pi^\star(X) \propto \sqrt{\mathbb{E}[\Delta^2 \mid X]}$$

然而，由于在标注前$\phi^h$不可用，实际的策略设计问题是从预标注信息中预测残差风险：查询$q$、回复$a$、参考证据$e$和裁判输出$f(X)$。

直接从原始文本建模残差风险很困难，且通用不确定性通常不足以用于事实性评估。因此，我们引入*故障空间分析*（FSA），一种事实性专属的流程，用于推导结构化特征$Z(X, f(X))$，以暴露裁判-人类可能发生不一致的地方。FSA将候选策略信号组织成四族，总结于表1：*裁判输出产物*、*证据与参考质量*、*任务与输入分层*以及*答案-标准对齐*。这些信号共同不仅捕捉了裁判是否不确定，还捕捉了证据是否不完整或过时、查询是否属于困难切片，以及回复是否需要裁判与人类处理方式可能不同的推理或标准容错。

在操作上，FSA使用一个历史标注集，其中裁判输出和人类标注都可用。我们计算残差目标$\|\Delta\|$，从预标注产物中提取数值特征，并训练一个策略模型来预测残差风险。生成的分数被转换为采样概率，以便将标注预算集中在裁判最可能与人类不一致的样本上。流程概述总结并展示于图1。然后我们在4.2节和4.3节全面展示了这个流程。

参考标题 图1：人类锚定的事实评估流程概述。\[1\]系统开发：人类专家设计并迭代优化LLM裁判系统，该系统接受用户查询（$q$）、模型答案（$a$）、检索证据（$e$）并预测事实正确性。我们认为此步骤为上游，完成后保持固定。\[2\]校准数据的故障空间分析（FSA）：利用历史标注数据分析裁判的失败模式，这些模式分布于四个主要类别。\[3\]策略学习：基于故障类别提取数值特征，并通过交叉验证进行选择。训练一个回归模型，基于所选特征预测记录的风险，该风险进一步转化为采样策略。高风险记录被分配更高的概率被抽样进行人类标注。\[4\]ASI估计：给定大小为$N$的新测试数据集，其中$n$（标注预算）个样本通过策略被抽样并送交人类标注，而所有数据接收裁判预测。ASI估计器结合裁判预测和人类标签，产生以人类为锚的事实准确率（FAR）和置信区间（CI）。
## 4实验

### 4\.1评估设置

我们研究两种事实性裁判设置，涉及不同的裁判架构、数据格式和裁判输出结构。

#### 自动事实准确率（AutoFA）

AutoFA是一个内部的基于参考的事实性评估系统，用于语音助手回复。给定用户查询和模型回复，三个参考答案由支持搜索的大语言模型生成。裁判将回复分解为可验证的主张，对照参考对每个主张进行事实核查，并产生整体事实性裁定，参考SAFE（魏等人，2024）和VeriScore（宋等人，2024）。主张级和回复级输出可以是“真”、“假”或“未知”。我们使用$N=2338$个回复，FAR定义为在具有明确裁定的样本中被评为事实正确的回复比例。

#### RAGTruth

RAGTruth（牛等人，2024）是一个带有逐人类标注的公共幻觉基准。我们使用$N=2937$个GPT-4-0613在问答、摘要和数据到文本生成任务中的回复。我们评估Claude Sonnet 4.6作为裁判。