平均偏差：人类忠实性标注并非局部忠实

arXiv:2608.00205v1 公告类型：新 摘要：文本摘要的忠实性评估将模型生成的摘要视为忠实，仅当其每个句子都得到源文档支持：这是一种严格的合取规则，在该规则下，一个不支持的句子就会使整个摘要变得不忠实。然而，大多数忠实性基准只为每个摘要收集一个全局人类标注标签。我们询问这些全局人类标签是否真的实现了合取规则。我们假设，标注者可能在大多数句子忠实时（而非所有句子都忠实时）就接受摘要为忠实。为了验证这一假设，我们使用五个大型语言模型（LLM）评判器作为逐句评分器，覆盖四个广泛使用的忠实性基准。我们发现，全局人类标签与逐句LLM判断的平均值的相关性，优于与严格合取规则实现的相关性。人工审查证实，相当一部分被人类标注为忠实的摘要包含真实的局部事实错误。我们将这种倾向称为平均偏差（Averaging Bias）。我们的结果表明，广泛使用的忠实性基准上的人类标签包含可测量的平均偏差，这呼吁为可信的人类标注设计精心结构化的方案。

# 平均偏差：人类忠实性标注并非局部忠实

来源：https://arxiv.org/html/2608.00205

Huajian Zhang†，Yiyang Feng†，Jiawei Zhou  
† 表示同等贡献。  
{huajzhang, yiyfeng, jiawei.zhou.1}@cs.stonybrook.edu  
Stony Brook University

###### 摘要

文本摘要的忠实性评估将模型生成的摘要视为忠实的，仅当它的*每一个*句子都得到源文档支持：这是一种严格的*合取规则*，在此规则下，一个没有支持的句子就足以使