立场：每一个真实标准都是人为构建的，而非客观真理

# 立场：每一份基准真值都是人类构建的，而非客观真理来源：https://arxiv.org/html/2607.09668

###### 摘要

基准真值数据集在机器学习模型的训练和评估中扮演着参考值的核心角色。本文的立场在于，基准真值并非天然呈现的中立客观度量，而是由人类与技术共同安排构建而成。我们认为，机器学习社区若能阐明并讨论这些通常不可见或未被报告的选择，并承认参考数据集是情境性的而非普适性的，将大有裨益。关注基准真值的境遇性和上下文依赖性，能够提升可靠性，使我们更明智地判断数据集及其所塑造的模型在何时、何地以及如何被最佳使用。我们主张提升“境遇性可靠性”，包括阐明模型及其真值主张的局限与优势。最后，更多关注基准真值的构建过程，有助于增强透明度、问责制与跨学科工作。

## 1 引言

在机器学习（ML）的研究与发展中，“ground truth”（基准真值）这一术语通常指包含某一概念真实值的数据集（Kang, 2023），这些数据集被用于训练和评估ML模型。一个常被忽视的方面是，这些基准真值并非天然呈现的中立客观度量。我们所有的“真值”都是被构建出来的。\\comment为强调这种偶然性，本文中我们将ground truth用作可数名词，以突显一个ML项目的基准真值仅是众多潜在基准真值之一。构建基准真值涉及的工作远不止于与领域知识对齐，但这些额外的选择及其后果往往未被讨论或报告。

请参见图注：图1：每个基准真值都是多项决策的结果，而非单一客观真理。不同的路径对同一任务会产生不同的基准真值（GT1, GT2, GT3, ...）。

我们的立场是：基准真值是被构建出来的，ML研究者应阐明其构建过程中所涉及的选择，并讨论这些选择对结果产生的影响。

“ground truth”这一概念有多种定义方式。该术语自1960年代起用于遥感领域，并已被计算机科学、工程学、心理学、神经科学和经济学等多个领域采纳（Woodhouse, 2021）。一种观点将基准真视作在源头收集的基础性、真实或底层事实。在遥感中，它被定义为“通过地面直接测量获得的信息，而非通过解释远程数据获取”（Woodhouse, 2021）。一个更包容的定义是“通过直接观察真实系统获得的信息，而非来自模型或模拟；一套被认为准确可靠的数据，用于校准模型、算法或程序”（Woodhouse, 2021）。Kang（2023）认为，该概念基本上指的是在ML模型开发中被假定为真实的信息。我们采用Jaton（2017）的定义：基准真值是“ground truthing”（基准真值构建实践）的结果，这种实践界定了要解决的问题、输入值以及期望的输出目标应为何（Jaton, 2021, 2017）。在本文中，我们指出基准真值是多项决策的结果——这些决策涉及哪些知识来源是合法的、如何解释观察结果、记录哪些数值、由谁作出并验证这些归属（如图1所示）。所有这些决策与情境实践都会影响最终被接受的基准真值。因此，“ground truth”是一个黑箱术语，内含关于人员、技术和概念的纳入与排除的众多组成决策。打开这个黑箱意味着认识到基准真值的偶然性——即“它本可能不同”这一方面。这促使我们去思考替代性基准真值的可能性。当我们认识到基准真值是复数且被生产出来的，我们就能思考：由于基准真值具有情境性、偶然性和境遇性，由此得出的ML结果的合法性（或至少是广泛适用性）可能会受到怎样的削弱。

我们的出发点是：基准真值并非预先存在的实体，而是为了适配ML模型所解决的任务而被构建出来的（Jaton, 2017）。它们不纯粹是技术性的、机器制造的、数字对象或自然事实。相反，正如其他领域中通过专业视角所产生的数据（Goodwin, 1994），它们是人类的建构物（Jaton, 2024），由假设、组织、流程和技术的使用所形成。将现实世界扁平化为基准真值数据集，需要一系列涉及问题表述、设备、设置、专业知识、条件和认识论的选择与实践。它是通过编码、强调和生成物质表征来进行知识制作的一种版本（Goodwin, 1994）。这也适用于使用先前收集的“现实世界”数据（如医疗记录）的情况——既包括这些数据在医疗系统中的初始创建，也包括选择哪些数据、变量和标签的决策。

通过拆解基准真值的黑箱，我们希望突显为机器学习创建基准真值这一具有挑战性且必要的工作。我们敦促机器学习社区停止将基准真值视为中立、客观且预先存在的值。\\comment由于基准真值数据集并非中立的真实仓库，我们希望强调它们是通过多种实践被制造出来的，这些实践通常需要跨学科沟通和共同理解，在联合创造与合作中完成。此外，我们强调需要解构“专家标注者”这一概念，并比较将其视为“神谕”与视为“传感器”的不同观点，以及将众包作为标签来源的重要方面。我们鼓励承认并反思基准真值如何（必然地）是意图性的创造。这些实践将会通过以下方式提升基准真值的质量，从而提高ML模型的可靠性：（1）增加在协作和审慎实践中产生的基准真值的境遇性，从而提升其精确度；（2）使我们能够质疑特定基准真值在ML模型训练中的适用性边界。

我们呼吁将基准真值视为境遇性的、具体的、偶然的和上下文相关的——这会使它更好、更精确、更有用——但同时也会将其可用性限定在特定语境中。这种视角还能减少对数据集的未加批判的采用，避免用于不当用例。认识到基准真值构建工作的价值，也有助于跨学科合作，并提升评估、透明度和技术采纳水平。

尽管基准真值数据集如何被制作和（误）用的某些方面先前已有讨论，但目前围绕基准真值构建的认知水平仍然不足。这尚未导致就如何描述和传达基准真值数据中那些依赖于情境的、境遇性的相关方面达成共识——而如果采用不同的数据构建决策，这些方面本可能改变我们的结论。目前仍缺乏标准词汇或文档方法来表达这些局限性，也缺乏标准实践来比较不同选择（例如关于谁作为标签的来源）所带来的影响。我们希望本文通过其推荐行动、对话以及将“数据收集”视为“数据构建”的研究者训练，能够加强社区对数据集及其（不）正当使用的理解。

在本文中，我们首先在第2节讨论为什么这个话题重要，并回顾相关研究（第3节），然后在第4节描述构建基准真值的不同方法（通过“构建场地”这一概念）。在那里我们分析不同类型参考值（如直接测量、专家解释、众包共识和合成数据）的基准真值构建。在第5节，我们讨论在基准真值构建中达成共识时沟通与协作的方面。最后，我们以行动呼吁（第6节）和替代性观点（第7节）作结，随后是结论总结（第8节）。

## 2 为什么基准真值的清晰性很重要

我们主张需要承认基准真值是被构建的，并且该过程（必然地）是创造性的、解释性的、偶然的，因此是主观的。\\comment总结我们之前的论点：基准真值构建不是对中立客观事实的被动捕获与再现，数据集和标签并非自然界的镜像。那些影响基准真值构建的决策、选择、假设、条件及其他因素需要被可视化。基准真值的偶然性也需要被公开讨论和反思，因为每个基准真值本可以以不同方式构建，并导致截然不同的结果。这一点之所以重要，是因为基准真值对ML模型的开发、评估和功能施加着影响。毕竟，基准真值构建是“一个任务边界设定的过程，也是一种有意的偏向形式，它硬性划定了算法的极限以及ML系统可能输出结果的范围”（Kang, 2023, p. 3）。它对我们的世界观以及ML模型在世界中的作为都施加了大量限制。为基准数据集所做的基准真值选择可能产生巨大的影响，且会回响数十年。例如，基准数据集MNIST中的数字图像（LeCun et al., 1994）在1990年代因当时计算机的资源限制，从128×128像素缩小到了28×28像素（LeCun et al., 1998）。这导致成千上万个仅能在28×28像素图像上运行的数字分类器被训练出来。这些分类器无法分类1992年的原始全分辨率图像，更不用说当今更高分辨率扫描仪生成的图像了——尽管现代计算环境的内存和计算资源高出数个数量级。如今新采集的数字图像不得不被缩小到这种人为微小的尺寸，才能适配基于MNIST的分类器——这一切仅仅因为1990年代构建数字基准真值时的一个选择。

不承认基准真值是被构建且受多重因素影响，会带来什么后果？对情境的无知可能导致不恰当或“超说明书”（Shimron et al., 2022）地使用基准真值，从而产生严重的负面甚至有害影响。例如，创建开放获取MRI基准真值时未记录的数据处理步骤人为地简化了问题，导致模型应用于新采集的MRI数据时性能惊人地下降了47%（Shimron et al., 2022）。皮肤科领域模糊的标注流程可能导致高估准确性，从而将患者置于风险之中（Stutz et al., 2025）。此外，盲目使用预先存在的基准真值可能不会产生新知识，而仅仅是复现当前实践和领域专业知识（Henriksen and Bechmann, 2020）。同样存在一个悖论：在旨在超越人类能力时，却使用人类生成的基准真值进行训练和评估（Henriksen and Bechmann, 2020; Högberg, 2025）。而且，基准真值所谓的普适性（即它们在不同情境和领域中都有效）往往不成立（Lee and Ribes, 2025）。例如，著名的UCI Adult数据集最初是为了演示一个数据可视化工具而收集的，但已被远远超出此范围地使用，这显示了基准数据集的语境漂移（Kohavi, 2025）。

我们认识到，基准真值构建是使ML开发与评估成为可能的一个必要且务实的步骤（Kang, 2023），表现为“我们需要做出的假设”（Högberg, 2025），而且它通常是在某种程度上理解其不完备性的情况下进行的。然而，ML社区需要公开讨论基准真值是人类的建构物，而不仅仅是作为**真**知识。正如Kang（2023, p. 1）所主张的：“随着过去六十年来ML所应用任务的日益复杂，……关于什么构成ML系统足够稳定的基准真值的共识已变得极其复杂。”事实上，我们应该讨论是否还应该继续称其为“ground truth”（Woodhouse, 2021）。

最后，我们所主张的立场对于可靠性至关重要。与承认基准真值是被构建的这一观点相一致，我们提议采用一种理解：基准真值导致的是**境遇性**可靠性（仅在某给定语境中可靠）。境遇性可靠性不是一个量化值，而是一个关键概念，帮助我们摆脱将可靠性视为一种通用属性的讨论，转而理解它必然“境遇于”特定语境之中。如果我们继续使用单一的基准真值，就应提高对真值主张的界限和偶然性的认识，以及我们理解某种度量基础（例如，针对某个基准真值测量准确度）的方式。Recht等人（2019）研究了常用ImageNet数据集的这一方面，发现“采样策略的变化确实会大幅度影响模型准确度，即使数据源和数据集创建过程的其他部分保持不变”。仔细的评估和文档化实践可以让可靠性的境遇性更加可见。我们需要承认**境遇性可靠性**是一种捕捉基准真值局限性的方式——无论这些局限性是由数据收集的情境、专家判断、传感器范围还是其他所有塑造其构建的因素所造成的。

## 3 相关工作

基准真值的构建意味着其感知到的质量和价值会受到机器学习从业者与其协作者之间关于如何