相同输出，不同标准答案：衡量参考答案的选择如何影响多语言基准测试得分

Hugging Face Daily Papers 论文
benchmark-evaluation multilingual annotation-quality pii-detection reproducibility nlp

摘要

该论文研究了参考答案（gold reference）的选择对多语言基准评测分数的影响，发现交换参考标注可使F1分数移动数个点，并揭示了一个未记录的标注聚合默认设置导致参考答案与被评输出部分重合的问题，提出应将参考敏感性区间与分数一同报告。

基准分数将系统输出与参考标准进行比较，而方法论上的关注几乎完全集中在前者。我们衡量的是后者。一个涵盖六种语言的个人身份信息基准所保留的标注记录包含两位标注者各自独立的标注、作为金标准发布的汇总标注，以及由独立专家对部分样本重新标注所得的审阅者金标准。利用这些记录，我们固定被评分的输出，仅替换参考标准。一个输出的分数变动了4.95个F1点，另一个变动了2.00个F1点（95%置信区间分别为[3.23, 6.27]和[0.26, 3.37]），而在变动最大的语言上，分数变动达7.55个F1点。两个输出之间的比较结果也随之变化：参考标准与系统之间的配对交互效应为+2.95个点（置信区间为[+1.97, +3.87]），经多重检验校正后仍显著，并直接改变了其中一种语言上的分数差距。其原因是一个未记录在文档中的默认汇总规则：当未触发裁决时，通常保留其中一位标注者的标注，导致发布的参考标准成为某个被评分输出的部分副本。我们报告由此产生的参考标准敏感性区间，展示如何利用任何保留的标注记录计算这一区间，并主张应将这一量与分数一并报告。
查看原文
查看缓存全文

缓存时间: 2026/10/13 18:47

论文页面 - 相同输出，不同金标准：衡量参考标注选择如何改变多语言基准分数

来源：https://huggingface.co/papers/2610.03825

摘要

基准分数将系统输出与参考标注进行比较，而方法论上的关注几乎全部集中在前者上.我们衡量的是后者.一个涉及个人身份信息的六语言基准所保留的标注记录，包含两套独立标注者的标注、作为金标准发布的汇总标注，以及由独立专家对部分样本重新标注得到的审核者金标准.利用这些记录，我们固定被评分的输出，仅更换参考标注.一个输出的分数变化了4.95个F1点，另一个变化了2.00个F1点(95%置信区间分别为[3.23,6.27]和[0.26,3.37])，而变化最大的语言达到了7.55个F1点.两个输出之间的比较结果也随之变化：参考标注与系统之间的配对交互效应为+2.95个点(置信区间为[+1.97,+3.87])，经多重检验校正后仍然显著，并直接改变了其中一种语言上两者的领先关系.原因在于一个未被记录的默认汇总规则：在未触发裁决时，通常保留某一位标注者的标注，使发布的参考标注成为被评分输出的部分副本.我们报告了由此产生的参考标注敏感性区间，展示了如何从任意保留的标注记录中计算该区间，并主张应将这一指标与分数一同报告.

查看arXiv页面 (https://arxiv.org/abs/2610.03825)查看PDF (https://arxiv.org/pdf/2610.03825)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.03825)

在你的智能体中获取这篇论文：

hf papers read 2610\.03825

还没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的README.md中引用arxiv.org/abs/2610.03825，即可从本页面链接到该模型.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.03825，即可从本页面链接到该数据集.

引用这篇论文的Spaces0

没有Space链接到这篇论文

在Space的README.md中引用arxiv.org/abs/2610.03825，即可从本页面链接到该Space.

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集.

相似文章

注意输出上限：不同预算机制改变所测多语言推理差距

arXiv cs.CL

本文研究MGSM上原生语言与翻译之间的多语言推理差距是否是输出token预算的伪影。作者表明，在不同的硬性上限下，测得的差距显著波动，并且长度归一化可以逆转策略排序，因此得出结论：在评估中应将输出上限视为一个独立变量。

一个偏差分数，两个因素：缓解措施如何影响多项选择评估中的选项偏差

arXiv cs.CL

本文通过证明汇总选择率的标准差可分解为翻转率与位置偏斜两个因子的乘积，将多项选择题大语言模型评估中的选择偏差与顺序敏感性统一起来。基于对41个模型检查点和12个基准的分析，本文表明，先验校正主要降低位置偏斜，而不同排序下的结果聚合主要降低翻转率，并建议同时报告这两项指标。

识别不等于接地：多语言金融证据抽取基准评测

Hugging Face Daily Papers

论文提出 MULTIFINGROUND 多语言金融基准，揭示语言模型虽能跨语言识别财务概念（准确率 97.3–99.4%），却在 26.6–41.9% 的情况下无法完整恢复对应的数值证据，凸显了概念识别与证据落地之间的差距。