我们是在评估知识还是措辞？利用ParaEval减轻MCQA敏感性

# 我们评估的是知识还是措辞？通过ParaEval减轻MCQA敏感性

来源：https://arxiv.org/html/2606.10657  
1Meta FAIR 2索邦大学，CNRS，ISIR，F-75005巴黎，法国 3Criteo AI实验室，巴黎，法国  
Mathurin Videau, Andrea Caciolai, Benjamin Piwowarski, Patrick Gallinari, Loic Barrault  
[[email protected]](mailto:[email protected]) (2026年6月9日)

###### 摘要

多项选择（MCQA）基准是评估预训练大语言模型的标准，但它们的对数似然评分方法并不可靠。具体来说，标准评分对答案的确切措辞（表面形式）高度敏感，将模型对特定短语的熟悉程度与真实能力混为一谈。我们通过一个受控测试平台（基于相同知识训练的1B-8B模型）证明了这一缺陷。尽管这些模型拥有相同的知识，标准指标却错误地报告了超过2个百分点的性能差距。为解决这一问题，我们提出了ParaEval，一种评估框架，它对每个答案选项使用多种释义进行查询。通过基于每个模型最有利的措辞进行评分，ParaEval成功地将虚假性能差距降低到1个百分点以下。我们确认，这些评估伪影以及ParaEval带来的改进，在70B和120B规模的开源前沿模型中依然存在。最终，ParaEval提供了一种稳健高效的方法来评估模型真实的内在能力，而非对表面形式的熟悉程度。

---

## 1 引言

基准测试是我们衡量大语言模型知识水平的方式。它们被视为衡量当前LLMs质量、知识和能力的真实来源。在实践中，评估已收敛于两种范式：模型撰写自由形式答案的生成式任务，以及模型从预定义选项集合中做出选择的多项选择题问答（MCQA）。生成式评估虽然自然，但成本高昂。它需要自回归解码，此过程在大规模部署时速度慢，且对小模型尤其噪声大；同时，与单一参考答案进行精确匹配在本质上就非常脆弱。在LLM时代，该领域在很大程度上已收敛于使用LLM作为评判（LLM-as-a-judge）来克服后一个问题，但这进一步加剧了成本，表现出较差的重测信度，并存在对冗长和风格的系统性偏见（Schroeder and Wood-Doughty, 2025; Soumik, 2026; Wang et al., 2024）。一种更简单、更便宜的替代方案是MCQA。其评分只需对每个选项进行一次前向传播，因此成本低廉、结果确定且在不同模型规模之间具有可比性。这种效率使MCQA成为模型开发和性能测量的主要驱动力之一，但它也以脆弱性著称。由于LLM作为少样本学习者（Brown et al., 2020）来处理这些任务，它们的准确性对提示设计极其敏感。性能可能因演示顺序（Lu et al., 2022）或浅层格式选择而发生剧烈变化，已有研究显示这些变化可使分数改变高达76分（Sclar et al., 2023）。Brittlebench（Romanou et al., 2026）系统化了这种不稳定性，表明保持语义不变的提示扰动可使前沿模型的性能下降高达12%，并在大多数比较中翻转排名。现有工作将此视为“如何提问”的问题。

请参阅图注

**图1：措辞伪影概述。** 标准MCQA评分（灰色）报告了具有相同知识的模型之间的差距，而ParaEval（蓝色）通过在每个答案选项下使用多种释义进行评分来消除这些差距。(a) 受控的英-西语模型，规模为1B/3B/8B。(b) 使用英文 vs. 反向翻译英文训练数据的1B模型，将措辞与语言因素隔离。(c) 在ARC-Challenge上的大型前沿模型显示出相同模式。完整数字见第6节。

我们认为盲点在于“评分的内容”。在MCQA中，大部分知识存在于答案标记本身，即计算似然度的确切字符串。一个在更多巴西葡萄牙语数据上训练的模型可能更偏好“onibus”而非“autocarro”，而基准测试会奖励作者选择的任何措辞，从而混淆了熟悉度与知识。为了研究措辞敏感性和模型知识而不受混杂因素影响，我们在完全相同的基础语料库上训练了单语英语和西班牙语的自回归-only模型（1B-8B）。此外，我们还在一份经过释义的相同数据上训练了一个英语模型。训练集之间的唯一区别是语言和措辞，知识含量保持不变。如果现有基准是正确的，这些模型应该表现相同。但它们并非如此。图1总结了模型之间的差距。我们探究了这些模型对答案措辞的敏感性，发现仅通过重新措辞正确答案就会暴露出超过6个百分点的差距。这引发了对基准可靠性的质疑：它们真的在评估这些模型的知识吗？因此，我们建议改变当前的评估策略，通过查询答案的多种表面形式来进行评估。ParaEval对所有选项（包括正确选项和干扰项）进行释义，并根据每个选项概率最高的释义来为其评分。对于生成式评估，我们也采用相同策略来扩充参考集。通过这些协议，具有相同知识的模型之间的差距大幅缩小。图1展示了ParaEval下的缩减情况，在相同知识条件下，所有基准在所有规模上的绝对差异均低于1%，缩减幅度高达96%。这种模式在70B和120B规模的强大开源模型中也成立，证实了该伪影并非小模型的病理现象。这表明，根本问题并非模型缺乏知识，而是评估通过单一的任意措辞来查询知识，该措辞可能与模型的分布不匹配，从而误判了其真实能力。我们的贡献如下：

1. 我们提供了一个受控的训练框架，包含独特、匹配的单语模型。通过比较单语英语、西班牙语和反向翻译英语模型，我们分离出评估伪影，揭示了尽管模型基于相同的底层知识训练，却存在高达4的人为性能差距。
2. 我们证明了标准MCQA评分对表面形式敏感：仅对正确答案进行释义即可将准确率提高5到8个百分点，且常见的归一化方法无法消除此影响。我们匹配的较小规模模型（1B、3B和8B）受到影响，70B和120B规模的前沿模型也同样受到影响（在替代措辞下表现出类似的性能变化）。
3. 我们提出了ParaEval，一种基于释义增强的MCQA方法，通过为每个选项选择最佳表面形式进行评分，使具有相同知识的模型达到相似的性能水平，并将所有规模基准上的差距减少14%至96%。
4. 我们展示了在生成式评估中使用多种措辞（通过我们的方法）也有助于减小差距，消除了自然问题（Natural Questions）上的差距，并减少了TriviaQA上的差距。

## 2 相关工作

**生成式评估。** 由于自然语言具有自由度，开放式生成很难评估。机器翻译社区首先面临这个问题，依赖基于人类参考的词汇重叠指标，如BLEU（Papineni et al., 2002）和ROUGE（Lin, 2004）。鉴于语义等价的答案可能零词汇重叠，这些指标后来被学习型指标如BLEURT（Sellam et al., 2020）所取代。该领域现已收敛于使用LLM作为评判（Zheng et al., 2023），这虽然准确但成本高昂且偏向于风格（Wang et al., 2024; Soumik, 2026）。近期工作列出了更多偏见：评判者倾向于关注特定位置（无论质量如何）的回复（Wang et al., 2023），表现出对自身输出的自我增强偏见，并且在不同领域的可靠性差异很大（Tan et al., 2024）。MCQA完全避开了生成式评估的高成本和主观性。

**MCQA的脆弱性。** 由于成本低廉且结果确定，MCQA在训练期间或预算受限时仍是标准的评估方法，但它对演示顺序（Lu et al., 2022）、校准（Zhao et al., 2021）和格式（Sclar et al., 2023）都很脆弱。Brittlebench（Romanou et al., 2026）展示了保持语义不变的提示变化可使准确率降低高达12%并翻转排名。Alzahrani et al.（2024）证明此类扰动（包括选项重新排序和重新措辞）使排行榜排名不稳定。模型还会利用仅有的选择捷径，依赖于诸如合成干扰项或更详细、更正式的正确答案等模式（Balepur et al., 2025; Chandak et al., 2025）。除了排序，LLM还表现出“选择偏差”：对特定选项符号（如“A”）的偏好，这源于令牌级别的先验（Zheng et al., 2024）。评分方法本身也引入了差异：Molfese et al.（2025）表明，首个令牌概率、全文匹配和对数似然评分在同一基准上的准确率可能相差超过10个百分点。报告的多语言差距通常反映的是评估伪影而非真实能力，这已由大规模审计（Ahuja et al., 2023, 2024）以及MGSM上的修正翻译（Peter et al., 2025）所证明。

**LLM评估中的释义。** 在本文中，我们将上述对表面形式的脆弱性框架化，与同期工作Brittlebench（Romanou et al., 2026）所展示的一致。类似地，Holtzman et al.（2021）表明概率质量会分布在同义的表面形式上，从而压低基准所选字符串的得分。通过PMI或校准进行重新加权并不能可靠地解决此问题，甚至可能损害经过指令微调的模型（Wiegreffe et al., 2023）。与生成式评估类似，机器翻译通过使用人工释义的多参考（Freitag et al., 2020）来解决此问题。近期工作对学习型指标进行参考释义（Tang et al., 2023），或对问题进行释义以测试一致性（Jiang et al., 2020; Elazar et al., 2021; Choi, 2024）以及改进数学问题的推理（Zhou et al., 2024）。我们扩展了这条研究路线，在MCQA中对“答案选项”进行释义，并基于每个选项概率最高的释义来为其评分。

## 3 评估的受控测试平台

将评估伪影分离出来需要一个无训练混杂因素的测试平台。我们建立了一个受控设置，其中模型即使接触了不同的表面形式（无论是跨语言还是通过替代的英语措辞），也在等效的知识上进行训练。因此，如果这些匹配的模型在标准指标下得分不同，那么由此产生的差距严格地隔离了一个测量伪影。

### 3.1 预备：标准评估指标

我们研究两种主流的LLM评估范式，这两种范式从根本上都与真实答案的具体表面形式紧密相关。

**多项选择问答（MCQA）。** 遵循Brown et al.（2020），给定一个问题\(q\)和一组候选答案\(\{a_1, \ldots, a_m\}\)，标准MCQA评估选择具有最高对数似然度的答案：
\[
\hat{y} = \mathop{\mathrm{argmax}}_i \, f(\log P(a_i \mid q)) \qquad (1)
\]
其中\(f\)是一个可选的归一化函数，通常是除以字符数（acc_norm）或令牌数。由于\(\log P(a_i \mid q)\)是针对\(a_i\)中的特定令牌计算的，两个语义等价的答案措辞可能得到不同得分。在模型训练分布中出现频率较低的单词会导致更高的困惑度。

**生成式精确匹配。** 开放式生成基准促使模型生成回复，并通过与参考集\(R = \{r_1, \ldots, r_n\}\)的精确匹配来评分。如果回复与任何一个\(r_j \in R\)匹配，则该回复正确。此评估的质量严格受限于\(R\)的完整性。

### 3.2 跨语言评估的受控测试平台

跨语言比较通常因训练数据和分词方面的差异而产生偏差。为了隔离评估缺陷，我们建立了一个严格受控的基线：从零开始训练的英语和西班牙语模型，它们拥有在训练期间获得的等效知识。

**匹配的数据。** 我们训练了1B、3B和8B参数量的自回归-only变换器语言模型（LLaMA架构）。为了均衡知识内容，英语和西班牙语模型在完全相同的基础语料库上训练：英语使用原始的DCLM-EDU（Li et al., 2024a），西班牙语使用LLM翻译版本（使用GPT-OSS（OpenAI, 2025））的完全相同120B令牌。详细信息和质量评估见第8节。

**匹配的分词器。** 默认的LLaMA分词器对非英语文本产生更高的繁殖率和更低的压缩率，意味着在固定令牌预算下，非英语模型实际上看到的数据少得多。我们通过训练特定语言的分词器（每个词汇量128k）来消除这个混杂因素，这些分词器实现了匹配的压缩率（英语约5.0字符/令牌，西班牙语约5.1字符/令牌）。此外，对于每种数据配置，所有模型都使用相同的超参数（例如，学习率、批次大小）进行训练。更多细节见第10节。

**超参数。** 对于所有语言，我们在每个模型规模上使用一致的超参数，遵循DCLM的建议（Li et al., 2024b）。完整细节见附录表7。

**基准测试。** 我们使用Claude 4.6 Opus将所有基准测试翻译成目标语言。评估通过lm-eval-harness框架¹¹¹https://github.com/EleutherAI/lm-evaluation-harness/ 进行，进一步细节请参考...