基准幻觉：经过剪枝的大语言模型可以通过多项选择题但无法回答问题

# 剪枝后的大语言模型能通过多项选择，却无法回答

来源：https://arxiv.org/html/2606.17609

## 基准测试幻觉：剪枝后的大语言模型能通过多项选择，却无法回答

Rui Wen¹, Lu Sun², Jiayang Liu³, Zesheng Xu⁴, Tianshuo Cong⁵, Zheng Li⁵

¹东京科学大学，²东北大学，³南洋理工大学，⁴皇家理工学院，⁵山东大学

###### 摘要

压缩大语言模型可减少内存使用和推理成本，但也可能导致标准基准测试无法发现的失效模式。一个经过剪枝的模型可能在多项选择评估中表现良好，却无法在开放生成中回答同样的问题。我们探究剪枝改变了什么：是抹除了正确答案，还是使答案更难成为最高输出？我们通过多语言问答来研究这一问题，追踪同一问题在剪枝前后的表现。我们发现了一种基准测试幻觉。在高稀疏度剪枝（尤其是Wanda）下，模型在贪婪开放生成中常会失败，但在多项选择评分下仍能选出正确答案。在这些“仅识别”错误中，答案通常并未消失，而是被降级了：通过束搜索、采样或一个上下文示例，答案往往能重新出现。总体而言，多项选择基准测试可能高估压缩后LLM的可用性，造成评估盲区。压缩模型应该测试它们能*生成*什么，而不仅仅是识别什么。

基准测试幻觉：剪枝后的大语言模型能通过多项选择，却无法回答

Rui Wen¹, Lu Sun², Jiayang Liu³, Zesheng Xu⁴, Tianshuo Cong⁵, Zheng Li⁵

¹东京科学大学，²东北大学，³南洋理工大学，⁴皇家理工学院，⁵山东大学

## 1 引言

大语言模型部署成本高昂。为降低成本，开发者常使用剪枝 (Frankle and Carbin, 2019 (https://arxiv.org/html/2606.17609#bib.bib1643); Dong et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1645); Fang et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1646))、量化 (Frantar et al., 2022 (https://arxiv.org/html/2606.17609#bib.bib1647); Dettmers et al., 2022 (https://arxiv.org/html/2606.17609#bib.bib1648), 2023 (https://arxiv.org/html/2606.17609#bib.bib1649)) 及其他技术 (Ashkboos et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1650)) 进行压缩，并依赖标准的多项选择基准测试来证明模型性能保持不变。虽然这些基准测试分数有帮助，但它们隐藏了一个重大的实际缺陷：一个压缩模型可能在多项选择测试中表现出色，但当用户直接提问时，却完全无法回答同一个问题。本文研究了这一差距。当压缩模型给出错误答案时，可能发生了两种情况之一：要么模型完全丢失了知识，要么知识仍在但不足以成为模型的最高概率响应。当后者发生时，基准测试排行榜看起来可能依然健康，但实际的开放式回答能力却下降了。我们将此称为*基准测试幻觉*。

我们的主要工具是配对项目测试。我们以两种格式评估*同一问题*：开放生成（模型必须从头生成答案）和多项选择评分（正确答案出现在候选选项中）。我们首先只保留未压缩模型在两种格式下都能正确回答的问题。然后我们对模型进行剪枝，并提问：答案是两种格式都失败，还是模型仍能从候选项中选择出正确答案，却无法生成它？我们使用多语言问答（QA）作为压力测试，因为它能自然地产生多种剪枝错误以供研究。例如，对Qwen (Qwen Team, 2025 (https://arxiv.org/html/2606.17609#bib.bib2582)) 模型施加激进压缩（高稀疏度Wanda (Sun et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1641))）时，英语准确率几乎不下降，但斯瓦希里语在开放生成中遭受巨大损失。这给了我们大量测试用例：原始模型正确，但压缩模型失败。结果表明，答案通常是被降级，而非被抹除。许多原始模型能生成的答案在剪枝后变成了“仅识别”。压缩模型无法自行生成答案，但仍能从多项选择列表中选出它。正确的第一个token并没有消失；它通常从第1位降至第3或第4位，并且往往可通过更宽泛的解码方法（如束搜索或采样）或一个上下文示例来恢复。我们在不同的模型系列和数据集上再现了这一模式，同时也发现了一个关键边界：较小的Qwen模型更常丧失底层的识别能力本身。

我们做出三项贡献：

- •**新的诊断工具：** 我们引入配对项目测试，通过比较压缩模型生成答案、从列表中识别答案，或通过更广泛的搜索方法找到答案的能力来评估它们。
- •**揭示多项选择幻觉：** 我们证明激进的剪枝常常破坏模型贪婪生成答案的能力，即使其多项选择识别能力完好无损。我们将这些称为“仅MC”错误。
- •**解释机制：** 我们表明答案通常是被降级到较低排名而非被删除，并且这种降级往往可以通过更宽泛的解码或轻量提示来逆转。我们还展示了这种解释何时失效：较小的Qwen检查点更常丢失识别本身。

最终，保留的基准测试分数并不保证保留的可用性。要了解压缩后的LLM在实际使用中的行为，我们必须测试它们*实际能生成什么*，而不仅仅是能识别什么。

## 2 诊断框架

为了理解压缩如何破坏模型，我们需要区分识别答案和生成答案。一个压缩模型可能通过多项选择题目，因为基准测试提供了正确答案作为候选，但当模型必须直接回答时却仍然失败。这种失效模式在一刀切剪枝方法（如Wanda (Sun et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1641)) 和 SparseGPT (Frantar and Alistarh, 2023 (https://arxiv.org/html/2606.17609#bib.bib1642))）下是合理的，这些方法会在不从头重训练模型的情况下对权重评分并移除。剪枝可能使答案在某些探测下仍然可用，但已不再是模型最高概率的输出。

### 2.1 生成差距

为了测量这一差距，我们在三个层次的答案可及性上测试模型。

- •**自发生成**是最难的设置：模型必须贪婪地生成答案，看不到任何候选。
- •**提示识别**是多项选择测试。模型获得一个选项列表，只需选出正确的一个。我们宽松地使用“识别”一词，因为提供多项选择选项本身就给模型提供了格式线索。然而，它能有效衡量当基准测试将答案交给模型时，模型是否仍能成功。
- •**可达性**询问答案是否在更宽泛的解码（如束搜索或采样）下出现，即使贪婪解码失败。

我们用以下公式量化生成与识别之间的差距：
ΔPR = d̂FF − d̂MC, (1)
这里 d̂ 是剪枝后头空间归一化的准确率下降。我们用FF表示自由形式的开放生成，MC表示多项选择评分。ΔPR为正表示开放生成下降程度超过多项选择识别。负值表示识别下降程度等于或大于生成。如果压缩只引起模型质量的统一下降，这个差距将接近于零。

### 2.2 多语言QA作为压力测试

为了测试这一差距是否在实践中出现，我们需要一个能产生足够多剪枝错误以供分析的受控环境。我们使用多语言问答（QA）作为压力测试，以在TyDiQA (Clark et al., 2020 (https://arxiv.org/html/2606.17609#bib.bib1938)) 上评估的Qwen3-8B (Qwen Team, 2025 (https://arxiv.org/html/2606.17609#bib.bib2582)) 为例。目的并非研究多语言性本身。我们使用多语言QA是因为单次剪枝对不同语言造成损害的程度差异很大，同时保持任务和压缩过程不变。例如，在高稀疏度Wanda (Sun et al., 2024 (https://arxiv.org/html/2606.17609#bib.bib1641)) 下（稀疏度0.5），英语开放生成准确率仅下降1.1个百分点，而斯瓦希里语下降21.3个百分点。这种差异为我们提供了许多情况：原始模型回答正确，但剪枝模型失败，且所有这些都在一个受控的压缩设置下。

为了进行同类比较，我们进行配对分析。我们为每种语言取一组固定的200个问题，并使用完全相同的提示上下文在三种格式下进行评估：

- •**开放生成**：模型贪婪回答，看不到任何选项。
- •**显示候选的生成**：提示中列出正确答案及三个干扰项，模型必须生成答案。
- •**多项选择评分**：我们通过对数似然对四个答案选项进行评分，并选择得分最高的选项。

最后，为确保这种“基准测试幻觉”不特定于这一设置。我们在第二个数据集XQuAD (Artetxe et al., 2020 (https://arxiv.org/html/2606.17609#bib.bib1655))、不同模型系列（包括Mistral-7B-Instruct (Jiang et al., 2023 (https://arxiv.org/html/2606.17609#bib.bib2410)) 和 Phi-3-mini (Microsoft, 2024 (https://arxiv.org/html/2606.17609#bib.bib2594))）、不同Qwen3 (Qwen Team, 2025 (https://arxiv.org/html/2606.17609#bib.bib2582)) 模型大小以及不同校准设置下重复了这一模式。如下文所示，这是模型压缩的一个持久特征。

## 3 降级而非擦除

我们现在处理核心问题：当剪枝导致模型回答错误时，知识是被完全抹除了，还是仅仅无法生成？这两种假设做出非常不同的预测。如果剪枝将答案从模型中完全移除，那么模型应该无法从多项选择列表中选出它，将答案在概率分布中推得很远，并且在更宽泛的解码方法（如束搜索）下也很少产生。相反，如果剪枝只是将答案降级，模型应该仍能识别它，将其排到分布顶部附近，或者当解码不那么贪婪时成功生成它。

运行示例。对于一个测试项目（“亚速尔群岛是什么时候被发现的？”），未压缩模型正确生成了“大约1427年”。剪枝后，模型的贪婪输出转向了错误答案“15世纪”。然而，正确答案的第一个token在模型内部概率分布中仍排名第三，并且剪枝模型在多项选择评分中成功选择了完全正确的选项。这完美地说明了我们正在测量的失效模式：答案是被降级，而非被抹除。

### 3.1 配对悖论

我们首先测试降级最直接的预测：剪枝有时应破坏开放生成，同时保持多项选择识别完好。最清晰的证据来自比较剪枝前后同一问题。我们筛选出未压缩模型在开放生成和多项选择评分中都正确回答的项目。然后我们问：当剪枝损害模型生成答案的能力时，它从候选项中选择答案的能力是否幸存？我们用分离率来衡量：在剪枝后变为仅多项选择（仅MC）的原来两种都正确的项目所占比率。

图1 (https://arxiv.org/html/2606.17609#S3.F1) 显示识别往往幸存。在模型之前既能生成又能识别的项目中，剪枝通常只破坏生成行为。剪枝后的模型无法贪婪生成答案，但仍能从候选列表中选出它。斯瓦希里语有39%的项目发生这种分离，阿拉伯语35%，俄语34%，而英语为12%。孟加拉语达到50%。由于所有这些项目在剪枝前都能生成和识别，变为仅MC不能由候选支持的识别完全丢失来解释。当答案作为选项提供时仍然可选，即使它不再作为贪婪开放生成的输出出现。

参见图注
图1：许多可生成的答案在剪枝后变为仅识别。剪枝后的模型在贪婪开放生成中失败，但仍从候选项中选出黄金答案。完整的四向命运分解见图8 (https://arxiv.org/html/2606.17609#A1.F8)。

要点。剪枝常常在破坏候选支持的识别之前就破坏了贪婪答案生成。

### 3.2 更多支持意味着更少损害

上述配对分析给出了项目层面的证据：剪枝能在破坏贪婪答案生成的同时保持候选支持的识别完好。接下来我们问，是否相同模式出现在整体准确率趋势中。此处“整体”意味着我们不再单独追踪每个项目的命运；而是对相同项目和语言下每种评估格式的剪枝下降进行平均。为此，我们比较一个*输出模式阶梯*：一系列评估格式，给予模型递增的答案支持。阶梯有三个台阶。在开放生成中，模型不接收任何答案候选，必须贪婪生成答案。在显示候选的生成中，提示中列出正确答案及三个干扰项，模型必须生成答案。在多项选择评分中，模型不自由生成；而是通过对数似然对每个候选答案评分，并选择得分最高的选项。

这个阶梯测试一个简单的预测。如果剪枝主要使答案更难以生成，那么拥有更多答案支持的格式应遭受更少的损害，这正是我们在图2 (https://arxiv.org/html/2606.17609#S3.F2) 中观察到的。平均而言，开放生成下降最多，多项选择评分下降最少，而显示候选的生成介于两者之间。

参见图注
图2：更多答案支持意味着更小的剪枝下降。开放生成下降最多，MC评分下降最少。

#### 候选列表仅在包含答案时才有帮助？

一个自然的担忧是，候选列表可能因为一个琐碎的原因提供帮助：它们向模型展示了期望的响应格式，即使正确答案不在其中。我们通过显示候选条件的两项消融实验来测试这一点。在*仅干扰项*中，提示显示三个干扰项但省略了黄金答案。在*无关*中，提示显示四个不相关的候选。这些消融并未改善生成。准确率：无候选时为46.9%，仅干扰项时为42.2%，无关候选时为32.1%。相比之下，当提示包含黄金答案和干扰项时，准确率上升至75.8%。因此，候选列表仅在包含正确答案时有帮助。因此，这一增益反映了模型利用了提供的答案，而不仅仅是从候选格式中受益。

要点。随着评估格式给予模型更直接的答案访问，剪枝损害变得更小；这支持了压缩损害答案生成多于答案选择的观点。

参见图注
图3：剪枝将黄金答案降级而非抹除。在两者都正确的项目上，仅识别的答案在下一token预测中仍靠近顶部。