adamallcock/answer-key-audit

来源：https://github.com/adamallcock/answer-key-audit

当答案键是错的

GPQA、MMLU-Pro 和 MMMU-Pro 的校准审计——附修正版发布

Adam Allcock，2026

📄 阅读论文（PDF） · DOI (https://doi.org/10.5281/zenodo.21613590) · arXiv：即将发布

各基准测试中有问题题目的比例

公共大语言模型排行榜将模型排名精确到千分之一——但凭借的却是本身就有错的答案键。对四个最常被引用的选择题基准测试按照同一分类体系（错误答案键、格式错误题目、存在多个可辩护答案的问题）进行审计后发现，4.5%–11.8% 的题目无法公平地为模型评分，而对照饱和的 MATH-500 测试，其问题率几乎为零。

我们不仅仅是诊断——我们还提供了修复方案：所有四个基准测试都已发布修正后的 即插即用的“-Clean”版本，附带每个题目置信度等级、完整的被标记题目明细，以及原始与修正后的双评分结果，因此现有评估框架无需任何代码改动即可重新评分。

有两个结果超越了这些数据集：我们的模型裁定结果与 GPQA 自身记录中的专家分歧情况一致（外部验证，非循环验证）；而标准的一次性分歧方法将问题率 低估了 2.3 倍。审计本身也是一种测量工具，因此我们针对注入的缺陷和从未被标记的对照组进行了校准，并以区间（而非单点）的形式报告比率。结果经过了模型裁定和校准——而非人工认证。

修正后的即插即用版本（-Clean 系列）

每个版本均为即插即用：能运行原始版本的框架无需改动即可运行 -Clean 版本，并且每次删除的题目都可逐题审计。

引用

Allcock, A. (2026). When the Answer Key Is Wrong: A Calibrated Audit of GPQA, MMLU-Pro, and MMMU-Pro, with Corrected Releases. Zenodo. https://doi.org/10.5281/zenodo.21613590

@misc{allcock2026answerkey,
  title     = {When the Answer Key Is Wrong: A Calibrated Audit of GPQA, MMLU-Pro, and MMMU-Pro, with Corrected Releases},
  author    = {Allcock, Adam},
  year      = {2026},
  doi       = {10.5281/zenodo.21613590},
  publisher = {Zenodo}
}