KCSAT-ML: 利用全国队列人类难度探究推理模型

# KCSAT-ML：利用全国性考生群体的实际难度探查推理模型

来源：https://arxiv.org/html/2606.10403
Sanghee Park\* NAVER Cloud AI KAIST AI parksangheeeee@gmail\.com &Geewook Kim\*† NAVER Cloud AI KAIST AI gwkim\.rsrch@gmail\.com &Kee\-Eung Kim† KAIST AI kekim@kaist\.ac\.kr

###### 摘要

数学推理基准已大量涌现，但大多数缺乏基于真实人类表现的逐题难度信号。我们引入**KCSAT\-ML**，涵盖十年（2014–2025年）的韩国大学修学能力考试（KCSAT；수능）数学试题：共664道题，其中339道核心题附有从数十万考生组成的全国性群体中测得的官方逐题错误率。我们将该基准与**难度对齐推理增益**（Difficulty\-aligned Reasoning Gain, DRG）配对使用：这是一个与得分正交的指标，用于判断模型的错误是集中在人类认为困难的题目上，还是集中在人类认为容易的题目上。两者结合，在一系列广泛的多模态大模型（VLM）（以及通过OCR实现的纯文本大模型（LLM））上揭示了三种模式：(i) 在所有模型规模下，低预算的准确率在高人类错误率的尾部区域急剧下降；(ii) 测试时扩展（TTS）使令牌使用量大致随群体错误率线性增长，而准确率增益则呈现非单调曲线；(iii) 在同一个模型系列内部，TTS在最难题目上表现出“反扩展”，在较容易题目上表现出“过度思考”——这是同一对齐失效的两个方面。在DRG上，具有几乎相同准确率的模型可以处于几乎相反的值：一个模型在人类也觉得难的题目上犯错，而另一个模型解决了最难的题目却在人类认为容易的题目上失败——这种对比是总体准确率所隐藏的。我们的代码和数据集构建工具将开源在 https://github.com/naver-ai/KCSAT-ML。

KCSAT\-ML：利用全国性考生群体的实际难度探查推理模型

Sanghee Park\* NAVER Cloud AI KAIST AI parksangheeeee@gmail\.com Geewook Kim\*† NAVER Cloud AI KAIST AI gwkim\.rsrch@gmail\.com Kee\-Eung Kim† KAIST AI kekim@kaist\.ac\.kr

††footnotetext:∗Sanghee Park和Geewook Kim对本文贡献相等，共同第一作者。††footnotetext:†通讯作者。参见图注图1：相同分数，相反推理。两个模型均答对7/10，但它们的错误落在人类难度轴的两端：模型A在人类也失败的地方失败（DRG\+18\+18），模型B在人类认为容易的题目上失败（DRG−4\-4）。仅凭准确率无法区分它们；但DRG（第4.7节 (https://arxiv.org/html/2606.10403#S4.SS7)）可以。

## 1 引言

数学推理现已成为评估语言模型和视觉语言模型的核心轴线，相应的基准在文本形式 (Hendrycks et al., 2021 (https://arxiv.org/html/2606.10403#bib.bib6))、多模态形式 (Lu et al., 2023 (https://arxiv.org/html/2606.10403#bib.bib9); Qiao et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib13)) 以及奥林匹克水平 (He et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib5); Gao et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib4)) 设定下都大量涌现。然而，一个基准能解析的内容取决于其难度信号所能区分的程度。大多数现有的数学基准报告的是跨题聚合的准确率，而没有任何关于每道题实际难度的概念；少数附有难度标签的基准则依赖于作者自行标注的启发式顺序标注（例如，MATH中的1–5级 (Hendrycks et al., 2021 (https://arxiv.org/html/2606.10403#bib.bib6))）。如果没有基于真实人类表现的逐题信号，“难度”就退化成模型觉得难什么。这混淆了问题难度和模型特定的弱点，并且使得该领域缺乏一个基于测量的轴线来比较模型行为。

KoNET (Park and Kim, 2025 (https://arxiv.org/html/2606.10403#bib.bib12)) 在此方向上迈出了重要一步，它为韩国大学修学能力考试（KCSAT；수능）的题目附带了官方考生统计信息。然而，其数学子集仅包含21道带有错误率的题目——数量太少，无法刻画高难度尾部或支持细粒度的逐题分析。此外，人类信号主要用作额外的报告元数据，而非作为分析模型行为随难度变化的工具。因此，该领域既缺乏一个具有足够大规模且带有逐题人类统计信息的数学基准，也缺乏将此类统计信息转化为分析轴线的工具。

我们引入**KCSAT\-ML**，涵盖十年（2014–2025年）的KCSAT数学试题：总共664道题，其中339道核心题带有从数十万考生组成的全国性群体中测得的官方逐题错误率。与作者指定的顺序等级不同，这些错误率是从标准条件下考生的表现中测量得到的，提供了连续的、基于行为的难度信号，其规模在以前的数学基准中尚不具备。

这个信号使得提出一个比总体准确率更苛刻的问题成为可能：模型答错的题目是否也是人类觉得难的题目？一个能解决奥林匹克级别问题却在教科书级别问题上绊倒的模型，得分虽高但不像是人类推理者——而且可以说更不值得信赖。为了使这个概念可测量，我们引入了**难度对齐推理增益**（Difficulty\-aligned Reasoning Gain, DRG）：一个与得分正交的指标，用于捕获额外的推理阶段计算是否使模型的失败模式与人类难度轴对齐，而不仅仅是清除容易的剩余错误。我们在KCSAT\-ML上使用这个框架来探讨一个对现代推理模型至关重要的问题：**何时**通过思维链提示 (Wei et al., 2022b (https://arxiv.org/html/2606.10403#bib.bib18); Wang et al., 2022 (https://arxiv.org/html/2606.10403#bib.bib16)) 和**测试时扩展** (TTS) (Snell et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib14); Bi et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib1); Muennighoff et al., 2025 (https://arxiv.org/html/2606.10403#bib.bib11); DeepSeek\-AI, 2025 (https://arxiv.org/html/2606.10403#bib.bib3)) 等方法支出的额外计算实际上真正有所帮助，以及其成本如何随人类观察到的难度而变化。

这种模式非常鲜明。在所有模型规模下，低预算准确率在高人类错误率尾部崩溃，而TTS仅能部分恢复：令牌使用量随群体错误率增长，但准确率增益遵循非单调曲线。在同一个模型系列内部，开启相同的TTS在两个极端产生相反的效果。在最难题目上，出现了**反扩展**：较小的带TTS变体胜过较大的无TTS变体。在较容易题目上，出现了**过度思考**：额外的推理破坏了一个原本正确的答案。两者都是对齐失败——模型的能力与人类难度轴背道而驰，方向相反。DRG将此转化为一个模型级别的诊断工具：在我们的22个模型系列中，具有几乎相同准确率的模型对可以处于几乎相反的DRG值，表明最终分数可能隐藏着几乎相反的推理剖面。

我们的贡献如下：

- •**KCSAT\-ML：一个基于人类实际的难度工具。** 我们发布KCSAT\-ML（2014–2025年；664道题，其中339道具有来自数十万考生的官方群体错误率），并展示人类信号能揭示出作者指定的顺序标签所遗漏的模型行为。
- •**DRG：一个用于人类对齐推理的指标。** *难度对齐推理增益* (DRG) 是一个与得分正交的总结指标，用于判断额外的推理阶段计算是否使模型的失败模式与人类难度轴对齐，而不仅仅是清除容易的剩余错误。在DRG上，具有几乎相同准确率的模型可能相距甚远，而且这种位置在很大程度上在首次开启TTS时就已确定。
- •**一个基于难度条件的TTS视图。** 利用DRG和群体信号，我们绘制了TTS行为在难度范围内的分布：一个依赖于难度的崩溃–恢复模式，令牌成本随群体错误率近似线性增长，以及在极端的两个不对称失败模式（在困难题上“反扩展”，在容易题上“过度思考”）。

## 2 相关工作

#### 数学推理基准。

现有的数学推理基准涵盖文本形式 (Hendrycks et al., 2021 (https://arxiv.org/html/2606.10403#bib.bib6))、多模态形式 (Lu et al., 2023 (https://arxiv.org/html/2606.10403#bib.bib9); Qiao et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib13))、竞赛题 (He et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib5); Gao et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib4)) 以及研究级数学。Soohak (Son et al., 2026 (https://arxiv.org/html/2606.10403#bib.bib15)) 是一个由64位数学家编写的包含439道问题的基准，在前沿模型已达到IMO金牌水平的情况下，将评估推过了奥林匹克难度。这些基准大多依赖作者指定的顺序等级，或者根本不提供逐题难度信号。KoNET (Park and Kim, 2025 (https://arxiv.org/html/2606.10403#bib.bib12)) 在精神上最接近我们的工作：它为韩国国家考试题目附带了全国性群体统计信息，但其KCSAT数学子集仅包含21道带有错误率的题目，并且该信号作为元数据报告而非用作分析轴线。KCSAT\-ML 沿着两条互补的轴线扩展了这一方向——一个包含339道核心题的集合，带有来自数十万考生的群体错误率，以及DRG，它将信号转化为一个探针，用于探测模型失败和TTS增益集中在人类难度轴上的何处，以及代价如何。除每个题目的单个标签外，每个核心题目都携带两个独立的信号：由考试设计者设定的官方分值（3或4），以及题目级别的群体错误率。

#### 测试时扩展与反扩展。

测试时扩展通过思维链 (Wei et al., 2022b (https://arxiv.org/html/2606.10403#bib.bib18))、自一致性 (Wang et al., 2022 (https://arxiv.org/html/2606.10403#bib.bib16))、推理令牌 (Snell et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib14); Muennighoff et al., 2025 (https://arxiv.org/html/2606.10403#bib.bib11))、过程级验证 (Lightman et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib8)) 以及自适应路由 (Liao et al., 2025 (https://arxiv.org/html/2606.10403#bib.bib7); Zhang et al., 2025 (https://arxiv.org/html/2606.10403#bib.bib19)) 来扩展推理阶段计算。最近的工作开始记录这一范式内的失败模式，包括类似o1模型在简单问题上的过度思考 (Chen et al., 2024 (https://arxiv.org/html/2606.10403#bib.bib2))。第4.5节 (https://arxiv.org/html/2606.10403#S4.SS5) 将此类失败定位于人类难度轴上：在最难题目上的反扩展和在最容易题目上的过度思考是同一对齐失效的两个方面，由DRG共同总结。关键的区别在于失败的轴线：反扩展文献 (McKenzie et al., 2023 (https://arxiv.org/html/2606.10403#bib.bib10)) 将参数数量视为唯一的失败诱导轴线，而反扩展是一个双轴线效应：在高难度尾部，一个带有推理阶段计算的小模型可以逆转参数数量上的差距，胜过更大的低预算兄弟模型。

## 3 KCSAT\-ML 与实验设置

### 3.1 KCSAT\-ML

KCSAT\-ML (KCSAT Mathematics Longitudinal) 汇集了十年的韩国大学修学能力考试 (KCSAT) 数学试题及其来自数十万考生的逐题错误率。KCSAT题目通常混合了符号表达式与图表和图形，因此该基准默认是多模态的。KCSAT\-ML 将 KoNET (Park and Kim, 2025 (https://arxiv.org/html/2606.10403#bib.bib12)) 中包含21道带有人类统计信息的数学题目的KCSAT子集扩展至涵盖2014–2025年的664道问题，其中339道核心题目带有官方逐题错误率。KCSAT数学考试曾以多种形式实施（例如，2022年之前的A型与B型轨道，以及2022年之后的公共加选修结构）；我们汇总了该时期内所有公开发布的形式。本文中的所有评估和基于难度条件的分析均使用339道核心题集合。其余题目（通常是题目级别统计信息未公开发布的较容易问题）提供了纵向覆盖，但未在我们的主要实验中使用。

#### 构建。

我们收集韩国教育课程评价院 (KICE)¹¹¹https://www.kice.re.kr/ 发布的官方PDF手册，并将其解析为逐题实例。每个题目保留为原始考试布局的单个图像，并匹配结构化元数据（年份、形式、题号、分值、答案类型），以及（在可用的情况下）官方人类统计数据。这种图像优先的格式使模型输入接近测量群体错误率时的设置：VLM直接在图像上进行评估，而OCR²²²https://github.com/deepseek-ai/DeepSeek-OCR 使得能够进行补充的纯文本LLM评估。我们发布注释和脚本，用于从公开的KICE PDF重建题目图像（详见附录A (https://arxiv.org/html/2606.10403#A1)）。

#### 人类统计信息。

每次年度KCSAT都会从大约五十万考生组成的全国性群体中产生逐题错误率，提供了一个外部的、时间上一致的、连续的基于人类的难度信号。官方分值（在我们的核心集合中为3或4分）提供了一个补充性的启发式等级；第4.4节 (https://arxiv.org/html/2606.10403#S4.SS4) 量化了这两个信号之间的差距。

MathVistaKoNET MathKCSAT\-ML (Ours) #题目（核心/总数） 1,000 / 6,141 24 339 / 664 年份 - 2024 2014–2025 人类统计信息 ✗ ✓ (21题) ✓ (339题)

表1：与现有数学基准的比较。KCSAT\-ML 提供了339道题的全国性群体错误率，将KoNET的KCSAT子集（21道带有人类统计信息的题目）扩展了16×16\\times倍。

#### 难度层级。

表1 (https://arxiv.org/html/2606.10403#S3.T1) 将KCSAT\-ML与现有数学基准进行了比较。所有339道核心题都是3分或4分的问题³³³题目按2、3、4分评分；错误率仅针对3分和4分区间发布。（4分：263道；3分：76道），每道题通常需要多步推理。使用官方人类错误率而非仅分值，我们将339道核心题分为三个层级：**容易**（0–50%：148道）、**中等**（51–75%：113道）和**困难**（76–100%：78道）。

### 3.2 模型与TTS条件

我们评估开源权重的LLM/VLM以及闭源API在KCSAT\-ML核心集上的表现。VLM直接接收问题图像，而LLM则接收OCR文本。我们在表2 (https://arxiv.org/html/2606.10403#S3.T2) 中报告**得分**（准确率，%）和**平均令牌数**（每个题目的平均生成输出令牌数）。

#### 答案评估。

核心题目被改写为简答题格式，以消除多项选择的猜测成分，同时保留原始内容和布局。预测结果通过一个基于LLM的等价判断器（GPT\-5\-2025\-08\-07）进行评分，该判断器对预测的最终答案与参考答案进行狭窄的等价检查（例如，判断 12\\frac\{1\}\{2\} 和 0.50\.5 是否表示相同的数值），并输出正确/错误。判断器检查模型的完整响应，但仅评估提取的最终答案相对于固定真实答案的等价性，而不评估推理链的逻辑正确性；并且它对模型身份和TTS配置是盲的，因此跨系统的判断器引入偏差应该很小。完整的提示模板见Figure13 (https://arxiv.org/html/2606.10403#A4.F13)。

#### 推理设置（无TTS vs. 有TTS）。

我们比较 (i) 低预算的答案