求解非绘制：奥赛几何中图表推理的基准

# 求解不等于绘图：用于奥林匹克几何图式推理的基准测试
来源：https://arxiv.org/html/2608.18111
###### 摘要

以 GPT 和 Claude 为代表的基础模型现在能够以惊人的熟练程度解决奥林匹克级别的数学问题，以至于几何问题求解已成为衡量其数学推理能力的标准代理任务。然而，解决一个几何问题和绘制其依赖的图形并非同一项技能：进展往往取决于一个带有正确辅助构造和关联关系的忠实图表，而我们尚不清楚一个能够推理出答案的模型是否也能生成该图表。包括 MathVista 和 MathVerse 在内的越来越多的基准测试衡量模型是否能得到正确答案，但据我们所知，没有一个测试专门针对构建图表本身这一独特能力进行隔离评估，从而使得该能力未被测量。我们引入了一个针对此空白的开源基准：954 个自包含的奥林匹克几何问题，其中包含一个包含 297 个问题的困难子集，每个问题都附有其解答以及由人类创作的、高保真度的、可渲染的 Asymptote 代码图表，同时配套一套针对我们称之为“图式推理”的文本、代码、图像、VLM 和基于约束的评估指标。对当前基础模型的评估揭示了求解与绘图之间的显著差距：其图表的忠实度明显较低，平均编译成功率仅为 36.14%。我们发现，强大的数学推理能力并不意味着能够构建精确的几何图表。我们的基准和数据集可在以下地址访问：https://huggingface.co/datasets/max98765/hard_geometry_problems_with_diagrams。

人工智能用于数学，ICML

## 1引言

近期，基础模型在数学奥林匹克问题上取得了卓越的分数，以至于这些问题现在被用作衡量模型数学推理能力的通用代理。然而，许多奥林匹克问题的解决不仅仅依赖于文本推理。几何就是一个突出的例子，因为问题的解决通常依赖于一个精确、具有代表性的图表，其中包含正确的辅助构造以及点、线和圆之间正确的关联关系。解决问题和绘制其依赖的图形显然不是同一项技能。

我们的实验证实了它们确实不同。尽管这些模型具有文本问题解决能力，但基础模型在解答准确性与忠实图表生成之间表现出明显的差异，这种差距即使在模型获得完整参考解答并仅被要求渲染一个一致图表时依然存在。由于几何构造和可视化是解决几何问题的核心，我们将“图式推理”定义为模型根据问题生成几何一致、高保真图表的能力，并将其视为与问题解决不同的独立能力。在实践中衡量它具有重要意义：一个推理正确但绘制不一致图表的模型，无法被信任来支持几何工作、验证其自身的构造，或为下游智能体提供可靠的图表。

越来越多的基准评估基础模型的数学和几何问题解决能力，包括 OlympiadBench、MathVista、MathVerse 和 We-Math。这些工作衡量模型是否能得到正确答案或遵循有效的推理轨迹，但它们将图表作为输入或视为附带产物。据我们所知，没有基准专门隔离评估构建图表本身这一独特能力，因此一个模型可能在持有不一致或不可能的配置图的情况下获得高分。

我们通过一个开源基准来解决这一空白，该基准包含 954 个自包含的奥林匹克几何问题（其中包括 297 个问题的困难子集），每个问题都附有完整解答以及由人类创作的、高保真度的真值图表，该图表以图像和可渲染代码两种形式提供。我们要求模型以 Asymptote 代码表达图表，因为其原生的几何图元使其比通用绘图库更适合精确的尺规作图，同时将任务保持在模型的原生文本模态中，并生成精确、可修改且易于与真值图表进行比较的图形。即使在这种代码环境下差距依然存在，这表明它并非多模态生成能力弱所导致的假象；即使局限于文本，模型在提取和正确表示几何约束方面也存在困难。我们为该数据集配套了一套针对图式推理的文本、代码、图像、VLM 和基于约束的评估指标。

在该基准上评估当前基础模型证实了求解与绘图之间的显著差距。其图表的忠实度明显低于其解答准确性所暗示的水平，平均编译成功率仅为 36.14%，保真度远低于其问题解决性能，如表1所示 (https://arxiv.org/html/2608.18111#S5.T1)。总结而言，我们的主要贡献如下：

1. 1. 我们定义并标准化了“图式推理”，即生成几何一致、高保真图表的能力，并将其视为一种与问题解决不同的能力。
2. 2. 我们发布了一个包含 954 个奥林匹克几何问题的开源数据集，每个问题都附有完整解答以及由人类制作的、高保真度的图表（以图像和可渲染的 Asymptote 代码形式提供），并配套一套针对评估的文本、代码、图像、VLM 和基于约束的指标。
3. 3. 我们对最先进的基准模型进行了评估，表明强大的数学推理能力并不意味着能够构建精确的几何图表。

## 2相关工作

### 2\.1几何图表生成

存在一系列生成精确几何图表的方法。手动工具如 GeoGebra (Hohenwarter, 2007 (https://arxiv.org/html/2608.18111#bib.bib1)) 允许用户直接构建图形，而基于代码的生成则依赖于 matplotlib (Hunter, 2007 (https://arxiv.org/html/2608.18111#bib.bib2)) 等库或 Asymptote (Hammerlindl et al., 2026 (https://arxiv.org/html/2608.18111#bib.bib3)) 等专门语言；另一条研究路线是定义形式化几何语言并使用求解器来满足几何约束 (Luet al., 2021 (https://arxiv.org/html/2608.18111#bib.bib4); Wanget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib7); Zhanget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib8))。近年来，该领域已转向基于学习的生成 (Wanget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib7); Zhanget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib8); Chenget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib9))。扩散模型 (Ho et al., 2020 (https://arxiv.org/html/2608.18111#bib.bib14); Rombach et al., 2022 (https://arxiv.org/html/2608.18111#bib.bib15)) 能生成高保真图像，但往往会牺牲几何所要求的数学精度，这促使了结合文本和视觉模态的多模态大语言模型 (MLLM) 方法 (Luet al., 2024 (https://arxiv.org/html/2608.18111#bib.bib10); Chenget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib9))。例如，GeoUni (Chenget al., 2025 (https://arxiv.org/html/2608.18111#bib.bib9)) 使用 GRPO (Shao et al., 2024 (https://arxiv.org/html/2608.18111#bib.bib16)) 和多种几何特定奖励训练了一个统一模型来生成精确图表，但这需要训练一个专门的 MLLM，而基于文本和代码的方法可能就足够了。

像 GPT-5\.4 (OpenAI, 2026a (https://arxiv.org/html/2608.18111#bib.bib26)) 和 Claude Sonnet 4\.6 (Anthropic, 2026 (https://arxiv.org/html/2608.18111#bib.bib29)) 这样的基础模型已经是强大的文本和数学推理者，并且可以生成能够渲染成图表的 matplotlib 或 Asymptote 代码，无需任何专门训练或额外模态。据我们所知，尚未系统评估过从该代码渲染出的图表在几何上是否忠实于原始问题。这正是我们工作的目标。我们确定现有的基础模型能否生成几何一致的、基于代码的图表。

### 2\.2几何度量与评估

先前的几何基准通常衡量模型是否得到正确答案或产生有效的推理轨迹 (Chenet al., 2021 (https://arxiv.org/html/2608.18111#bib.bib5); Luet al., 2021 (https://arxiv.org/html/2608.18111#bib.bib4); Chenet al., 2022 (https://arxiv.org/html/2608.18111#bib.bib6); Luet al., 2024 (https://arxiv.org/html/2608.18111#bib.bib10))，但不衡量模型是否正确概念化了几何结构；一个模型可能通过文本推理得到正确答案，同时却持有不一致的图式表示 (Zhanget al., 2024 (https://arxiv.org/html/2608.18111#bib.bib11); Qiaoet al., 2025 (https://arxiv.org/html/2608.18111#bib.bib12))。将生成的图表与真值构造进行比较则需要保真度指标。

对于图像，学习到的感知距离如 LPIPS (Zhanget al., 2018 (https://arxiv.org/html/2608.18111#bib.bib37)) 捕捉视觉相似性。对于代码，文本重叠指标如 BLEU (Papineniet al., 2002 (https://arxiv.org/html/2608.18111#bib.bib21)) 和 chrF\+\+ (Popović, 2017 (https://arxiv.org/html/2608.18111#bib.bib24)) 计数共享的词和字符 n-gram，而 CodeBLEU (Renet al., 2020 (https://arxiv.org/html/2608.18111#bib.bib23)) 则添加了语法和语义信号，尽管所有这些都是比较标记分布而非几何行为。使用 LLM 或视觉语言模型作为评判者 (Zhenget al., 2023 (https://arxiv.org/html/2608.18111#bib.bib36); Chenet al., 2024 (https://arxiv.org/html/2608.18111#bib.bib35)) 可以更直接地评估几何推理，我们也将其与上述指标一同采用。

### 2\.3几何数据集

现有的几何数据集侧重于问题解决而非图表保真度。例如，GeoQA (Chenet al., 2021 (https://arxiv.org/html/2608.18111#bib.bib5)) 和 Geometry3K (Luet al., 2021 (https://arxiv.org/html/2608.18111#bib.bib4)) 将问题与图表和形式化标注配对用于答案预测；UniGeo (Chenet al., 2022 (https://arxiv.org/html/2608.18111#bib.bib6)) 统一了计算和证明；MathVista (Luet al., 2024 (https://arxiv.org/html/2608.18111#bib.bib10))、MathVerse (Zhanget al., 2024 (https://arxiv.org/html/2608.18111#bib.bib11)) 和 We\-Math (Qiaoet al., 2025 (https://arxiv.org/html/2608.18111#bib.bib12)) 针对通用视觉数学推理。另外，科学矢量图形基准表明，基于代码的图表可以作为评估目标。例如，AutomaTikZ (Belouadiet al., 2024a (https://arxiv.org/html/2608.18111#bib.bib17))、DeTikZify (Belouadiet al., 2024b (https://arxiv.org/html/2608.18111#bib.bib18))、Text2arch (Garget al., 2026 (https://arxiv.org/html/2608.18111#bib.bib34)) 和 vTikZ (Reuxet al., 2025 (https://arxiv.org/html/2608.18111#bib.bib19)) 都侧重于通用图表而非定理驱动的几何，而我们正是要解决后者。

## 3数据集整理

参考标题图1：数据整理和评估流程概览。我们从网络上抓取高质量的数学奥林匹克问题，主要来自有完善解答记录的国家和国际竞赛。然后，我们提取由人工创作的 Asymptote 代码来生成与每个解答对应的图表。为了创建我们的数据集，我们筛选数据，剔除那些不自包含或非几何类的问题。接着，我们提示 GPT-5\.4\-mini 为每个解答方法生成一个难度分数和摘要，以便进一步分析。使用难度截断值，我们整理出一个更难的几何问题子集。我们在两种不同的实验设置下，使用一系列指标评估基础模型：1) 仅提供问题陈述的基线设置；2) 包含完整参考解答和方法的设置。

#### 问题来源

我们的问题来源范围包括多种数学奥林匹克考试，主要是美国数学竞赛 (AMC)、美国数学邀请考试 (AIME)、美国数学奥林匹克 (USAMO) 和青少年数学奥林匹克 (USAJMO) (Mathematical Association of America, 2026a (https://arxiv.org/html/2608.18111#bib.bib30), b (https://arxiv.org/html/2608.18111#bib.bib31))，以及国际数学奥林匹克 (IMO) (International Mathematical Olympiad, 2026 (https://arxiv.org/html/2608.18111#bib.bib32))。我们网络抓取了可追溯到 1980 年代的问题及其在线解答 (Art of Problem Solving, 2026 (https://arxiv.org/html/2608.18111#bib.bib33))。我们只保留那些图表是由人工创作的 Asymptote 代码生成的解答，将其视为真值。然后，我们提示 GPT-5\.4\-mini (OpenAI, 2026b (https://arxiv.org/html/2608.18111#bib.bib27)) 对每个问题进行以下操作：(1) 确定其是否为几何问题，(2) 确定其是否自包含，(3) 总结参考解答的方法。总共，我们整理出包含 954 个问题的数据集，每个问题都配有人工创作的基于 Asymptote 代码的图表，并从中分离出 297 个问题作为更具挑战性的子集。整理和评估流程的概览如图1所示，完整的数据集细分见附录 C\.2 (https://arxiv.org/html/2608.18111#A3.SS2)。

#### 自包含性

我们将一个问题定义为“自包含”的条件是：其解答可以仅从问题陈述中完全复现，我们排除任何依赖于输入图像的问题。这有两个目的。首先，它使基准对纯文本模型可访问。其次，它消除了错误传播的一个来源，因为误读的输入图表会从一开始就破坏模型的推理。基于纯文本的输入可以避免这两个问题。

#### 难度过滤

我们提示 GPT-5\.4\-mini 将每个问题的难度评为 1 到 10 分。然后，我们只保留评分在 7 分或以上的问题，得到 297 个问题的困难子集。我们选择这个截断值有两个原因：它使基准保持足够的挑战性以具有区分度，并且其规模与其他评估基准相当。更详细的数据细分见附录 C\.2 (https://arxiv.org/html/2608.18111#A3.SS2)。

## 4方法论

### 4\.1模型

我们评估 Claude Sonnet 4\.6、Gemini 3\.1 Flash\-lite、GPT-5\.4\-mini、Kimi K2\.5 和 GLM 5\.1 在生成高质量、基于代码的图表方面的能力。

### 4\.2实验

我们为每个模型运行两种设置，区别在于模型获得多少关于我们的真值解答的指导。我们最初考虑仅提供问题陈述，但由于这些问题允许多种有效的解题路径，模型可能偏离我们的真值，导致其图表被与单一参考对比而不公平地惩罚；因此我们增加了第二种设置，即模型通过完整的参考解答锚定到预期的构造。在“有解答”设置中，我们提供问题陈述以及完整的参考解答，并提示模型渲染一个一致的图表，直接衡量其能否生成忠实于给定解答的图表。在“无解答”设置中，我们仅提供问题陈述，并提示模型同时进行解题推理和绘图，联合评估文本推理和几何推理。提示词见附录 A (https://arxiv.org/html/2608.18111#A1)。

### 4\.3指标

我们使用一系列文本、代码、图像和基于 VLM 的指标来评估模型，这些指标共同捕捉代码相似性和最终图表的保真度。完整细节见附录 B (https://arxiv.org/html/2608.18111#A2)。

#### 文本和代码指标