AIMO Interpretability Challenge

# AIMO 可解释性挑战赛
来源：https://arxiv.org/html/2607.13899
11footnotetext:日本国立情报学研究所2慕尼黑机器学习中心 / MaiNLP LMU
3图宾根大学4福州大学5马萨里克大学6伦敦大学学院
7AIMO 组织团队8牛津大学9Martian∗核心组织者Michal Štefánik1∗Philipp Mondorf2∗Andreas Waldis3∗Qianying Liu1Chuan Yang4 Michal Spiegel5Josef Kuchař5Marek Kadlčík5Adam Vawda\-Oomerjee6,1 Chaoran Liu1Simon Frieder7,8Barbara Plank2Fazl Barez8,9Pontus Stenetorp6,1 https://aimo-interp.github.io/

###### 摘要

我们提出 AIMO 可解释性挑战赛，这是一项基于模型内部机制来区分前沿数学语言模型中*鲁棒*推理与*虚假*推理的竞赛。该挑战赛的动机源于标准推理基准的一个核心局限性：强大的最终答案准确性并不能揭示模型是依赖稳定的推理机制，还是利用脆弱的推理捷径。基于 AI 数学奥林匹克 (AIMO) 的问题和提交方案，以及领域模型倡议的资源，该竞赛将提供 (1) 新发布的奥林匹克级数学推理问题及其符号表示，从而能够生成新颖的功能变体，(2) 对前沿推理模型的访问权限，以及 (3) 对这些问题的模型对抗鲁棒性评估。参与者将利用这些资源以及我们的计算基础设施支持，来开发识别哪些模型能鲁棒地解决问题的方法。我们的竞赛还将创建一个新的、开放的鲁棒性基准和基线系统，旨在为数学推理和可解释性的标准基准测试提供持久基础。从科学角度看，该竞赛围绕 AI 研究中的一个核心问题，将可解释性和泛化研究联系起来：我们能否确定，以及在多大程度上，前沿 AI 模型的决策制定是可泛化的，从而也是可靠的？

#### 关键词

可解释性，推理，鲁棒性，语言模型，前沿 AI 能力

## 1 竞赛描述

### 1.1 背景与影响

大语言模型的最新进展凸显了 AI 中的一个根本分歧：前沿系统是否开始展现出泛化的、前沿的推理能力，或者它们仍然是高度胜任的模式匹配器，其成功往往依赖于虚假线索（Feng等人，2024 (https://arxiv.org/html/2607.13899#bib.bib12)；Mondorf 和 Plank，2024 (https://arxiv.org/html/2607.13899#bib.bib11)；Mirzadeh等人，2025 (https://arxiv.org/html/2607.13899#bib.bib16)）。仅凭标准基准分数无法解决这一分歧，因为它们无法证明系统*如何*得出正确答案。可解释性提供了一条有前景的前进道路：先前的工作揭示了内部表示的鲁棒机制（Štefánik等人，2025 (https://arxiv.org/html/2607.13899#bib.bib22)），或者识别出据称实现了有意义功能的电路，将高层问题分解为子问题（Wang等人，2023 (https://arxiv.org/html/2607.13899#bib.bib18)；Brinkmann等人，2024 (https://arxiv.org/html/2607.13899#bib.bib17)）——这表明模型的底层机制确实是极其鲁棒的。然而，当前的大部分工作仍以引人注目的案例研究和局部化分析为主，这些研究难以比较和泛化（Bereska 和 Gavves，2024 (https://arxiv.org/html/2607.13899#bib.bib13)；Templeton等人，2024 (https://arxiv.org/html/2607.13899#bib.bib14)；Lindsey等人，2025 (https://arxiv.org/html/2607.13899#bib.bib15)）。

拟议的竞赛针对这一差距。其科学目标是衡量可解释性方法是否能够识别跨问题实例泛化的机制，并有意义地区分鲁棒模型和脆弱模型。这个问题涵盖了多个 NeurIPS 相关领域，包括可解释性、评估、泛化、推理、数学 AI 和 AI 安全。

本次竞赛的提交方案将适用于审计高风险推理系统。在实际部署中，研究实验室、教育提供者或科学辅助平台可能会在多个模型中进行选择，这些模型具有相似的基准准确性，但可靠性却有显著差异。竞赛通过要求参与者从行为和内部模型表示中推断鲁棒性，将这一场景操作化。除了竞赛本身，由此产生的符号化鲁棒性基准也将支持未来专注于开发更鲁棒前沿模型的工作。

我们预计，对模型前沿能力感兴趣的普通 ML 受众，以及对理解模型内部机制感兴趣的可解释性社区，都会对此产生兴趣。2026 年，在 Kaggle111https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-3 上举办的 AIMO 3111https://aimoprize.com/ 吸引了超过 4000 个团队，表明 AI 社区对奥林匹克级推理系统有显著的上游兴趣。在我们的挑战赛中，我们预计会有大约 20-40 个来自专注于可解释性和泛化研究团队的优秀提交方案。

### 1.2 新颖性

相较于 ML 会议上的先前竞赛，AIMO 可解释性挑战赛是一项全新的竞赛。其新颖之处在于将可解释性与一个对整个 AI 社区日益相关但标准基准并未直接针对的目标联系起来：评估那些*成功完成*大多数复杂推理任务的前沿模型是否*鲁棒地*完成了这些任务。

虽然本次竞赛不会建立第一个可用的可解释性基准，但在此挑战赛中开发的基准也将为可解释性领域做出有价值且持久的贡献。现有的可解释性基准侧重于在初级和/或合成环境中评估可解释性方法；与我们最一致的是，RAVEL 基准测试方法能否识别和分离属性-值信息（Huang等人，2024 (https://arxiv.org/html/2607.13899#bib.bib19)），InterpBench 测试方法能否从具有已知电路的半合成 Transformer 中恢复植入的内部算法（Gupta等人，2024 (https://arxiv.org/html/2607.13899#bib.bib20)），而 MIB 则在合成、受控的任务（如算术）上推进了电路和因果变量定位的标准化评估（Mueller等人，2025 (https://arxiv.org/html/2607.13899#bib.bib21)）。

这些基准为开发更好的可解释性方法做出了宝贵贡献，但它们高度受控的设置限制了其对理解前沿模型行为的贡献。我们的目标不是验证已知子组件的恢复，而是测试可解释性是否能确定强推理任务上的优秀表现是反映了稳定、可泛化的推理机制，还是反映了在结构化变异下失效的脆弱策略。这一目标与近期一些致力于从内部电路（Huang等人，2025 (https://arxiv.org/html/2607.13899#bib.bib23)）或注意力模式（Li等人，2025 (https://arxiv.org/html/2607.13899#bib.bib24)；Spiegel等人，2025 (https://arxiv.org/html/2607.13899#bib.bib25)）中识别泛化的工作是一致的。对于这一研究方向，拟议的竞赛带来了一个标准基准和一个可重复使用的工具集，用于理解最先进模型的前沿推理能力的性质和局限。

### 1.3 数据

AIMO 2 参考问题 480182[⬇](data:text/plain;base64,UFJPQkxFTTogTGV0IEFCQyBiZSBhIHRyaWFuZ2xlIHdpdGggQkM9W2lucHV0MV0sIENBPVtpbnB1dDJdLCBhbmQgQUI9W2lucHV0M10uIFBvaW50IFggbGllcyBvbiBzZWdtZW50CiAgICAgICAgIEFDIHN1Y2ggdGhhdCBCWCBiaXNlY3RzIGFuZ2xlIENCQS4gTGV0IG9tZWdhIGJlIHRoZSBjaXJjdW1jaXJjbGUgb2YgdHJpYW5nbGUgQUJYLiBMZXQgWSBiZQogICAgICAgICBhIHBvaW50IG9uIG9tZWdhIGRpZmZlcmVudCBmcm9tIFggc3VjaCB0aGF0IENYPUNZLiBMaW5lIFhZIG1lZXRzIEJDIGF0IEUuIFRoZSBsZW5ndGggb2YgdGhlCiAgICAgICAgIHNlZ21lbnQgQkUgY2FuIGJlIHdyaXR0ZW4gYXMgbS9uLCB3aGVyZSBtIGFuZCBuIGFyZSBjb3ByaW1lIHBvc2l0aXZlIGludGVnZXJzLiBGaW5kIG0rbi4KSU5QVVQgQ09OU1RSQUlOVFM6IENBID4gQkMgPj4gQUIgKEJDID4gQUIgKiAyKQoKZGVmIHNvbHV0aW9uKGJjLCBjYSwgYWIpOgogICAgY3ggPSAoYmMgKiBjYSkgLyAoYmMgKyBhYikgICAgICAgICAgIyBTdGVwIDE6IEZpbmQgQ1ggYnkgYXBwbHlpbmcgdGhlIEFuZ2xlIEJpc2VjdG9yIFRoZW9yZW0uCiAgICBwb3dlcl9jID0gY3ggKiBjYSAgICAgICAgICAgICAgICAgICAjIFN0ZXAgMjogQ29tcHV0ZSB0aGUgcG93ZXIgb2YgQyB3cnQgdGhlIGNpcmN1bWNpcmNsZSBvZiBBQlguCiAgICBjYl9wcmltZSA9IHBvd2VyX2MgLyBiYyAgICAgICAgICAgICAjIFN0ZXAgMzogRmluZCB0aGUgY2lyY2xlJ3Mgc2Vjb25kIGludGVyc2VjdGlvbiB3aXRoIGxpbmUgQkMuCiAgICB4ID0gKGJjICogY2JfcHJpbWUgKyBjeCAqIGN4KSAvIChiYyArIGNiX3ByaW1lKSAgIyBTdGVwIDQ6IExvY2F0ZSBFIG9uIEJDIGJ5IGVxdWF0aW5nIHBvd2Vycy4KICAgIGJlID0gYWJzKGJjIC0geCkgICAgICAgICAgICAgICAgICAgICMgU3RlcCA1OiBDb252ZXJ0IEUncyBjb29yZGluYXRlIGludG8gc2VnbWVudCBsZW5ndGggQkUuCiAgICBiZXN0X251bSwgYmVzdF9kZW4gPSBtaW4oICAgICAgICAgICAjIFN0ZXAgNjogQXBwcm94aW1hdGUgQkUgYXMgYSBmcmFjdGlvbiBtL24uCiAgICAgICAgKChyb3VuZChiZSAqIGRlbiksIGRlbikgZm9yIGRlbiBpbiByYW5nZSgxLCAxMDAwKSksCiAgICAgICAga2V5PWxhbWJkYSB0OiBhYnMoYmUgLSB0WzBdIC8gdFsxXSkpCiAgICBhLCBiID0gYmVzdF9udW0sIGJlc3RfZGVuICAgICAgICAgICAjIFN0ZXAgNzogUmVkdWNlIG0vbiB1c2luZyB0aGUgRXVjbGlkZWFuIGFsZ29yaXRobS4KICAgIHdoaWxlIGI6CiAgICAgICAgYSwgYiA9IGIsIGEgJSBiCiAgICByZXR1cm4gYmVzdF9udW0gLy8gYSArIGJlc3RfZGVuIC8vIGE=)问题：设 ABC 是一个三角形，其中 BC=[input1]，CA=[input2]，AB=[input3]。点 X 在线段 AC 上，使得 BX 平分角 CBA。设 omega 是三角形 ABX 的外接圆。设 Y 是 omega 上不同于 X 的一点，使得 CX=CY。直线 XY 交 BC 于 E。线段 BE 的长度可以写成 m/n，其中 m 和 n 是互质的正整数。求 m+n。输入约束：CA > BC >> AB (BC > AB * 2)

def solution(bc, ca, ab):
    cx = (bc * ca) / (bc + ab)          # 步骤 1：应用角平分线定理求 CX。
    power_c = cx * ca                    # 步骤 2：计算 C 关于三角形 ABX 外接圆的幂。
    cb_prime = power_c / bc              # 步骤 3：求该圆与直线 BC 的第二个交点。
    x = (bc * cb_prime + cx * cx) / (bc + cb_prime)  # 步骤 4：通过相等幂在 BC 上定位 E。
    be = abs(bc - x)                     # 步骤 5：将 E 的坐标转换为线段长度 BE。
    best_num, best_den = min(            # 步骤 6：将 BE 近似为分数 m/n。
        ((round(be * den), den) for den in range(1, 1000)),
        key=lambda t: abs(be - t[0] / t[1]))
    a, b = best_num, best_den            # 步骤 7：使用欧几里得算法化简 m/n。
    while b:
        a, b = b, a % b
    return best_num // a + best_den // a图 1：AIMO 2 参考问题 480182 的新注释符号模板。该竞赛使用三个主要数据组件：

1. 1.原始奥林匹克级数学问题核心基准将来自 AIMO 2、AIMO 3、JMO（日本数学奥林匹克）以及过去两年 AIME（美国数学邀请赛）中包含的前沿数学问题，总计 180 道题。得益于我们组织团队中数学家的密切参与，我们可以保证训练集和测试集中 50% 的问题都是*新的*，即未曾在互联网上发布过。我们已经确认这些集合的许可证允许在竞赛中使用（公开的 AIMO 和 AIME 问题均采用 Apache 2.0 许可，并且我们已获得私有 AIMO 和 JMO 问题所有者的确认）。
2. 2.符号推理注释对于原始问题，我们创建了类似于 GSM-Symbolic 引入的功能变异的新注释符号推理链（Mirzadeh等人，2025 (https://arxiv.org/html/2607.13899#bib.bib16)），但侧重于前沿推理水平：这些链捕获了有效解背后的逻辑推理，使我们能够生成不受数量限制的、遵循受控分布偏移的*对抗性问题变体*（图1 (https://arxiv.org/html/2607.13899#S1.F1)）。我们将使用这些来识别和注释被解释模型的鲁棒性。在这个数据集中，我们利用了我们的组织委员会中直接参与的奥林匹克级数学家带来的深厚数学专业知识，其中包括来自中国福州大学、日本国立情报学研究所的数学家，以及他们来自北京大学的顶尖数学家网络。截至提交日期，我们接近完成注释过程，并将在提交截止日期后一个月内准备好完整的数据集。222带有我们新注释的、经过验证的符号链（允许扰动）的公开问题样本可在以下网址获取：https://huggingface.co/datasets/aimo-interp/problems-public 在竞赛开始前，包含问题及相关符号推理链的完整训练集将在 Apache 2.0 许可下公开发布，供任何使用。在附录B (https://arxiv.org/html/2607.13899#A2) 中，我们提供了使用已收集的符号链进行扰动的鲁棒性结果，证明它们确实能够生成可以系统性地误导 AIMO 内部和外部前沿 AI 模型的问题变体，包括 Qwen、GPT 5.2 和 Gemini-Pro。
3. 3.被解释模型集作为分析对象，本次挑战赛将挑选 AIMO 提交方案中表现最佳的模型，并根据它们在反事实评估集上的评估结果导出鲁棒/虚假标签。AIMO 组织者参与本次挑战赛，使竞赛参与者和我们能够方便地访问这些模型。

数据划分收集到的问题将被划分为训练集和测试集：

- •训练集将包括来自已发布和未发布来源（AIMO、AIME、JMO）的 150 个问题。
- •测试集将包含 AIMO 3 组织者提供的 30 个不同难度级别的问题。这些问题目前且不会公开，仅能通过参与者在我们服务器上的自动评估提交来访问。

数据量足以进行训练和有意义的评估，因为鲁棒性标签的有效大小（第1.4节 (https://arxiv.org/html/2607.13899#S1.SS4)）来自原始问题和模型的叉积。我们的目标是在评估中至少包含 8 个表现最佳的模型，从而产生大约 1200 个训练实例和 240 个测试实例。尽管如此，为了支持更多数据密集型方法，我们还将发布一个基于 LLM 的代码库，用于从不需要符号链的通用扰动生成对抗训练数据。我们的新基准不会涉及个人或敏感用户数据。新的符号链由组织者直接创建，而非从人类受试者收集。

### 1.4 任务与应用场景

AIMO 可解释性挑战赛的核心任务是确定哪个模型对给定问题提供了鲁棒的正确解答。形式上，给定一个三元组：

\(问题X，模型M，分布偏移Δ\)\(\\text\{问题 \}X，\\text\{模型 \}M，\\text\{分布偏移 \}\\Delta\)其中M\(P\)M\(P\)是正确的（即M\(X\)=y_trueM\(X\)=y\_\{\\text\{true\}\}），任务是确定对于Δ\\Delta下的所有扰动，M\(ΔX\)M\(\\Delta X\)是否也正确。参与者需要创建一个提交系统SS，为每个三元组\(X，M，Δ\)\(X，M, \\Delta\)分配两个类别之一：

S\(X，M, Δ\)=\begin{cases} 0 &\text{如果对于大多数 ΔX∈Δ: M(X)=y_true 且 M(ΔX)≠y_true} \\ 1 &\text{否则} \end{cases}

挑战总结给定一个数学问题以及一个提供该问题正确解答的模型，任务是决定该模型是否针对预定义的分布偏移集*鲁棒地*响应给定问题。虽然确定一