麻省理工学院科学家构建了全球最大规模的奥数级数学问题集，并向所有人开放

<p dir="ltr" id="docs-internal-guid-4c56fcbe-7fff-794e-4748-9b6db6a246ac">每年，参加国际数学奥林匹克竞赛（IMO）的国家都会带上一本收录了他们最优秀、最具原创性问题的小册子。这些小册子在各国代表团之间传阅，随后便悄然消失。此前，从未有人系统地收集、清理并公开这些资源，既没有供 AI 研究人员测试数学推理极限使用，也没有供全球那些主要依靠自学来备战此类竞赛的学生使用。</p><p dir="ltr">现在，麻省理工学院计算机科学与人工智能实验室（CSAIL）、沙特阿卜杜拉国王科技大学（KAUST）以及 HUMAIN 公司的研究人员完成了这项工作。</p><p dir="ltr">MathNet 是有史以来创建的规模最大的高质量证明类数学问题数据集。它包含超过 30,000 道由专家编写的问题及其解答，涵盖 47 个国家、17 种语言和 143 场竞赛，其规模是同类数据集中第二大者的五倍。该研究成果将于本月晚些时候在巴西举行的国际机器学习表征会议（ICLR）上展示。</p><p dir="ltr">MathNet 的独特之处不仅在于其规模，更在于其广度。以往的奥数级数据集几乎完全来源于美国和中国举办的竞赛。而 MathNet 涵盖了六大洲数十个国家，涉及 17 种语言，包括基于文本和图像的问题及解答，并跨越了四十年的竞赛数学历史。其目标是捕捉全球数学社区中存在的各种数学视角和问题解决传统，而不仅仅是那些最引人注目的部分。</p><p dir="ltr">“每个国家都会带来一本收录了其最新颖、最具创意问题的小册子，”麻省理工学院博士生、论文第一作者 Shaden Alshammari 说道，“他们彼此分享这些小册子，但从未有人花费精力去收集、清理并将它们上传到网上。”</p><p dir="ltr">构建 MathNet 需要追踪 1,595 卷 PDF 文件，总计超过 25,000 页，涵盖数字文档和十余种语言的数十年前的扫描件。该档案的重要部分来自一个意想不到的来源：Navid Safaei 是 IMO 社区的资深人士及合作作者，自 2006 年以来他一直在手动收集和扫描这些小册子。他的个人档案构成了数据集的大部分基础。</p><p dir="ltr">数据来源的重要性不亚于其规模。与大多数现有的数学数据集从 Art of Problem Solving (AoPS) 等社区论坛抽取问题不同，MathNet exclusively 来源于官方全国竞赛小册子。这些小册子中的解答由专家撰写并经同行评审，且往往长达数页，作者会逐步展示解决同一问题的多种方法。这种深度为 AI 模型学习数学推理提供了远比社区来源数据集中常见的那种简短、非正式解答更为丰富的信号。这也意味着该数据集对学生真正有用：任何准备参加 IMO 或全国竞赛的人现在都可以访问一个集中式、可搜索的高质量问题和详细解答集合，涵盖了世界各地的解题传统。</p><p dir="ltr">“我记得有很多学生都是靠自己努力，”曾以学生身份参加 IMO 的 Alshammari 说道，“他们所在的国家没有人专门训练他们参加这类竞赛。我们希望这能提供一个集中场所，让他们能够学习高质量的问题和解答。”</p><p dir="ltr">该团队在 IMO 社区有着深厚的根基。合著者 Sultan Albarakati 目前担任 IMO 董事会成员，研究人员正致力于直接向 IMO 基金会分享该数据集。为了验证数据集，他们组建了一个由来自亚美尼亚、俄罗斯、乌克兰、越南和波兰等国的 30 多名人类评估者组成的评分小组，共同协作以验证数千个解答。</p><p dir="ltr">“MathNet 数据库有望成为学生和领队寻找新题目进行练习或寻求难题解答的优秀资源，”瑞士 IMO 副领队 Tanish Patil 说道，“虽然目前也存在其他奥数问题档案（尤其是 AoPS 上的 Contest Collections 论坛），但这些资源缺乏标准化的格式系统、经过验证的解答以及主题和理论所需的重要问题元数据。观察该数据集如何被用于提升推理模型的性能也将很有趣，以及我们是否很快就能可靠地解决在创建新奥数题目时的一个重要问题：确定一个问题是否真正具有原创性。”</p><p dir="ltr">MathNet 还作为 AI 性能的严格基准，其结果揭示了一幅比近期关于 AI 数学能力的头条新闻所暗示的更为复杂的图景。前沿模型取得了非凡的进展：据报道，一些模型已在 IMO 中达到金牌水平，并在标准基准测试中解决了大多数人类都会感到困惑的问题。但 MathNet 显示这种进步并不均衡。即使在表现最佳的测试模型 GPT-5 中，在 MathNet 包含 6,400 道问题的主要基准测试上的平均分约为 69.3%，这意味着它未能解决近三分之一的奥数级问题。此外，当问题包含图形时，所有模型的性能均显著下降，暴露出即使是能力最强的模型在视觉推理方面也存在一贯的弱点。</p><p dir="ltr">几个开源模型在蒙古语问题上得分为 0%，突显了当前 AI 系统尽管整体强大但在另一个维度上的不足。</p><p dir="ltr">“GPT 模型在英语和其他语言上的表现同样出色，”Alshammari 说，“但许多开源模型在蒙古语等不常见语言上完全失效。”</p><p dir="ltr">MathNet 的多样性还旨在解决 AI 模型学习数学方式中的一个更深层次的局限性。当训练数据偏向英语和中文问题时，模型吸收的只是数学文化的狭窄切片。罗马尼亚的组合数学问题或巴西的数论问题可能从完全不同的角度切入相同的底层概念。研究人员认为，接触这种范围广泛的内容，能使人类和 AI 系统都成为更好的数学思考者。</p><p dir="ltr">除了问题解决能力，MathNet 还引入了一个检索基准，测试模型是否能识别两个问题是否共享相同的底层数学结构，这种能力对 AI 开发和数学社区本身都至关重要。多年来，近乎重复的问题曾出现在真实的 IMO 考试中，因为在不同的符号、语言和格式之间发现数学等价性确实很难，即使是专家人类委员会也是如此。研究人员测试了八种最先进的嵌入模型，发现即使是表现最强的模型，在首次尝试时也只有约 5% 的概率正确识别匹配项，且模型经常将结构上不相关的问题排在与等价问题更相似的位置。</p><p dir="ltr">该数据集还包括一个检索增强生成基准，测试在向模型提出新问题前先提供一个结构相关的问题是否能提高其性能。确实如此，但仅当检索到的问题真正相关时。DeepSeek-V3.2-Speciale 在配合良好匹配的检索时得分提高了多达 12 个百分点，而在约 22% 的情况下，不相关的检索会导致性能下降。</p><p dir="ltr">Alshammari 与 Safaei、HUMAIN AI 工程师 Abrar Zainal、KAUST 学术院长 Sultan Albarakati 以及 MIT CSAIL 的同事共同撰写了这篇论文：硕士生 Kevin Wen SB ’25；微软首席工程经理 Mark Hamilton SM ’22，博士 ‘25；以及教授 William Freeman 和 Antonio Torralba。他们的工作受...</p>