无尽的考试：从当今模型迈向超级智能的数学构造

Hugging Face Daily Papers 论文
benchmark mathematical-reasoning superintelligence evaluation open-source frontier-models

摘要

论文提出了"无尽的考试"（The Endless Exam）这一基准，模型可自动构造并验证集合、图、编码等数学对象，即使超越已发表参考基准后仍能获得无上限的连续得分。在17种配置下评测的前沿模型均未能超越已发表的前沿水平，凸显出通向超级智能级别数学能力之间持续存在的差距。

我们提出"无尽的考试"（Endless Exam）——一个涵盖十四类参数化数学构造问题族的基准，其可验证的得分能够区分模型在超越已发表数学前沿之前与之后的进步。每个提交的对象都会自动检查其有效性，并相对于已发表的前沿或构造基线获得相对质量得分，且改进幅度不设1的上限。该基准从开放数学问题中获取长期挑战，并通过调整参数生成更大规模的实例。紧凑的证书使大型构造无需列出全部元素即可被验证。在对六个模型、69个不同实例的评测中，连续的质量得分能够区分不同模型的表现，尽管30个已发表前沿参考中无一被超越。规模—质量曲线展示了构造质量如何随问题规模增大而变化。我们公开发布了生成器、验证器、参考基准、模型响应与分析，以支持在人类前沿之前与之后的持续测量。
查看原文
查看缓存全文

缓存时间: 2026/10/01 12:24

论文页面 - The Endless Exam：从当今模型通向超级智能的数学构造

Source: https://huggingface.co/papers/2609.24555

The Endless Exam：自动验证的数学构造，得分不设上限。

模型会构造集合、图、编码及其他数学对象。有效答案将根据质量获得连续得分，因此一旦超越某个参照结果，后续改进仍能继续累积分数。在相同的数学规则下，更高的维度、更大的图直径以及更长的编码，都会带来进一步的挑战。

当前发布版本涵盖 14 个系列中的 69 个实例，包含 17 种评估配置，其中包括编码与网络访问能力。排行榜综合了 30 个已发表的前沿参照结果和 39 个可复现的构造基线。平均参照对齐得分为 100 分，且得分可以超过该水平。在受评估的模型中，尚无任何一个超过已发表的前沿结果。

代码、验证器、参照构造以及模型响应均在所链接的仓库中提供。欢迎提交新的模型评估与经独立验证的构造结果。

相似文章

人工性的首次考试：一项以大语言模型为参照的超智能 C 测试

arXiv cs.AI

该论文提出了“人工智能的第一场考试”（Artificiality's First Exam），这是一项基于 Levin 的 Kt 复杂度的 C-test 基准，使用大语言模型作为参考机，从而能够认证超出当前前沿模型能力的超高难度测试题目，并评估了十二个大语言模型，将其表现映射到“超智能”难度区间。

FrontierMath Erdős

arXiv cs.CL

本文介绍了FrontierMath Erdős，这是一个包含68个开放性Erdős问题的基准测试，用于使用Lean证明助手评估数学领域的AI模型，旨在解决当前AI研究演示中的不足。

数学的终结

Hacker News Top

Daniel Litt 探讨了一个假设的未来：AI 在数学上超越人类，这可能由于重复性工作和数学界人类参与度降低而引发进展停滞。

数学与理论计算机科学的十项进展

Simon Willison's Blog

OpenAI使用内部模型Astra解决了十个停滞了十多年的数学问题，每个问题花费不到2000美元，并发布了Lean 4形式化证明及一篇论文。这些结果引发了对AI在数学中作用的反思。