论文页面 - AdvancedMathBench：面向高级数学证明生成与验证的基准套件

来源：https://huggingface.co/papers/2607.11849 作者： ， ， ， ， ， ， ， ， ， ， ，

摘要

大型语言模型（LLMs）在高中和奥林匹克风格的数学任务上取得了显著表现，但其在高等数学方面的能力仍未被充分理解。然而，现有基准在覆盖范围和评估粒度上存在不足：其学科覆盖有限，且往往仅依赖最终答案的正误或粗略判断，导致推理过程的有效性未得到充分评估。为填补这一空白，我们推出了 AdvancedMathBench，一个用于评估高等数学推理能力的基准套件。其核心证明生成基准 ProverBench 包含 296 道题目，涵盖本科与博士资格考试水平。为提供可靠的证明评估，我们开发了专用的自动验证流水线，该流水线在大规模专家标注数据上训练，既能给出正确性判定，也能对证明错误进行细粒度评估，并在保留的证明轨迹上与人类专家表现出高度一致性。我们还引入了 VerifierBench，包含 888 条模型生成的证明轨迹及其对应的专家真值，用于评估模型是否能正确判断证明有效性并提供合理的验证理由。实验表明，AdvancedMathBench 对前沿模型仍具有挑战性。在证明生成任务中，表现最佳的模型 GPT-5.5-xhigh 在 UGD 和 QE 子项上仅分别达到 75.8 和 66.1，说明高级数学证明构造仍有很大改进空间。在证明验证任务中，最佳模型的 Balanced F1 仅达 65.1，且模型普遍呈现低真负率，表明关键错误检测仍是主要瓶颈。

查看arXiv页面 (https://arxiv.org/abs/2607.11849)查看PDF (https://arxiv.org/pdf/2607.11849)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11849)

引用本文的模型0

无模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2607.11849，以便从本页面链接。

引用本文的数据集0

无数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.11849，以便从本页面链接。

引用本文的 Space0

无 Space 链接本论文

请在 Space README.md 中引用 arxiv.org/abs/2607.11849，以便从本页面链接。

包含本论文的收藏0

无收藏包含本论文

请将本论文添加至收藏 (https://huggingface.co/new-collection)，以便从本页面链接。