论文页面 - Soohak：由数学家策划的评估 LLM 研究级数学能力的基准测试

来源：https://huggingface.co/papers/2605.09063 发布于 5 月 9 日

当日 #1 论文 (https://huggingface.co/papers/date/2026-05-12) 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

一项由数学家创建的包含 439 道题目的数学基准测试表明，主流语言模型在高级推理能力方面存在显著差距，特别是在识别病态问题（ill-posed problems）方面。

在前沿 LLM 最近在国际数学奥林匹克（IMO）中取得金牌级表现后，社区正在寻找下一个有意义且具有挑战性的目标，以衡量 LLM 的推理能力 (https://huggingface.co/papers?q=LLM%20reasoning)。虽然奥林匹克风格的问题 (https://huggingface.co/papers?q=olympiad-style%20problems) 仅衡量逐步推理能力，但研究级问题 (https://huggingface.co/papers?q=research-level%20problems) 则利用此类推理来推动数学知识 (https://huggingface.co/papers?q=mathematical%20knowledge) 前沿的发展，因而成为一种极具吸引力的替代方案。然而，研究级数学基准测试仍然稀缺，因为此类问题难以获取（例如，Riemann Bench 和 FrontierMath-Tier 4 分别仅包含 25 和 50 道题目）。为了支持对下一代前沿模型 (https://huggingface.co/papers?q=frontier%20models) 的可靠评估，我们推出了 Soohak，这是一个由 64 位数学家从头全新编写的 439 题基准测试。Soohak 包含两个子集。在挑战子集（Challenge subset）中，包括 Gemini-3-Pro、GPT-5 和 Claude-Opus-4.5 在内的前沿模型 (https://huggingface.co/papers?q=frontier%20models) 得分分别为 30.4%、26.4% 和 10.4%，仍有巨大的提升空间；而 Qwen3-235B、GPT-OSS-120B 和 Kimi-2.5 等领先开源权重模型的得分仍低于 15%。值得注意的是，除了标准的问题求解外，Soohak 还引入了一个拒绝子集（refusal subset）(https://huggingface.co/papers?q=refusal%20subset)，用于测试研究数学中固有的能力：即识别病态问题 (https://huggingface.co/papers?q=ill-posed%20problems) 并暂停作答，而不是给出自信但缺乏依据的答案。在该子集中，没有模型的得分超过 50%，这表明“拒绝回答”是一个当前模型尚未直接解决的新优化目标。为防止数据污染，该数据集将于 2026 年底公开，在此之前可根据要求提供模型评估结果。

查看 arXiv 页面 (https://arxiv.org/abs/2605.09063)查看 PDF (https://arxiv.org/pdf/2605.09063)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.09063)

在您的 agent 中获取此论文：

hf papers read 2605\.09063

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.09063 即可从此页面建立链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.09063 即可从此页面建立链接。

引用此论文的 Space0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.09063 即可从此页面建立链接。

包含此论文的合集0

无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面建立链接。