经专家验证的STEM问答
摘要
本文介绍了一个经专家验证的STEM问答数据集,旨在填补现有基准测试中的空白,展示了前沿AI模型的低性能以及模型训练的潜力。
arXiv:2608.28591v1 Announce Type: new
摘要:近年来,AI的进步正在帮助科学家在数学、医学和材料科学等领域取得突破。新的AI模型评估数据集为这些AI进展做出了贡献。在STEM领域,前沿模型已经消耗了大部分可用的在线数据,因此需要人工创建的数据集来编码该领域顶尖专家的知识。该领域有多个STEM数据集可供研究社区使用。然而,这些数据集中存在一些空白,仍有改进空间。空白的例子包括:(1) 模型在这些数据集上的性能饱和,没有留下有意义评估的空间;(2) 分类分布偏斜;(3) 多项选择题格式与科学家在现实世界中使用AI的方式不符;(4) 不准确的答案和推理,部分由基于竞赛的数据收集和有时限的审查过程导致。在这项研究中,我们介绍了'Expert-validated STEM QA',一个高质量、经专家验证的STEM数据集(N=398),涵盖物理、化学、生物学和数学,由241位领域专家创建。我们(1) 仔细设计了具有平衡分布的分类法,(2) 通过质量驱动的激励机制审核问题贡献者,(3) 进行了多轮审查,并基于共识由领域专家验证修订,(4) 以可验证的问题和答案格式创建了数据集。我们的研究展示了前沿AI模型在该数据集上作为基准的低性能($<25\%$)。在另一个私有版本的数据集(N=2,000)上进行后训练后,开源模型在HLE验证数据集的STEM子集上的性能相对于基线模型提高了$15\%$(p=0.045),表明该数据集在模型训练中具有潜在效用。我们已经将数据集的一部分开源,供AI研究社区使用。
查看缓存全文
缓存时间: 2026/09/01 12:24
# 专家验证的STEM问答数据集 来源:https://arxiv.org/html/2608.28591 Kihwan Han, Saurabh Patil, Chinmayee Shukla, Abhinav Sharma, Marko Pavlovic∗, Anshuman Lall∗, Mahesh Joshi Turing ∗工作在Turing期间完成 [email protected] ###### 摘要 人工智能的最新进展正助力科学家在数学、医学和材料科学等领域取得突破。新的AI模型评估数据集为这类AI进步做出了贡献。在STEM领域,前沿模型已消耗了大部分现有在线数据,这催生了需要由领域顶尖专家知识编码而成的人工创建数据集。该研究领域已有若干STEM数据集可供研究界使用。然而,这些数据集存在一些差距,仍有改进空间。差距示例包括:(1) 模型在这些数据集上的表现已饱和,为有意义的评估留下的提升空间有限,(2) 分类分布不均衡,(3) 多项选择题格式与科学家在实际中使用AI的方式不一致,以及(4) 答案和解释部分不准确,这源于竞赛型的数据收集方式和限时的审查流程。本研究中,我们呈现了“专家验证的STEM问答”数据集——一个高质量、经专家验证的STEM数据集(N=398),涵盖物理、化学、生物和数学,由241位领域专家创建。我们(1) 精心设计了具有均衡分布的分类体系,(2) 通过质量驱动的激励机制对问题贡献者进行了筛选,(3) 进行了多轮审查,并通过基于共识的领域专家验证进行了修订,以及(4) 以可验证的问答格式创建了数据集。我们的研究将该数据集作为基准,展示了前沿AI模型在其上的表现较低(<25%)。在另一个独立的、私有的数据集版本(N=2,000)上进行后训练,使得开源模型在HLE验证数据集的STEM子集上的性能相对于基线模型提高了15%(p=0.045),这表明该数据集对于模型训练具有潜在效用。我们已在https://huggingface.co/datasets/TuringEnterprises/Open-RL将部分数据集开源供AI研究社区使用。 ## 1 引言 科学通过积累现有知识而进步——无论是对其完善还是反驳。这种增量性质要求进行多步推理:科学家必须将问题分解为子任务,制定分层假设,并在多个选项中导航以得出结论。近年来,人工智能的快速发展正在变革包括科学研究在内的众多领域。例如,AI已使生物学家能够预测蛋白质结构和生物分子复合结构,包括蛋白质-配体和蛋白质-核酸复合物,从而解决了结构生物学和药物发现中的长期挑战(Abramson et al., 2024)。此外,推理模型的进展增加了科学家对AI在研究中的采用。相应地,已有多个数据集用于衡量AI的科学推理能力。 然而,现有基准存在显著差距。例如,对于某些最先进模型,一些基准已接近饱和(Rein et al., 2023)。在某些情况下,对多选或填空格式的依赖(Rein et al., 2023; Team et al., 2025; Phan et al., 2025; Zhai et al., 2026)与科学家通常使用AI的方式不一致。一些数据集表现出分类分布偏斜(Phan et al., 2025; Zhai et al., 2026)或局限于特定领域。若干数据集是从在线资源中整理而来(Team et al., 2025; Lu et al., 2025; Ma et al., 2025),引发了数据泄露到模型训练中的担忧。最重要的是,数据集可能存在答案不准确或问题表述模糊的问题(Phan et al., 2025),这可能是由于竞赛型的数据收集机制和限时的审查流程所致。一些数据集完全缺乏人工验证(Lu et al., 2025; Moshkov et al., 2025)。特别是,没有经过彻底专家审查的不准确答案,对于科学家作为潜在AI用户而言将是关键问题,因为源于有缺陷基准的模型性能分数会歪曲真实能力。因此,它可能在回答科学家问题时虚增模型的表面置信度,进而对科学界产生负面影响。 在此,我们呈现“专家验证的STEM问答”数据集——一个高质量且经专家验证的STEM数据集(N=398),涵盖物理、化学、生物和数学(PCMB;示例见图1)。该数据集使用精心设计的分类体系、质量驱动的激励机制以及基于共识的多层专家审查构建。本研究中,我们描述了数据生成工作流程,展示了该数据集在基准测试模型性能方面的效用,并提供了使用该数据集改进现有模型科学推理能力的案例研究。 参见图例说明 图1:数据生成过程。A:我们根据对数据量、领域、分类示例等规范设计数据集,生成带有智能审查员的标注和审查指南。B:基于这些产物,标注员生成数据,工作流中经历了从智能审查员到团队负责人的四级审查,并贯穿修订过程。C:分别来自物理、化学、数学和生物的数据集示例。该数据集包含(问题、解释、答案)三元组。 ## 2 材料与方法 ### 2.1 数据生成过程 总体而言,数据生成过程包括数据集设计、标注和审查(图1)。 #### 2.1.1 数据集设计 首先,我们咨询了领域专家和团队负责人,以确定未来数据集的属性,同时考虑了当前科学AI基准的差距和数据生成的实际约束。然后我们指定了数据集设计(图1A),定义了:(1) 单个数据实例的结构(问题、解释和答案),(2) 问题格式(可验证的问答),(3) 熟练程度级别,(4) 数据量,(5) 标注员和审查员的关键资格要求,(6) 领域(PCMB),(7) 确保主题多样性的分类体系,(8) 确保数据质量的审查标准——包括不可搜索性、事实准确性以及多步推理要求,以及(9) 哪些审查标准可通过智能审查员自动化。该过程产生了三个产物:标注员指南、审查员指南和智能审查员。 ##### 标注员指南 为标准化数据集中的示例,我们向标注员提供了清晰的指南。指南中的关键项包括项目目标、单个实例定义、分类体系、元数据以及根据中等模型响应校准的难度级别。 分类体系在每个领域下包含两个层级(L1和L2)。为在分类体系中反映历史基础、概念广度和现代研究发展之间的平衡,我们结合了以下方法:(1) 扩展来自GPQA的现有分类体系(Rein et al., 2023),(2) 参考各学科顶级科学期刊的研究领域,(3) 回顾涵盖理论、方法和应用的关键研究论文,以及(4) 基于团队中专家的经验和专业知识进行讨论。我们没有要求在分类体系类别中均匀覆盖,而是指导标注员在其专业领域内贡献问题(完整分类体系详情请参阅附录A)。 为便于专家审查,要求标注员为每个实例记录元数据。元数据包括:问题无法通过网络搜索直接回答的证据,以及模型响应评估,确认任何失败源于推理限制而非问题模糊性。 ##### 审查员指南 审查员指南是审查员评估标注员生成示例的主要参考文件。它详细规定了审查量规(表S1),涵盖了所有必需的数据质量标准。认识到答案准确性是基准可靠性的关键决定因素(Zhai et al., 2026),我们设计了一个结构化的多阶段审查流程。此外,为最大化领域专家间的评分者一致性,每个量规项目被分解为原子性的二元判断(例如,通过/不通过),而非等级量表(例如,1-5李克特量表)。 ##### 审查代理 一个关键的战略目标是优化人力投入;因此,我们确定了智能审查员可以可靠评估数据质量的量规项目子集,并为这些项目构建了自动化审查代理。我们首先从每个领域识别出高度可信的审查员,他们随后从数据集预留的小样本中构建了一个黄金审查集。基于这个黄金审查数据集,我们使用标准的训练/验证/测试划分来训练和校准审查代理,直到在预留测试划分上的精确率和召回率达到80%的最低阈值。这种整合将人类审查员解放出来,将他们的专业知识应用于需要细微判断的、认知要求更高的量规项目上。 #### 2.1.2 标注员、审查员和团队负责人的人才库 标注员的招募分两个阶段进行:多阶段筛选流程后跟结构化培训。为吸引高素质贡献者,我们采用了一个强调认知敏捷性和领域专业知识的严格筛选流程。我们从顶尖学术机构招募专家,最初通过候选人的研究档案和学术记录进行筛选。选拔过程包括两个不同阶段:首先是一个领域通用的推理评估,以评估一般推理能力;随后是一个专业领域挑战。在后者中,候选人需要设计具有挑战性的技术问题及相应的评估量规。这些提交物由智能审查员审核以验证逻辑密度和结构清晰度。最后的技术面试由高级团队负责人主持。被录取的标注员随后完成了关于制作(问题、解释、答案)三元组的强化训练营。为确保数据集质量,约90%的参与者在训练营后被退出。留下的贡献者——主要是拥有5-10年领域经验的博士研究员——被提名为审查员。这些审查员接受了额外培训以担任专家验证员。团队负责人是拥有丰富学术或行业经验的高级成员;其中相当一部分人拥有教职或终身教职。团队负责人与标注员和审查员定期开会,在整个过程中维持数据质量。 #### 2.1.3 标注与审查过程 标注员根据标注员指南构建数据集,并在多轮修订过程中与智能审查员、审查员和团队负责人密切合作(图1B)。标注员首先将示例提交给智能审查员。智能审查员评估较低层次的数据质量标准,包括语言清晰度和网络可搜索性(表S1)。标注员根据审查结果修订示例,或提出有记录理由的正式争议。L1人类审查员随后评估每个示例的表面完整性和格式一致性。这包括验证格式要求、检查完整性以及确认符合项目风格指南(表S1)。为最大化事实准确性并减轻个别审查员偏见,L2人类审查员专注于(问题、解释、答案)三元组的科学有效性和事实准确性。这种两层人类审查流程产生了一个稳健的、经专家验证的数据集。最后,团队负责人对每个实例的最终版本进行抽查。图1C展示了来自每个领域的代表性示例。 ### 2.2 数据集分析 我们从多个维度描述了生成的数据集,随后评估了模型在该数据集上的性能。 #### 2.2.1 数据集规范 我们确定了数据集的总量,数据集的领域和分类细分,以及问题和组合响应(解释和答案)的词元计数分布。 #### 2.2.2 模型在数据集上的性能评估 我们评估了总共10个模型变体,涵盖三个专有和一个开源模型系列,每个都配置了不同的推理努力级别,并在我们的数据集上进行了评估。专有模型包括Claude Opus 4.5 (claude-opus-4-5-20251101) 扩展思考(低和高推理努力), Gemini 3.1 Pro (gemini-3.1-pro-preview)(低和高思考级别), GPT 5.2 Pro (gpt-5.2-pro-2025-12-11)(中和高推理努力)。开源模型包括量化版本(Q5_K_M; Unsloth推荐选项)的Qwen 3.5 27B和9B(启用和禁用推理),来自Unsloth。我们选择这些较小的Qwen 3.5变体,因为它们在成本和时间上对于运行评估和后续后训练实验更高效。先前的评估表明,这些较小的变体在现有的STEM推理基准上与较大的Qwen 3.5模型相比表现具有竞争力。 对于所有评估模型,我们使用了修改版的HLE提示(Phan et al., 2025)来生成和评分响应(图S1, S2)。响应包括解释、答案。
相似文章
通过基准构建教授AI:QuestBench作为负责任知识工作的课程实践
本文介绍了QuestBench,这是一个由学生构建的基准,用于评估人文和社会科学领域的深度研究系统。结果显示,即使是像GPT-5.5这样的先进系统也只能通过57.58%的问题,突显了可信度方面的失败。
推出 SimpleQA
OpenAI 推出 SimpleQA,一个新的事实性基准数据集,包含 4,326 个简短事实性问题,旨在评估前沿语言模型在提供准确答案而不产生幻觉的能力。该数据集通过双独立标注、严格标准实现高质量,估计错误率仅为 ~3%,GPT-4o 得分不到 40%。
COMPOSITE-STEM
COMPOSITE-STEM 引入了一个包含70项专家策划的智能体任务的基准测试,涵盖物理、生物、化学和数学领域,旨在评估AI智能体在超越饱和基准测试的科学工作流中的表现。性能最佳的模型(Claude Opus 4.6)仅达到21.4%的准确率,表明科学推理能力存在显著差距。
Ask-E:一个用于校准问题生成的环境
Ask-E 是一个新的基准测试和训练环境,用于评估和训练模型生成针对特定技能水平校准的问题,该技能水平由两个现有语言模型的能力定义。前沿模型在校准上的得分低于 50%,而在 Ask-E 上进行训练可以提高下游数学基准测试的成绩,且无需新的数学数据或基于正确性的奖励。
LessonBench-V1:评估AI课程生成代理的基准数据集
LessonBench-V1是一个新的基准数据集,将647个人类编写的STEM课程与逆向工程的教学计划配对,能够系统评估AI课程生成代理。