COMPOSITE-STEM

# 介绍 来源：https://arxiv.org/html/2604.09836

![[无标题图片]](https://arxiv.org/html/2604.09836v2/orb_avatar.png)

COMPOSITE-STEM 是一个包含 70 个专家精选智能体任务的基准，涵盖物理学、生物学、化学和数学。

Portex 组织团队
Kyle Waters、Lucas Nuzzi、Tadhg Loorام
PortexAI、PortexAI、PortexAI
[email protected]、[email protected]、[email protected]
2026 年 4 月

数据集贡献者
Alessandro Tomasiello（米兰-比可卡大学）、Ariel Ghislain Kemogne Kamdoum（卡尔加里大学）、Bikun Li（芝加哥大学）、Damien Sileo（法国信息技术研究所）、Egor Kretov（弗劳恩霍夫个性化医疗技术研究所 IMTE）、Francesco Fournier-Facio（剑桥大学）、Georgios Soloupis（独立）、Haile Kassahun（麦吉尔大学）、Hew Wolff（独立）、Jiaqi Cai（麻省理工学院）、Lianghui Li（洛桑联邦理工学院）、Marc Roth（伦敦玛丽皇后大学）、Mohinder Naiya（Dot Ingredients）、Naixu Guo（新加坡国立大学）、Qicheng Tang（乔治亚理工学院）、Richard Wheeler（爱丁堡大学）、Samuele Sala（默多克大学）、Serguei Popov（波尔图大学）、Steven Dillmann（斯坦福大学）、Yuqi Li（石溪大学）

## 摘要

AI 智能体在加速科学发现方面前景广阔；然而，缺乏前沿评估阻碍了其在实际工作流中的应用。专家编写的基准在衡量 AI 推理能力方面已被证明有效，但大多数已达到饱和，仅衡量受限输出的性能。为了填补这一空缺，我们推出了 **COMPOSITE-STEM**，这是一个包含 70 个专家编写任务的基准，涵盖物理、生物、化学和数学，由博士级研究人员精心策划。我们的基准将精确匹配评分和基于标准的评分规则与 LLM-as-a-jury 评分协议相结合，允许对科学上有意义的输出进行更灵活的评估。通过在 Harbor 智能体评估框架内采用改进的多模态 Terminus-2 智能体框架，我们评估了四个前沿模型。表现最好的模型达到了 21%，表明 COMPOSITE-STEM 捕捉了超越当前智能体能力范围的能力。所有任务都将开源，以支持可重现性，并促进针对 AI 加速这些领域科学进展的进一步研究。

科学评估对于推进用于真实科学工作流的前沿 AI 至关重要。在本工作中，我们推出了 **COMPOSITE-STEM**，这是一个与 Harbor（https://harborframework.com/）（TerminalBench 风格的智能体评估）兼容的跨域 STEM 任务束。本文记录了基准构建、任务策划和模型性能。我们使用改进的 Terminus-2 智能体框架评估了 4 个模型，该框架已适配为在 Harbor 中支持多模态。**claude-opus-4.6** 以 21.4%（Pass@1）领先。该基准旨在通过将专家编写的任务与可执行环境和灵活的评分相配对，来测试不仅仅是孤立的科学推理。

## 排行榜快照

![[无标题图片]](https://arxiv.org/html/2604.09836v2/frontpage_leaderboard.png)

图 1：70 个任务上的 COMPOSITE-STEM 排行榜（Pass@1）。

## 相关工作

基准设计正在从短期、静态推理测试转向更难、更长期限和更现实的任务，这些任务能更好地反映真实工作。这是由于能力快速发展以及许多专家级基准的饱和和污染造成的必然趋势。

当 GPQA（Rein et al., 2023）在 2023 年作为由博士级专家编写的"谷歌防证"多选题科学问题基准推出时，GPT-4 的得分为 39%，但仅两年后，GPT-5.2 的得分就达到了 92%。

基准设计中的一个里程碑是《人类最后考试》（HLE）的发布，它建立了大规模多学科学术聚焦基准。HLE 包含来自 500 多位贡献者的 2,500 多个问题，这些贡献者来自全球顶级研究机构，揭示了当时 SOTA 模型能力的明确限制（安全中心等，2026）。然而，HLE 仍然主要是一个静态 QA 风格的基准，采用精确匹配和多选风格评估。此外，尽管采取了措施防止基准数据的训练，数据污染已成为一个真实的问题，因为 HLE 是一个高调基准，引起了关注，并在几乎所有模型发布中被引用。

随着 Claude Code 和 Codex 等智能体系统的流行，基准工作越来越多地转向可执行环境。Terminal-Bench Core 和 Terminal-Bench 2.0 是在终端中评估带有可复现容器化设置的智能体的重要步骤。当前的 2.0 基准包括 89 个精选任务，跨越软件工程、ML、安全和数据工作流（Merrill et al., 2026）。

与此同时，GDPval 从经济工作角度扩展了现实性，包含 1,320 个由领域专家策划的专业任务，强调高价值交付物（如 Excel 电子表格、演示文稿、PDF 文档），而不仅仅是抽象推理（Patwardhan et al., 2025）。

Mercor 在此领域贡献了两篇不同且相关的论文。首先，APEX-v1-extended 评估了经济上有价值的专业任务（法律、金融、咨询和一般医学），采用提示特定的评分规则和 LM 评判评分，说明了基于规则的评估如何能够支持比仅精确匹配更丰富、更不脆弱的评估（Vidgen et al., 2025）。其次，APEX-Agents 进一步推进了完全智能体工作流，包含 480 个任务，跨越现实的多应用专业环境（称为"世界"），将基于规则的评分带入更长期限的智能体执行设置（Vidgen et al., 2026）。

最后，OpenAI 推出的 FrontierScience（Wang et al., 2026）通过将困难的、原创的科学问题与更结构化的开放式答案评估框架相配对，进一步推进了专家驱动的科学基准。该基准跨越物理、化学和生物，分为两个轨道：由专家编写、可验证的短答题组成的奥林匹克轨道，以及由反映真实科学推理任务的博士级研究子问题组成的研究轨道。最相关的是，FrontierScience 的研究轨道通过为每个任务分配一个由多个独立、客观可评估标准组成的 10 分规则，超越了精确匹配评分，允许评估中间推理步骤而不仅仅是最终答案正确性。如果回答获得至少 7 分（满分 10 分），则视为成功，这样可以进行更精细的部分进度和失败模式分析。为了扩展评分规模，FrontierScience 使用单个 LLM 评判 GPT-5（高推理努力），根据专家编写的规则对提交内容进行评分。

COMPOSITE-STEM 位于这些方向的交叉点：专家编写的 STEM 任务与可复现的 Harbor 兼容智能体执行相配对。目标是保留困难专家基准的学术严谨性，同时在跨物理、化学、生物和数学的现实设置中评估性能。

## 任务构成

COMPOSITE-STEM 包含 70 个任务：物理 20 个，化学 23 个，生物 20 个，数学 7 个。这些任务混合了结构化问题解决、多步推理和领域特定约束，因此强劲的性能需要概念理解和执行知识（例如最合适的 Python 包）。参考资源也是任务组合的重要部分：70 个任务中有 18 个包含装载到智能体沙箱中的文件（在 /app/refs 下），这些主要是图像（17 个图像文件，主要是 PNG，加上 1 个 PDF）。

## 专家背景

COMPOSITE-STEM 的贡献者来自顶级研究机构和全球大学，主要包括对《人类最后考试》（HLE）和相邻前沿基准的贡献者。在各个领域中，贡献者群体包括博士级研究人员、杰出教师、博士后科学家和具有发表记录和先前基准设计经验的行业从业者。除了招募外，Portex 团队通过详细的通话和审查周期与所有贡献者密切合作，以塑造任务设计、澄清评分意图，并在发布前识别规范问题。

## 环境

我们在 Terminal-Bench 和 Harbor 生态系统中使用改进的多模态 Terminus-2 智能体框架，以最小化特定于框架的方差，同时更好地支持基于视觉的任务，如分析 X 光和显微镜图像（本文稍后提供有关 Harbor 框架的更多详细信息）。该框架保留了标准 Terminus-2 执行循环，但当任务指定参考文件时，它会从环境下载该文件，并在第一轮中将其作为本机多模态输入提供给模型。图像直接附加，常见的基于文本的文件以文本形式内联。这种修改通过避免花费额外轮次进行间接文件检查，提高了需要视觉或文档理解的任务的评估保真度，并使智能体评估更好地与标准多模态 LLM 评估保持一致。

评估在 Modal（https://modal.com/）提供的沙箱中运行，具有受控的运行时信封：

- •timeout_sec = 3600.0（用于智能体循环）
- •build_timeout_sec = 1200.0
- •cpus = 1
- •memory_mb = 2048
- •storage_mb = 10240

Harbor 任务镜像从以下基础 Dockerfile 引导：

```
FROM python:3.12-slim
RUN apt-get update \
    && apt-get install -y --no-install-recommends \
    bash \
    tmux \
    asciinema \
    curl \
    ripgrep \
    git \
    && rm -rf /var/lib/apt/lists/*
RUN python -m pip install --no-cache-dir "litellm>=1.67.0"
WORKDIR /app
# 确保参考资源在容器内可用。
COPY refs /app/refs
# 默认 shell
CMD ["/bin/bash"]
```

验证将精确匹配检查与使用 LLM 陪审团的语义规则评分相结合（更多详情请见下文的 AsymmetryZero 评分协议）。在 COMPOSITE-STEM（n=70）中，35 个任务使用精确匹配评分，34 个使用语义 LLM 陪审团评分，1 个使用混合设置。专家设计规则作为标准集，这些标准由精确匹配解析或通过 LLM-as-a-jury 进行语义正确性评分；规则大小范围从 1 到 40 个标准，平均每个规则有 2.6 个标准。LLM 陪审团由以下组成：

- •deepseek/deepseek-v3.2
- •z-ai/glm-5
- •openai/gpt-oss-120b
- •meta-llama/llama-3.3-70b-instruct
- •moonshotai/kimi-k2.5

在高层次上，`portex_grade.py` 加载任务配置和标准，读取提交，并通过精确匹配提取或多评判 LLM 评分来评估每个标准。它对语义标准应用严格多数投票，奖励加权分数，聚合为原始分数，规范化为 Harbor 的奖励标量，并写入 `reward.json` 和详细的 `portex_detail.json`。评分器包括健壮的请求处理：对瞬态评判失败进行有限次数的重试，短延迟，对明确的客户端错误快速失败，并将持久评判失败映射到显式错误结果，零分，以便多数投票和验证者奖励保持定义完善。

环境是一个裸 Python 实例，我们观察所有智能体使用科学计算和探索的相关包，如 rdkit-pypi、scipy、rd-kit、sympy、googlesearch-python、numpy 等。允许智能体通过安装的包（如 DuckDuckGo）有效使用网络搜索，但我们使用的 Terminus-2 框架中没有本地网络搜索工具。我们除了基础 Dockerfile 外不提供任何额外的自定义工具。

## 任务策划和 Portex Datalab

任务开发在 Portex Datalab（https://datalab.portexai.com/）中进行，专家在那里迭代提示、规则和评分假设，同时近实时检查前沿模型行为。Portex 团队与贡献者进行了广泛的交谈，与他们合作设计和完善他们的评估，根据最先进的模型测试任务以衡量难度，并返回详细的报告和试验数据，以便专家可以迭代任务措辞、规则结构和潜在错误。这产生了一个结构化的多轮策划循环，而不是一次性的任务起草。

Datalab 上的策划工作流结合了：

- •评估构建器工作流：专家起草任务，附加参考资源，并使用显式评分意图指定加权标准。
- •实时模型反馈：专家观察前沿模型的结果和失败模式，同时迭代任务清晰度和判别力。
- •Portex 审查循环：贡献者收到详细的运行报告、工件和错误信号，帮助他们调试任务规范、加强规则并纠正边缘情况错误。
- •公共排行榜：共享排行榜引入了轻松的游戏化，鼓励重复质量改进和更清晰的任务规范。
- •跨域一致性：通用 Harbor 执行基础设施减少了框架方差，同时保留了领域特定的任务内容。

见标题
图 1：Portex Datalab 评估构建器界面，贡献者使用它来起草任务说明、附加参考文件和定义评分规则。

见标题
图 2：Portex Datalab 审计视图，显示模型跟踪、陪审团决策和标准级结果，用于检查失败和完善评估。

### 领域专家背景和任务设计

这里，我们总结了每个领域的专家资格和任务设计覆盖范围。

### 物理

物理贡献者包括理论和实验研究的先进档案，包括数学物理、弦论、凝聚态和量子系统的博士和博士后工作，附属于领先的大学和研究机构。任务类型包括符号导数、量子/开放系统推理、多体和拓扑分析，以及设备级或测量接地计算。

### 化学

化学贡献者包括来自学术和应用研究与开发设置的有机金属、药物、分析和计算化学的研究人员和从业者。任务类型包括合成机制推理、表示转换（例如 SMILES/InChI）、光谱解释（NMR/MS）和概念型化学判断。

### 生物

生物贡献者包括感染生物学、生物医学工程、医学成像和显微镜驱动解释的专家，具有教师/博士后和行业相邻背景，包括湿实验室设置。任务类型包括成像诊断、MRI 工程推理、实验室电子显微镜解释、空间结构推断和机制感知的生物分析。

### 数学

数学贡献者包括跨纯数学和应用数学、理论计算机科学和统计学的博士级研究人员和学者，在同行评审出版物中有记录。任务类型包括证明导向的导数、组合和代数推理、随机过程分析，以及不变量/结构计算。

见标题
图 3：COMPOSITE-STEM 领域级任务计数。

### AsymmetryZero 评分协议