Terminal-Bench-Science: 在科学研究工作流中评估AI智能体

# TERMINAL-BENCH-SCIENCE 来源：https://www.terminal-bench-science.ai/announcement Terminal\-Bench\-Science 基于研究者自身工作流程来评估 AI 智能体。由科学家而非模型开发者或数据供应商设定 AI 科学能力评估标准。 Terminal\-Bench\-Science 是由斯坦福大学（https://ai.stanford.edu/）研究人员主导、Terminal\-Bench（https://www.tbench.ai/）团队联合全球多个科学学科及研究机构（https://www.terminal-bench-science.ai/contributors）领域专家共同构建的基准测试。该基准通过一系列来自科学研究的多元化高难度专家设计工作流，衡量 AI 智能体的能力。 作为随前沿 AI 同步演进的持续性基准测试，Terminal\-Bench\-Science 在科学需求与 AI 发展间建立反馈闭环。首次发布包含来自生命科学、物理科学、地球科学、数学科学及工程科学领域的 70 项任务（https://github.com/harbor-framework/terminal-bench-science#task-coverage）。目前评估中表现最强的 Claude Opus 5 在 Terminal\-Bench\-Science 0\.1 中达到 30% 的解决率。 Terminal\-Bench\-Science 0\.1 排行榜 Terminal-Bench-ScienceTerminal-Bench-Science 0%25%50%75%100%Claude Opus 5Claude Code30\.0%GPT\-5\.6 SolCodex22\.4%Claude Fable 5Claude Code21\.4%Claude Opus 4\.8Claude Code10\.5%GPT\-5\.6 TerraCodex8\.6%GLM 5\.3Claude Code8\.1%Kimi K3Claude Code7\.1%Grok 4\.6Grok Build7\.1%GPT\-5\.6 LunaCodex3\.3% Terminal\-Bench\-Science 0\.1 各科学工作流任务解决率（https://hub.harborframework.com/datasets/terminal-bench-science/terminal-bench-science/latest?tab=leaderboard&leaderboard=v0-1-eval）虽然 Terminal\-Bench 推动了软件工程 AI 智能体的进展，Terminal\-Bench\-Science 将同样的雄心带入科学领域。我们的目标是推动开发具备科学能力的智能体，使其成为实用的研究助手。这些智能体应能执行技术要求高且耗时的工作流程，让科学家将更多时间专注于人类判断至关重要的环节：定义研究问题、形成假设、解释和验证结果以及交流发现。在这种角色中，AI 智能体可以扩展研究人员的能力，并助力加速科学发现。 实现这一目标需要反映真实科学实践、提供能力可验证证据并随 AI 前沿同步演进的基准测试。 **我们需要源于真实科学工作流的基准测试。** 科学能力评估应基于实际研究实践而非教科书问题或标准练习，且应由从业科学家自行贡献。Terminal\-Bench\-Science 让各领域科学家能够直接发声，并通过共享平台在他们关注的领域设定 AI 进展标准。科学领域责任重大，其基准测试必须反映科学界优先事项而非外部利益。 **我们需要科学能力的可验证证据。** 没有可靠的评估，我们无法判断智能体能力是否在提升或其局限性何在。Terminal\-Bench\-Science 在逼真环境中评估智能体，并通过可重复的任务特定测试对分析、模拟、证明、代码和数据产品等具体产出进行评分。 **我们需要紧跟前沿的基准测试。** 科学基准测试常被视为待发表的论文而非推动进展的机制，这往往导致它们在模型进步和已知局限持续存在的情况下被一次性发布后便遭弃用。Terminal\-Bench\-Science 是随 AI 前沿同步演进的持续性基准测试。通过定期发布，科学家可以贡献新工作流、改进现有任务，并在科学需求与 AI 发展间建立反馈闭环。 Terminal\-Bench\-Science 反馈闭环 科学界前沿AI智能体与模型贡献工作流评估与改进加速发现Terminal\-Bench\-Science 反馈闭环（https://www.tbench.ai/news/tb-science-announcement）Terminal\-Bench\-Science 0\.1 包含横跨生命科学、物理科学、地球科学、数学科学及工程科学的 70 项任务。任务涵盖科学数据分析、统计推断、模拟、优化、定理证明、图像重建、信号处理、逆问题、传感器校准、模型拟合、分类以及科学机器学习。 Terminal\-Bench\-Science 0\.1 任务覆盖范围 生命科学19生物学8医学与健康6神经科学4生态与进化1物理科学17天文学与宇宙学6物理学5材料科学4化学2地球科学8地球科学5大气与气候1海洋与海洋学1环境与可持续性1数学科学17应用数学与科学计算6运筹学与优化5形式数学与定理证明3统计学3工程科学9机械与航空航天工程5电气与计算机工程2化学与过程工程1土木与结构工程1 五大科学领域共70项专家设计任务（https://github.com/harbor-framework/terminal-bench-science#task-coverage）任务通过 GitHub（https://github.com/harbor-framework/terminal-bench-science）开放流程由研究人员贡献，并在 Discord（https://discord.com/invite/2Pe5uWGcV3）的 `#tb\-science` 频道进行讨论反馈。贡献流程始于提案，审阅者讨论每个想法、提供反馈并批准适合纳入基准的项目：即基于科学原理且值得测量的工作流。获批提案以拉取请求形式实施，审阅者确认每项任务均可客观验证、对 AI 智能体具有真正挑战性且非当前前沿系统已能轻易解决。为合并任务，领域审阅者评估科学有效性与真实性，技术审阅者检查任务构建与验证，质量提升员进行最终审核。在 920 项提案中，464 项获准实施，386 项拉取请求被提交，但仅 70 项任务最终纳入 Terminal\-Bench\-Science 0\.1。这种筛选性反映出创建既具科学趣味、对前沿智能体具有挑战性又足够规范以供严格评估的任务之难度。提案、拉取请求和审阅进度在公共任务仪表盘（https://stevendillmann.github.io/tb-science-task-dashboard/）公开追踪。 Terminal\-Bench\-Science 0\.1 为 AI 智能体在科学研究领域留下了巨大进步空间。每个评估模型在全部 70 项任务上进行了三次独立试验。Claude Opus 5 搭配 Claude Code 达到最高解决率 30\.0%，其后是 GPT\-5\.6 Sol 搭配 Codex（22\.4%）和 Claude Fable 5 搭配 Claude Code（21\.4%）。Claude Opus 4\.8 以 10\.5% 位居中游。GPT\-5\.6 Terra、Kimi K3 和 Grok 4\.6 的任务解决率均低于 10%。GLM 5\.3 作为最强开源模型达到 8\.1%，GPT\-5\.6 Luna 以 3\.3% 垫底。 Terminal\-Bench\-Science 对系统的区分度与 Terminal\-Bench 3\.0 相当，同时将所有在两者上评估的模型的解决率降低了超过 10 个百分点。这一差距是刻意设计的：在评审过程中，任务经过校准以挑战最新的前沿模型。 Terminal\-Bench\-Science 对比 Terminal\-Bench Terminal\-Bench 2\.1Terminal\-Bench 3\.0Terminal\-Bench\-Science 0\.142\.7%Opus 5 — 30\.0%34\.4%GPT\-5\.6 Sol — 22\.4%Fable 5 — 83\.8%33\.8%Fable 5 — 21\.4%Opus 4\.8 — 78\.9%21\.1%Opus 4\.8 — 10\.5%GPT\-5\.6 Terra — 78\.4%20\.8%GPT\-5\.6 Terra — 8\.6%GPT\-5\.6 Luna — 75\.7%14\.3%GPT\-5\.6 Luna — 3\.3% Terminal\-Bench 2\.1、Terminal\-Bench 3\.0 和 Terminal\-Bench\-Science 0\.1 上的解决率（https://www.tbench.ai/）性能仅是进展的一个维度。成本\-解决率图展示了所有 70 项任务的评估总成本与解决率的关系。GPT\-5\.6 Luna、Kimi K3 和 GPT\-5\.6 Terra 位于前沿的成本低端。GPT\-5\.6 Sol 和 Claude Opus 5 以更高成本达到最高解决率，其中 Opus 5 耗费 7\.0k 美元。GPT\-5\.6 Sol 以不到 Claude Fable 5 三分之一的成本（4\.2k 美元 vs 14\.2k 美元）达到同等性能。Token 用量展现了不同的前沿。Claude Fable 5 在使用约四分之一更少 token 的情况下（6\.4B vs 8\.4B）匹配了 GPT\-5\.6 Sol 的性能。Kimi K3 位于低 token 端，Claude Opus 5 位于高解决率端。仅 Kimi K3 和 Claude Opus 5 同时出现在两个帕累托前沿上。 Terminal\-Bench\-Science 0\.1 成本与解决率 评估系统的成本与解决率帕累托前沿（https://www.terminal-bench-science.ai/?view=pareto&x=cost）Terminal\-Bench\-Science 0\.1 Token 用量与解决率 评估系统的 token 用量与解决率帕累托前沿（https://www.terminal-bench-science.ai/?view=pareto&x=tokens）解决率在不同科学领域也有差异。Anthropic 和 OpenAI 的模型在除工程科学外的每个领域都位居前两名。在工程科学领域，Grok 4\.6 以更低的成本和 token 用量与 GPT\-5\.6 Sol 并列第二（14\.8%）。Claude Opus 5 在除数学科学外的每个领域都领先于 GPT\-5\.6 Sol 和 Claude Fable 5。在数学科学领域，Claude Fable 5（33\.3%）和 GPT\-5\.6 Sol（31\.4%）分列前两位。各领域详细分解数据可在排行榜（https://www.terminal-bench-science.ai/?view=domains）查阅。 Terminal\-Bench\-Science 0\.1 各领域解决率 各领域解决率：Opus 5、GPT\-5\.6 Sol 和 Grok 4\.6生命科学地球科学工程科学数学科学物理科学102030405029\.8%45\.8%29\.6%25\.5%27\.5%17\.5%20\.8%14\.8%31\.4%23\.5%7\.0%4\.2%14\.8%5\.9%5\.9%- Opus 5 - GPT\-5\.6 Sol - Grok 4\.6 各领域解决率：Opus 5、GPT\-5\.6 Sol 和 Grok 4\.6（https://www.terminal-bench-science.ai/?view=domains）Terminal\-Bench\-Science 0\.1 是生命科学、物理科学、地球科学、数学科学及工程科学领域研究人员，以及 Terminal\-Bench（https://www.tbench.ai/）和 Harbor（https://www.harborframework.com/）团队共同努力的成果。这是我们公开构建的最严谨的科学智能体能力基准测试，而我们仅仅起步：Terminal\-Bench\-Science 0\.1 是持续性基准测试的首次发布。 定期发布将增加任务、拓宽五大科学领域的覆盖范围、淘汰智能体已饱和或经审查发现规范不足的任务，并随新前沿模型发布保持排行榜（https://www.terminal-bench-science.ai/）更新。每次发布都基于当时前沿进行校准。对于 Terminal\-Bench\-Science 0\.1，校准基准是 Claude Opus 5 和 GPT\-5\.6 Sol。随着更强模型的涌现，我们将使用它们来评估和校准新改进的任务。任务采用版本控制，因此试验可通过单个 Harbor 命令重用、重新评分或重跑，这降低了更新结果的成本。进度在公共任务仪表盘（https://stevendillmann.github.io/tb-science-task-dashboard/）上公开追踪，每次发布都在 GitHub（https://github.com/harbor-framework/terminal-bench-science/releases）和 Harbor Hub（https://hub.harborframework.com/datasets/terminal-bench-science/terminal-bench-science/latest）上标记。 **Terminal\-Bench\-Science 0\.2** 的开发工作已启动，拉取请求截止日期为 **2026 年 10 月 5 日**。如果您是研究人员，拥有前沿智能体应能完成但目前尚不能的工作流，我们希望将其纳入基准。贡献流程为**提案 → 构建 → 审查**：通过任务提案表（https://airtable.com/appzZC5gEHrXSfNNw/pagjgS95lAQ5FVJxt/form）提出任务，遵循贡献指南（https://github.com/harbor-framework/terminal-bench-science/blob/main/CONTRIBUTING.md）进行构建，之后将经过自动检查、并行领域与技术审查，最终质量提升员批准后合并。 加入 Discord（https://discord.com/invite/2Pe5uWGcV3）和 GitHub（https://github.com/harbor-framework/terminal-bench-science）的 `#tb\-science` 频道参与讨论，并通过项目日历（https://calendar.google.com/calendar/embed?src=2ca3e7fdc9e51a42ce18142e897f7db23fbf8e65867da1a06dc3ea5e6ad4e893%40group.calendar.google.com&ctz=America%2FLos_Angeles&mode=WEEK）参加我们的周会和办公时间。让我们共同让科学家定义 AI 科学能力的样貌，并对其进行严格衡量。 如果您觉得这项工作有用，请引用它。您可以使用 GitHub 上的“Cite this repository”按钮（基于 CITATION\.cff（https://github.com/harbor-framework/terminal-bench-science/blob/main/CITATION.cff）生成）或使用以下信息手动引用： `` @software{Terminal-Bench-Science_Team_Terminal-Bench-Science_Evaluating_AI_2026, author = {{Terminal-Bench-Science Team}}, doi = {10.5281/zenodo.22110254}, license = {Apache-2.0}, month = aug, title = {{Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains}}, url = {https://github.com/harbor-framework/terminal-bench-science}, version = {v0.1.0}, year = {2026} } `` 感谢所有任务贡献者、审阅者和顾问（https://www.terminal-bench-science.ai/contributors）对 Terminal\-Bench\-Science 的支持。 特别感谢项目负责人顾问 Ludwig Schmidt 和 Sanmi Koyejo；高级审阅者 Allen Hart、Ivan Bercovich、Joseph Janssen、Jiaming Hu、Steffen Bollmann 和 Sergey Aganezov；AI 研究顾问 Ryan Marten、Alex Shaw、Lin Shi、Benjamin Feuer、Mike A\. Merrill、Alex Dimakis、Jenia Jitsev、Bodhisattwa Majumder、Peter Clark、Thomas Wolf、Braden Hancock 和 Andy Konwinski；以及科学顾问 Sara Beery、Jo Dunkley、J\. Nathan Kutz、Ching\-Yao Lai、Scott Linderman、Emma Lundberg、Russ Poldrack、Aviv Regev 和 Risa Wechsler。 Terminal\-Bench\-Science 是一项由斯坦福大学（https://ai.stanford.edu/）和 Laude Institute（https://laude.org/）主办的开放学术合作项目，与斯坦福 AI 实验室（SAIL）（https://ai.stanford.edu/）、斯坦福人为中心人工智能研究所（HAI）（https://hai.stanford.edu/）、斯坦福 AI 测量科学（AIMS）（https://aimslab.stanford.edu/）、NSF 机器学习基础 AI 研究所（IFML）（https://www.ifml.institute/）、Allen Institute（https://alleninstitute.org/）以及 Allen AI 研究所（Ai2）（https://allenai.org/）合作。作为 Terminal\-Bench（https://www.tbench.ai/）项目的一部分，它由 Terminal\-Bench 和 Harbor（https://www.harborframework.com/）团队与科学贡献者社区（https://www.terminal-bench-science.ai/contributors）共同构建。 感谢 Laude Institute（https://laude.org/）通过 Slingshots 项目的支持，感谢 Snorkel AI（https://snorkel.ai/）通过 Open Benchmarks Grants 项目的支持，感谢 2077AI 开源基金会（https://www.2077ai.com/）提供 PP API（https://www.ppapi.ai/）额度支持任务审阅和整理，感谢 UniPat AI（https://unipat.ai/）和 Modal（https://modal.com/）对 Terminal\-Bench\-Science 的支持。感谢 Bespoke Labs（https://bespokelabs.ai/）、Anthropic（https://www.anthropic.com/）、Google（https://www.google.com/）、Moonshot AI（https://www.moonshot.ai/）、SpaceXAI（https://x.ai/）和 Z\.ai（https://z.ai/）提供 API 额度支持排行榜评估。 **作者：**Steven Dillmann