SciΠvot：在科学研究自主智能体的关键时刻评估首席科学家的判断力

Hugging Face Daily Papers 论文
llm-agents benchmark scientific-reasoning autoresearch scientific-judgment evaluation frontier-models

摘要

SciΠvot 是一个基于 248 个人工纠正案例的基准，用于评估 LLM 智能体在科研自主研究关键时刻的科学判断力；结果显示前沿模型常偏好有缺陷的原始计划而非专家修正方案，整体表现低于人类研究者。

大语言模型（LLM）智能体可以在几乎无需人工监督的情况下持续运行科学实验数月之久，但可靠的自主研究同样需要科学判断力。评估科学判断力十分困难，因为研究决策是开放式的，且高度依赖于项目上下文。我们构建了 SciΠvot，一个基于人工纠正的 248 个案例的科学判断力基准。该基准取材于为期六个月的研究记录，在此期间，资深研究者在六个科学领域的 26 个项目上运行 LLM 智能体，并反复干预以纠正智能体的研究判断。在每个案例中，智能体需要在原始 LLM 计划与人工修正的替代方案之间做出选择，且只能使用纠正发生前可获得的项目记录作为上下文。我们比较了 LLM 与人类的表现，并考察了推理努力程度、对项目记录的访问以及重新考虑的影响。在中等推理努力程度且提供项目记录的条件下，模型系统性地偏好原始 LLM 计划而非人工修正的替代方案。在所选案例中，五个前沿模型中有四个的表现低于随机水平。在项目条件下，所有受测模型和推理努力设置中的最高准确率为 63.5%，而新加入的研究者为 73.4%。在中等努力程度下，每个模型在提供项目记录时的准确率都低于不提供时，且重新考虑并不能一致地提升总体准确率。即使存在人工修正的替代方案，前沿模型在这些所选研究决策上仍表现吃力，而 SciΠvot 则支持对 LLM 智能体的科学判断力进行系统化评估。
查看原文
查看缓存全文

缓存时间: 2026/10/19 07:27

论文页面 - SciΠvot：在科学自主研究智能体的关键时刻评估首席研究员的判断力

来源：https://huggingface.co/papers/2610.21082

发布于10月15日

·

由提交者 https://huggingface.co/sun1245

Youran (https://huggingface.co/sun1245)于10月19日

作者：（多位）

摘要

SciΠvot 利用248个人工修正案例评估LLM智能体的科学判断力，揭示前沿模型往往倾向于有缺陷的计划而非专家修正方案，且表现低于人类水平。

大语言模型（LLM）智能体可以在几乎没有人类监督的情况下持续运行科学实验数月之久，但可靠的自主研究同样需要科学判断力（https://huggingface.co/papers?q=scientific%20judgment）。评估科学判断力（https://huggingface.co/papers?q=scientific%20judgment）十分困难，因为研究决策是开放性的，且依赖于项目上下文。我们构建了 SciΠvot（https://huggingface.co/papers?q=Sci%CE%A0vot），这是一个基于人工修正的248个案例的科学判断力（https://huggingface.co/papers?q=scientific%20judgment）基准。该基准取材于为期六个月的研究记录，其间资深研究者操控 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）在六个科学领域的26个项目上运行，并反复介入以修正智能体的研究判断。在每个案例中，智能体需要在原始 LLM 方案和人工修正方案之间做出选择，仅使用修正之前可获取的项目记录作为上下文。我们对比了 LLM 与人类的表现，并考察了推理强度（https://huggingface.co/papers?q=reasoning%20effort）、项目记录访问权限以及重新思考（https://huggingface.co/papers?q=reconsideration）的影响。在中等推理强度（https://huggingface.co/papers?q=reasoning%20effort）且拥有项目记录的情况下，模型系统性地偏好原始 LLM 方案而非人工修正方案。在所选案例中，五个前沿模型（https://huggingface.co/papers?q=frontier%20models）中有四个表现低于随机水平。在所有测试的模型和推理强度（https://huggingface.co/papers?q=reasoning%20effort）设置中，项目条件下最高准确率为63.5%，而新进研究人员的准确率为73.4%。在中等推理强度下，每个模型在有项目记录时的准确率都低于无项目记录时，且重新思考（https://huggingface.co/papers?q=reconsideration）未能一致地提升整体准确率。即使提供了人工修正方案，前沿模型（https://huggingface.co/papers?q=frontier%20models）在所选研究决策上仍然表现挣扎，而 SciΠvot（https://huggingface.co/papers?q=Sci%CE%A0vot）则为 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）的科学判断力（https://huggingface.co/papers?q=scientific%20judgment）系统评估提供了支持。

查看 arXiv 页面 (https://arxiv.org/abs/2610.21082) 查看 PDF (https://arxiv.org/pdf/2610.21082) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.21082)

在你的智能体中获取本文：

hf papers read 2610.21082

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型：0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.21082 以从此页面链接。

引用本文的数据集：1

sun1245/SciPIvot Viewer • 更新于约10小时前 • 248 • 1 (https://huggingface.co/datasets/sun1245/SciPIvot)

引用本文的 Space：0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.21082 以从此页面链接。

包含本文的合集：0

没有合集包含本文。

将本文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

Sci$\Pi$vot：评测科学自主研究智能体在关键时刻的首席研究员判断力

arXiv cs.AI

SciΠPivot 推出了一项包含 248 个案例的基准，用于评估自主研究智能体的科学判断力，该基准基于六个月内对 26 个项目所做的人工修正构建而成。结果表明，前沿大语言模型往往无法识别经人工修正的计划，多数模型的表现低于随机猜测水平，最高准确率为 63.5%，而新接触这些项目的人类研究人员的准确率为 73.4%。

PseudoBench：衡量智能自动研究如何助长伪科学

arXiv cs.AI

PseudoBench 是一个基准测试，用于评估基于 LLM 的智能自动研究系统能否抵御伪科学叙述。对七款最先进的智能体进行测试后发现，它们极易生成具有说服力的伪科学报告，且拒绝率接近于零，这要求在部署前进行科学对齐。