论文页面 - 大型语言模型准备好进行科学发现了吗？面向能力的AI科学家基准

来源: https://huggingface.co/papers/2607.11079

摘要

现有的科学数据分析基准主要评估LLM在代码执行或工作流完成方面的能力，但忽略了科学分析旨在支持不同类型的科学主张：假设探索、统计推断、机制解释，每种类型都有不同的假设和有效性标准。我们引入了SDABench，这是一个基准，围绕六种能力（描述性、探索性、推断性、预测性、因果性和机制性）在五个领域（生物学、化学、环境、地理、物理）重新组织评估。SDABench包含527个真实数据实例（SDA-Real）和6000个合成实例（SDA-Synth），每个实例都有选择题和开放式两种格式，通过自动化流程构建。通过对15个代表性LLM的评估，我们发现模型在处理描述性分析时表现良好，但在需要假设选择、潜在过程建模或机制推理的任务上急剧下降。SDABench进一步提供了一个五阶段的错误分析框架，用于定位LLM失败之处：更先进的模型能更可靠地识别相关范围和变量，但仍难以选择合适的分析程序、建模变量关系以及得出有效结论。

查看arXiv页面 (https://arxiv.org/abs/2607.11079)查看PDF (https://arxiv.org/pdf/2607.11079)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11079)

引用本文的模型0

没有模型链接本文

在模型README.md中引用 arxiv.org/abs/2607.11079 以从本页链接它。

引用本文的数据集0

没有数据集链接本文

在数据集README.md中引用 arxiv.org/abs/2607.11079 以从本页链接它。

引用本文的Space0

没有Space链接本文

在Space的README.md中引用 arxiv.org/abs/2607.11079 以从本页链接它。

包含本文的集合0

没有集合包含本文

将此论文添加到集合 (https://huggingface.co/new-collection) 以从本页链接它。