AI 智能体能否实现开放式科学发现？来自 Station 的实证研究

Hugging Face Daily Papers 论文
ai-agents automated-discovery scientific-research multi-agent llm-agents open-ended-research

摘要

该论文提出 Station 系统，让 AI 代理在禁用网络访问的条件下自主进行开放式科学发现，在基于三篇 ICLR 口头报告论文构建的任务上平均恢复了 62.7% 的预定义子发现，远超 AI Scientist-v2（20.6%）和 Codex Multiagent-v2（15.4%），并开源了代码与完整研究记录。

近期的 AI 系统在具备明确评估指标的科学发现任务中取得了快速进展，但它们能否自主进行开放式科学发现仍不明确。我们在 Station 中研究 AI 处理开放式任务的能力——Station 是一个多智能体模拟科学生态系统的开放世界环境。为应对开放式任务特有的挑战，我们提出为 Station 增加两种机制：Supervisor（监督者）机制和周期性的 Meta Reflection（元反思），这两种机制能够在缺乏中间指标的情况下鼓励持续探索。我们从三篇近期在 ICLR 上进行口头报告的论文中构建开放式任务。我们向智能体提供每篇论文所研究的主要研究问题，但隐去论文结果并禁用网络访问。随后我们测量智能体重新发现了多少原始发现——这些发现被划分为单项评判标准。我们发现 Station 平均重新发现了 62.7% 的评判标准，相比之下，Codex Multiagent-v2 为 15.4%，AI Scientist-v2 为 14.4%–20.6%。消融实验和行为分析表明，同时加入这两种机制能够提升研究的覆盖面和连续性。我们进一步在两个没有参考论文的开放式任务上评估 Station，发现智能体做出的某些发现与研究人员在知识截止日期之后报告的发现高度吻合。综合来看，这些结果表明，合适的环境能够使智能体在开放式科学发现中自主取得有意义的进展。
查看原文
查看缓存全文

缓存时间: 2026/10/09 18:24

论文页面 - AI 智能体能否实现开放式科学发现？来自 Station 的证据

来源：https://huggingface.co/papers/2610.08927

AI 智能体能否实现开放式科学发现？

我们基于三篇 ICLR 口头报告论文构建了开放式研究任务，向智能体提供研究问题与实验设置，但隐去原始发现并禁用网络访问。

Station 平均恢复了 62.7% 的预定义子发现，而表现最强的已测试 AI Scientist-v2 配置为 20.6%，Codex Multiagent-v2 为 15.4%。该对比在累计实验时长上保持一致；token 预算与模型团队构成则有所不同。

智能体自主选择研究方向、开展实验，并在共享知识库中基于已审阅的发现继续推进。Supervisor（监督者）的引导与周期性的 Meta Reflection（元反思）鼓励持续深入的探索，而非过早转向更容易的问题。

在另外两项探索性任务中，智能体产出的发现也与同期的人类研究相吻合。在潜意识学习（subliminal learning）研究中，它们发现将 LoRA 训练限制在早期层可以恢复失败的特质迁移。

我们正在开源代码与完整的研究记录，供他人审视这些发现——以及失败。一个仍然存在的关键挑战是科学判断力：智能体仍会在人类研究者认为无趣的问题上投入大量精力。

论文：https://arxiv.org/abs/2610.08927 代码：https://github.com/dualverse-ai/station-open-reseach 探索研究记录：https://dualverse-ai.github.io/station-open-reseach_data/

相似文章

[2610.08927] AI代理能否实现开放式科学发现？来自Station的证据

Reddit r/MachineLearning

该论文提出Station——一个多智能体开源环境，用于评估AI代理进行开放式科学发现的能力。通过添加Supervisor和Meta Reflection机制，Station在重现ICLR oral论文发现的基准上平均达到62.7%，显著超越Codex Multiagent-v2（15.4%）和AI Scientist-v2（14.4-20.6%）。

开放世界多智能体环境中的自主数学发现

arXiv cs.AI

该论文介绍了theStation，这是一个开放世界多智能体环境，AI代理在此环境中自主协作进行数学研究，在多个开放问题上取得了新颖成果，并发布所有对话、证明和代码以确保透明度。

AI编程代理可复现社会科学发现

arXiv cs.CL

本文介绍了SocSci-Repro-Bench，这是一个包含221个任务的基准测试，用于评估AI编程代理从原始数据和代码中复现社会科学发现的能力。研究发现，像Claude Code和Codex这样的前沿代理可以复现大部分结果，其中Claude明显优于Codex，并且结果并非主要由记忆驱动。