@dair_ai:Meta 发布了一篇关于 AI 研究智能体的重磅论文(记得收藏)。如果你在构建 AI-scientist 系统,这篇论文值得一读……

X AI KOLs Timeline 论文

摘要

Meta 的 IdeaScientist 论文将科研构思拆解为缺口发现、创新与报告撰写三个角色并分别用强化学习训练,基于 Qwen3.6-27B 在 2.77M 理念语料库上检索,超越最强开源 autoresearch 基线 14.0%,并优于 Claude Code SDK 与 Codex SDK 方案最多 5.9%。

Meta 发布了一篇关于 AI 研究智能体的重磅论文。 (记得收藏) 如果你在构建 AI-scientist 系统,这篇论文绝对值得你花时间阅读。 成果: 一个 27B 的开源模型在新颖性上大幅超越最强的开源 autoresearch 基线,高出 14.0%;同时在与 Claude Code SDK 和 Codex SDK 方案的对比中,最高领先 5.9%。 工作原理: IdeaScientist 将科研构思拆分为三个角色,分别用强化学习训练。一个缺口发现器(gap finder)从相关文献中寻找研究局限,一个创新器(innovator)检索其他领域中解决过类似问题的机制,还有一个撰写器(writer)将结果整理成完整的科研提案。 检索过程基于一个包含 277 万个拆解后科研理念的语料库进行。 评估仅允许使用截止日期之前发表的文献,并以 1.5 万篇人类撰写的论文中后续探索的方向为基准,对生成的提案进行评分。 论文:https://arxiv.org/abs/2610.04074 Chat with Paper:https://academy.dair.ai/papers/ideascientist-orchestrating-agents-for-grounded-scientific-ideation-2610.04074
查看原文
查看缓存全文

缓存时间: 2026/10/12 03:20

Meta 出了篇关于 AI 研究智能体的重磅论文。(收藏吧)如果你在构建 AI-scientist 系统,这篇值得花时间读。

结果: 一个 27B 开源模型比最强的开源 autoresearch 基线高出 14.0%,主要提升在新颖性方面;并且比 Claude Code SDK 和 Codex SDK 方案最高高出 5.9%。

工作原理: IdeaScientist 将研究选题拆分为三个角色,分别用 RL 训练。一个 gap finder 阅读相关文献寻找局限性,一个 innovator 检索在其他领域解决过类似问题的机制,一个 writer 将结果转化为完整的研究提案。检索在一个包含 277 万条分解研究想法的语料库上进行。评估仅允许使用截止日期之前发表的文献,并根据之后 15K 篇人类撰写的论文所探索的方向来给提案打分。

论文:https://arxiv.org/abs/2610.04074 论文对话:https://academy.dair.ai/papers/ideascientist-orchestrating-agents-for-grounded-scientific-ideation-2610.04074…


IdeaScientist:编排智能体实现有据可依的科学选题

来源:https://arxiv.org/html/2610.04074

作者: Renjie Tao(Meta Reality Labs)、Yiwei Liao(Meta Reality Labs)、Chuanyang Jin(FAIR at Meta)、Kai Sun(Meta Reality Labs)、Xiao Yang(Meta Reality Labs)、Xinyuan Zhang(Meta Reality Labs)、Xilun Chen(Meta Reality Labs)、Zhuangqun Huang(Meta Reality Labs)、Lechen Zhang(University of Illinois Urbana-Champaign)、Yongjin Yang(University of Toronto)、Yinghui He(Princeton University)、Weihao Xuan(The University of Tokyo / RIKEN AIP)、Rakesh Wang(Meta Reality Labs)、Anuj Kumar(Meta Reality Labs)、Mona T. Diab(Carnegie Mellon University)、Wen-tau Yih(FAIR at Meta)、Xin Luna Dong(Meta Reality Labs)

摘要

尽管自动化科学研究进展迅速,生成有前景且有据可依的研究方案仍是一个核心挑战。我们将研究选题隔离为一个独立任务,并基于这样一个直觉来构建解决方案:一个领域中的挑战往往可以通过另一个领域中解决了类似挑战的机制来解决。为此,我们提出 IdeaScientist,将选题分解为 gap finding、innovation 和 report writing 三个阶段,并用强化学习分别训练每个角色。这些角色分别负责识别相关文献中的局限性、从类比问题中汲取解决方案的直觉、并将这些直觉发展为完整的研究提案。为促进跨领域的洞察发现,我们构建了 Svalbard Idea Vault——一个包含 277 万条分解研究想法的语料库,用于检索、训练和时间受控的评估。我们的评估限制仅可访问截止日期之前的文献,并考察所提议的研究方向与之后 15,000 篇人类研究人员发表的论文中实际探索的方向的吻合程度。在 Qwen3.6-27B 上,IdeaScientist 比最强的开源 autoresearch 基线高出 14.0%,主要由新颖性提升驱动。在这个 27B 开源模型上,IdeaScientist 甚至超过 Claude Code SDK(Claude-4.8-Opus)和 Codex SDK(GPT-5.4),最高领先 5.9%。

††日期:2026年10月2日 ††通讯作者:Jiarui Liu [email protected] ††代码:https://github.com/jiarui-liu/IdeaScientist ††数据集:https://huggingface.co/datasets/Jerry999/SvalbardIdeaVault

1 引言

随着编码智能体承担越来越多的实现工作,自主研究(AutoResearch) 受到了越来越多的关注(Lu et al., 2024;Yamada et al., 2025;Gottweis et al., 2026;Schmidgall et al., 2025)。然而,大多数进展都在下游:现有系统将方案提出与实现、实验和写作耦合在一起,难以判断成功来自优秀的研究想法还是强大的下游执行能力。前沿实验室也报告了同样的不对称性:OpenAI 最近报告称其“自动化研究实习生“专注于人类指导下的明确任务,而高层次规划仅占智能体输出的极小比例(OpenAI, 2026)。

在本文中,我们聚焦于研究选题这一问题,定义如下:给定一个问题定义(任务输入和期望输出)以及一个当前解决方案无法满足的挑战,产出一个有据可依的研究提案来应对该挑战。该挑战可以涉及输出或产生输出的过程的任何期望属性,例如质量低下、推理延迟高或隐私风险。我们提出两个问题:(1) 智能体如何为开放性研究问题生成高质量的研究提案?(2) 在许多合理方案存在且没有唯一正确答案的情况下,如何在实验之前可靠地评估这些提案?

那么,研究想法从何而来?我们的核心直觉源于认知科学和心理科学中反复出现的观点:新颖性通过以新方式连接已有知识而产生,当两个问题共享相同的底层结构时,在一个问题上开发的解决方案可以迁移到看似不相关的另一个问题(Mednick, 1962;Uzzi et al., 2013;Gentner, 1983;Gick and Holyoak, 1983;Loewenstein et al., 1999)。因此,我们不是从同一领域先前的工作中汲取灵感,而是从不同领域解决类似挑战的工作中获取洞察。例如,网络搜索通过先低成本检索候选集再应用复杂排序器来降低延迟;同样的两阶段结构也回答了推荐系统中的延迟挑战——先进行一级过滤,再做细粒度评分。

我们提出 IdeaScientist——一个通过三个专门的子智能体将这一过程付诸实施的智能体框架。一个 gap finder 审视目标领域中密切相关的历史方案,识别导致挑战未被解决甚至被放大的共同方法论局限。一个 innovator 搜索在其他领域解决过类似挑战的机制,然后将其适配到目标场景。最后,一个 report writer 将得到的直觉转化为完整的研究提案(Baek et al., 2025;Keya et al., 2026)。

我们使用异步 GRPO 和基于角色的评分细则奖励来训练每个子智能体。

Figure 1: IdeaScientist 总览。一个编排器通过共享的中间产物来协调专门的智能体——gap finder、innovator 和 report writer——智能体访问 Svalbard Idea Vault 获取跨领域洞察。

训练和推理都依赖于 Svalbard Idea Vault¹——一个通过想法分解构建的离线语料库,从研究论文中提取出 277 万条(问题定义、挑战、研究缺口、直觉、提案)元组。我们将截止日期设为 2026 年 1 月 1 日,并将截止日期后发表的 14,977 篇方法论论文视为截止后目标。

¹ 以 Svalbard Global Seed Vault(斯瓦尔巴全球种子库)命名,作为研究想法库的比喻。

Idea Vault 承担三个功能。截止前的论文构成 gap finder 和 innovator 检索的文献。一部分截止后目标用于生成训练数据:智能体仅接收问题定义和挑战并产出提案,将其与目标论文的实际解决方案进行比较,获得用于强化学习的监督信号。其余目标保留用于评估——由于评估期间智能体无法搜索截止日期后发表的文献,这一设计测试的是它能否在研究方向出现之前推断出该方向。

总结而言,本文做出以下贡献:

  1. 我们将研究选题从 AutoResearch 中分离出来,并将其形式化为:从问题定义和挑战出发,产出有据可依的研究提案。
  2. 我们提出 IdeaScientist——一个基于在不同领域寻找类似挑战解决方案这一直觉构建的智能体框架,并应用基于角色的强化学习来改进 gap finding、innovation 和 report writing。
  3. 我们构建了 Svalbard Idea Vault——一个包含 277 万条(问题定义、挑战、研究缺口、直觉、提案)元组的离线语料库,通过想法分解生成。Idea Vault 用于文献检索、训练数据生成和评估。
  4. 我们进行了大量实验,展示了 IdeaScientist 的优势。在 Qwen3.6-27B 上,其总分(新颖性和提案质量的平均值)比最强的 SOTA autoresearch 基线高出 14.0%。在同样的开源模型上,它还分别超过 Claude Code SDK(Claude-4.8-Opus)5.9%、超过 Codex SDK(GPT-5.4)5.1%。

我们相信 IdeaScientist 为全自动研究迈出了重要一步,并且它可以与自动化研究选题和自动化实验相结合,实现更强的端到端 autoresearch。

2 相关工作

2.1 自主研究系统与研究选题

端到端 autoresearch 系统通过智能体工作流、实验搜索、辩论或持久记忆将选题与实现相结合(Lu et al., 2024;Baek et al., 2025;Ghafarollahi and Buehler, 2025;Ifargan et al., 2025;Schmidgall et al., 2025;Liu et al., 2026a;Song et al., 2026;Tang et al., 2026;Lu et al., 2026;Yamada et al., 2025;Lyu et al., 2026;Jin et al., 2026;Wang et al., 2026a;Gottweis et al., 2026;Su et al., 2025;Weng et al., 2026;Mitchener et al., 2025)。它们的目标通常奖励实验选择或下游成功,将提案质量与编码和实验结果纠缠在一起(Falck et al., 2026;Yang et al., 2026b)。近期工作通过执行反馈、在监督微调后对技术深度和语义对齐进行奖励、基于辩论的奖励、或针对特定论文的无参考评分细则等方式来更直接地监督选题(Zhang et al., 2026b;Gu et al., 2026;Salimi et al., 2026;Wang et al., 2026c)。然而,这些方法并未将文献检索训练为一个可检查的研究操作序列。

基于检索的深度研究系统通过知识图谱、混合检索、引用路径、迭代搜索或大纲引导的综合来结构化证据使用(Wang et al., 2024a;Wang et al., 2024b;Li et al., 2025a;Hu et al., 2024;Wang et al., 2024c;Yan et al., 2025;Shao et al., 2024a)。其他方法对研究缺口进行排名,或跨学术轨迹重组想法(Shahid et al., 2025;Xu et al., 2025b;Li et al., 2026c;Radensky et al., 2024;Suzuki and Banaei-Kashani, 2026;Choi and Song, 2026)。

IdeaScientist 在一个可检查的选题流程中整合了这些方向,分别训练智能体来识别密切相关工作中的局限性、从其他领域解决类似挑战的方式中汲取灵感、并将这些洞察发展为完整的研究提案。

2.2 评估生成的研究想法

执行前的评估必须用可观测的代理指标替代最终的科学价值,但不同的代理指标回答不同的问题。无参考评分细则使用 LLM 评审员从新颖性和可行性等维度评估想法是否看起来高质量(Guo et al., 2025;Ruan et al., 2026;Chen et al., 2026;Schopf and Färber, 2026;Wang et al., 2026d)。学习型审稿人估计类似录用的质量(Zhu et al., 2025;Idahl and Ahmadi, 2025;Weng et al., 2025;Zeng et al., 2025;Nguyen et al., 2026;Deng et al., 2026;Li et al., 2026a;Camelo-Guerrero and Diaz-Rodriguez, 2026;Akella et al., 2025;Wen et al., 2026)。事实性指标检验生成的论断是否被引用或检索到的科学证据直接支持(Min et al., 2023;Song et al., 2024;Dhuliawala et al., 2024)。然而,LLM 评审员可能意见不一致、表现出自我偏好或奖励文风特征(Zheng et al., 2023;Panickssery et al., 2024;Li et al., 2026b;Ji et al., 2026;Norman et al., 2026;Sinhahajari et al., 2026;Zhang et al., 2026a)。专家研究还发现,更高的新颖性可能以实际执行的可行性为代价(Si et al., 2025;Ho et al., 2026;Si et al., 2026;Jiang, 2026)。直接执行提供更直接的结果导向信号,但成本高昂且将选题与实现能力混在一起(Foster et al., 2026

相似文章

@WWTLitee: 有没有什么办法让AI自主迭代优化? 有,来看看这个 autoresearch 它的核心不是让 AI 直接“发明论文”,而是把研究过程拆成一个可验证循环:人类写 program.md 给研究方向,AI agent 修改 http://tra…

X AI KOLs Timeline

介绍了autoresearch项目,它将AI研究过程拆解为可验证的循环(固定环境、单一可编辑文件、固定指标、Git回滚),使AI agent能进行可控、可复现的实验迭代;同时提及了12-factor-agents清单。