Agentic-Ideation：面向科学构想智能体的样本高效轨迹合成方法

Agentic-Ideation: 面向科学构思智能体的高效样本智能体轨迹合成
来源：https://arxiv.org/html/2606.31229

###### 摘要

构思在科学发现中扮演着关键角色。近年来，大型语言模型（LLM），特别是AI Scientist系统，在自动化构思方面展现出巨大潜力。然而，现有方法主要依赖预定义的智能体工作流。这种约束严重限制了在科学文献的广阔搜索空间和研究推理的复杂动作空间中进行灵活探索的能力。最近，训练智能体LLM成为一个有前景的方向，它提供了灵活的推理框架和自主使用工具的能力。然而，一个重大挑战依然存在：将先前的智能体数据合成方法应用于科学构思，会导致数据合成成本过高。为弥合这一差距，我们提出Agentic-Ideation，一个包含自动轨迹合成流程和专为科学构思训练的智能体LLM的新框架。具体来说，我们首先定义了一个综合工具空间，包含三种外部工具和三种认知工具。然后，我们引入了一种参考引导的数据合成策略。通过利用参考构思作为先知指引，该策略引导多智能体系统高效地重建逻辑推理和工具调用路径，将盲目的试错转变为定向的轨迹生成。最后，我们使用这些合成轨迹训练智能体，并对工具执行结果应用掩码策略。这确保模型专注于决策逻辑，而不受外部反馈的干扰。实验结果表明，我们的方法在整体质量上比最先进的工作流基线高出11.91%。此外，我们的方法将高质量数据合成的样本效率提高了超过10倍。

机器学习，ICML

## 1 引言

科学构思是整个研究生命周期的起点，从根本上决定了后续发现的创新性和潜在影响力。近来，大型语言模型（LLM）的快速发展催生了"AI Scientist"的愿景（Tang等人，2025；Lu等人，2024；Schmidgall等人，2025），它能够自动化从初始想法生成（Yu等人，2024；Pu等人，2025）到最终稿件准备（Wang等人，2024b；Yan等人，2025；Liang等人，2025）等复杂的研究任务。尽管如此，先前的方法主要依赖预定义的工作流（Li等人，2024；Zhou等人，2025）。这些方法通常限制大型语言模型执行预定义的线性序列，例如先检索文献再填模板。关键是，这些僵化流程的有效性高度依赖于精细的人工设计提示，这些提示需要精心制作以引导模型完成每一步。这种对静态人工工程的依赖限制了灵活性（Shang等人，2024；Hu等人，2024），无法在研究者需要自适应选择工具和优化推理的广阔文献搜索空间中导航。为克服这些局限，训练智能体LLM成为一个有前景的前沿方向。与静态工作流不同，智能体模型提供了灵活的推理框架，能够自主编排工具并自适应地探索研究空间，而不受脆弱脚本的约束（Jin等人，2025；Chen等人，2025）。然而，训练这样的智能体模型并非易事，主要挑战在于高效合成高质量的智能体轨迹数据。现有的智能体数据合成框架通常专注于有确定答案的任务，例如多跳问答（QA）（Tao等人，2025；Li等人，2025a）。在这些场景中，高质量轨迹通常通过拒绝采样（Li等人，2025b）进行筛选，最终答案的正确性作为明确的真值信号来验证推理路径。不幸的是，这种范式不适用于科学构思。与问答不同，构思涉及广阔且开放式的答案空间，没有单一的"正确"解决方案（Zhang等人，2025a；Calic等人，2020）。因此，应用标准拒绝采样会导致样本效率极低，因为无引导的模型难以在这个巨大搜索空间中导航以产生高质量构思，使得数据合成过程计算成本高昂且效率低下。

为应对这些挑战，我们引入Agentic-Ideation，一个用于高效智能体数据合成和稳健模型训练的综合框架。我们首先精心定义了智能体的混合工具空间，包含三种外部工具和三种思维工具。外部工具包括Search、Get_References和Get_Cited，使智能体能够访问外部API，从而主动扩展其内部参数之外的边界。与此互补，思维工具包括Analyse_Gap、Ideation和Reflection，使智能体能够执行关键的认知任务，例如识别研究空白和迭代优化构思。为了基于这个动作空间合成高质量轨迹，我们构建了一个层级多智能体系统，包括一个规划器、一个控制器和六个专门的工具智能体。在这种架构中，规划器协调高层构思策略，而控制器管理每一步的细粒度工具选择和执行。值得注意的是，我们赋予智能体对高质量"参考构思"的先知视角，作为导航信标以最大化样本效率。这种引导将合成过程从随机搜索转变为定向轨迹重建，而不是在广阔动作空间中盲目探索。通过利用这种"预见"，系统可以一次性生成有效、逻辑连贯的推理路径。这从根本上避免了传统拒绝采样中固有的巨大计算浪费，因为拒绝采样需要在大量无方向的"事后"试错后才稀疏地提炼出有效轨迹。最后，我们利用这些高质量轨迹训练目标智能体，使其具备在开放式科学构思中进行基于推理和自主探索的能力。在此阶段，我们对外部工具返回的结果应用战略掩码技术。这种关键设计迫使模型专注于工具调用背后的推理，而不是记忆特定的返回值，从而避免学习过程中外部反馈的干扰，并确保训练后智能体的泛化性和鲁棒性。大量实验证明了我们提出框架的优越性。定量上，我们训练的智能体LLM持续优于所有有竞争力的基线，在整体分数上比最先进方法高出11.91%，这实证验证了我们提出的智能体训练范式的有效性。在数据构建方面，我们的方法实现了显著的效率提升，与先前的拒绝采样策略相比，高质量智能体轨迹的合成速度加快了十倍以上。此外，全面的人工评估证实，我们的智能体产生的构思具有更高的新颖性、可行性和科学价值，验证了我们的方法在真实研究场景中的实用价值。我们的贡献可总结如下：

1.  1.我们率先将智能体LLM应用于科学构思，为现有的僵化工作流方法提供了灵活、自主的替代方案。这一范式转变使模型能够自适应地探索科学构思的复杂搜索空间。
2.  2.我们提出一种新颖的先知引导多智能体数据合成框架。通过利用全局视角引导轨迹生成，我们解决了数据稀缺的挑战，并显著提高了开放式构思领域的样本效率。
3.  3.我们在所有指标上取得了最先进的结果，超越了强基线，并将合成效率提高了十倍以上。此外，人工评估证实，我们的方法能生成更新颖、更可行的构思。

## 2 相关工作

### 2.1 科学构思

参见图注 图1：提出的AgenticIdeation概述，包括先知引导的智能体数据合成和智能体监督微调。该系统利用先知引导合成高质量研究轨迹，随后用于微调模型，并对工具执行结果应用掩码策略。

追求AI科学家的愿景是构建能够自动化整个研究生命周期的系统（Yamada等人，2025；Gottweis等人，2025；Schmidgall和Moor，2025）。这一愿景的核心是科学构思，它是上游基础阶段，决定了下游实验的创新性和有效性（Novikov等人，2025；Romera-Paredes等人，2023）。虽然近期工作探索了各种生成策略，ResearchAgent（Baek等人，2024）通过利用科学知识图谱和迭代同行评审机制来增强想法生成，而SciPiP（Wang等人，2024a）采用结合检索和生成的双路径框架来平衡新颖性和可行性。聚焦于独特性，SciMON（Wang等人，2023）通过迭代检索过去文献中的灵感以细化假设，明确优化新颖性；而VirSci（Su等人，2024）模拟了一个虚拟研究团队，多个智能体协作提出和评估想法。尽管各有创新，这些方法共享一个关键局限：它们依赖由复杂人工设计提示驱动的固定静态工作流。这种僵化限制了模型遵循预定义过程，无法实现真正开放式科学探索所需的自主灵活性。

### 2.2 智能体数据合成

与僵化的工作流系统不同，智能体LLM的定义特征在于其自主规划和调用外部工具以解决开放式问题的能力。为了赋予模型这些能力，智能体数据合成将训练范式从学习静态文本转变为模仿动态交互轨迹，明确捕捉推理、工具执行和环境反馈之间的相互作用。近期工作采用多种策略合成智能体训练数据。AgentScaler（Fang等人，2025）通过将环境形式化为读写数据库来生成交互日志，从而自动化经验积累；而WebDancer（Wu等人，2025）捕获了专门用于复杂"深度研究"检索的端到端浏览器轨迹。针对推理深度，WebSailor（Li等人，2025b）通过图采样和信息混淆合成高难度任务，而WebWatcher（Geng等人，2025）通过整合视觉网页上下文将合成扩展到多模态领域。然而，这些方法通常依赖基于结果的过滤机制（例如拒绝采样或任务完成验证）来确保数据质量。在科学构思的广阔开放式答案空间中，由于缺乏唯一的正确结果或即时的成功信号，无引导的探索无法持续产生高质量结果，这类策略的样本效率极低。

## 3 方法论

Agentic-Ideation框架通过三个集成阶段简化自主科学发现。首先，我们建立一个混合工具空间，结合外部检索工具和内部认知工具以支持复杂推理。其次，为克服数据稀缺，我们采用先知引导的多智能体系统，其中规划器和控制器在"参考构思"的引导下高效合成高保真轨迹，而无需依赖低效的试错。最后，目标LLM通过监督微调进行训练，其中工具输出被掩码，以确保模型学习稳健的决策逻辑，而非记忆外部反馈。Agentic-Ideation的整体框架如图1所示。

### 3.1 智能体工具空间定义

科学构思本质上是一个迭代的认知过程，在广泛积累领域知识和密集合成新颖想法之间摇摆。为了真实地模拟这种复杂行为，我们定义了一个全面的智能体工具空间，弥合检索外部证据和执行内部推理之间的鸿沟。我们将该空间形式化为T = Text ∪ Tthink，其中Text表示外部检索工具，Tthink表示内部推理工具。用H表示当前交互历史。

外部工具（Text）这些工具与学术数据库交互。值得注意的是，为模拟现实约束，只有搜索工具返回完整细节，而引用工具提供宽泛但浅层的上下文。

- •Search(q) → Dmeta：使用关键词q查询数据库。返回一个集合Dmeta，包含综合元数据（例如摘要、引用次数、出版年份），是获取详细信息的主要来源。
- •Get_References(did) → Ltitles：检索目标论文d的参考文献。只返回标题列表，允许智能体快速扫描工作的基础根基，而不会使上下文过载。
- •Get_Cited(did) → Ltitles：识别引用了d的论文。同样只返回标题列表，使智能体能够高效映射后续演化和发展。