IdeaTrail：科学构思的全过程智能体轨迹

# IdeaTrail：科学构思的全流程智能体轨迹
来源：https://arxiv.org/html/2607.10144
###### 摘要

科学研究是一个复杂、多阶段的流程，而非单一的文本生成行为。构思过程通常通过文献检索、论文阅读、工具使用、主张核查、跨论文综合、头脑风暴、弱方向剔除以及迭代写作来展开。现有资源虽然捕获了这一流程的各个组件，但能够联合记录工具使用、证据获取、中间产物演变以及构思或方案层面终点的数据集仍然有限。本报告介绍了**IdeaTrail**，一个面向科学构思和方案生成的多轮过程轨迹数据集。每个实例记录了一个从证据收集到构思选择或方案构建的研究过程。轨迹并非随意虚构，而是从人类选定的高质量研究论文和方案产物出发，采用生成器-顾问（Generator–Advisor）合成循环来生成。生成器通过动作、观察和产物编辑产生可见轨迹，而顾问则能访问完整的生成上下文，并检查轨迹是否基于事实、因果顺序是否合理、过程是否自然，以及是否从隐藏目标中泄露信息。这种反向到正向的流程生成了多轮研究数据，这些数据既与现实科学产物保持一致，又近似反映了研究实践中的不确定性、证据使用和阶段性收敛。**IdeaTrail** 既提供了一个数据集，也为合成为科学研究智能体的过程监督数据提供了一种通用方法。

## 1 引言

科学研究是一个长周期、自主的工作流，而不是单一的文本生成步骤。研究思路和方案是通过多轮文献检索、工具使用、论文阅读、证据核查、跨论文综合、头脑风暴、思路选择以及方案撰写来形成的。最近的AI科学家系统越来越多地自动化了这一工作流的很大一部分，从假设生成到实验和论文撰写[3, 4, 5]。与此同时，数据集和训练框架已经开始将科学构思形式化为思路评估、基于文献的生成或分解式的发现任务[1, 2, 6, 7]。然而，用于长周期科学构思轨迹的公开监督仍然有限。现有资源通常强调最终思路、选定的中间决策或系统输出，而不是证据发现、工具交互、中间推理、产物演变、思路选择和方案构建的耦合序列。

本报告介绍了**IdeaTrail**，一个反向合成的科学构思过程监督数据集。每个**IdeaTrail**实例记录了一个多轮研究轨迹，其中智能体从一个宽泛的研究查询出发，最终达到思路级或方案级的终点。轨迹被表示为多轮消息流，包含工具调用、证据收集步骤、推理轮次和产物更新。对于方案扩展轨迹，研究方案既是科学构思的终点，也是下游实现的起点。这样一个方案应该足够具体，以支持后续智能体的编码、实验和验证。它应明确研究问题、核心机制或方法、预期贡献、评估设置以及风险。

轨迹通过生成器-顾问（Generator–Advisor）评审循环生成。顾问可以访问完整的生成上下文，包括选定的论文、方案终点和隐藏约束。生成器只能看到可见的查询、当前的轨迹前缀、当前的产物以及一组可用工具。它沿着正向方向提出动作、观察、推理步骤和产物编辑。顾问评估每个生成的步骤是否基于事实、因果顺序合理、自然，并且没有从隐藏目标泄露信息。这个循环创建了一种受控形式的对抗式监督：生成器负责产生一个合理的研究过程，而顾问则防止过程偏离、捏造证据或过早透露未来信息。

生成器的工具也具有截止时间感知能力。每个案例都在指定的信息时间范围内生成，因此智能体不能依赖在预期数据截止时间下不可用的证据。这一点之所以重要，是因为科学构思对时间高度敏感。一个使用较新论文、较新基准或较新术语的轨迹可能更容易生成，但它不再反映目标研究方向本应被发现时的信息状态。因此，受截止时间约束的工具使用减少了时间泄漏，有助于使生成的过程与目标科学产物保持一致。

**IdeaTrail** 还引入了研究人员画像作为可选的条件上下文。每个画像从第一作者以往的论文中提炼而来，总结了领域知识、研究方法、创新风格、证据偏好以及反复出现的特征模式。该画像作为一个研究先验，使生成的轨迹更少泛化，更符合特定研究者的合理选择。

总之，我们介绍了 **IdeaTrail**，一个用于科学构思和方案生成的多轮过程轨迹数据集，并提出了一种从现有论文构建过程监督数据的反向到正向合成方法。

## 2 相关工作

#### AI科学家的兴起。

近期系统表明，语言模型智能体可以参与研究周期中越来越广泛的部分。AI科学家将构思与实现、实验、论文撰写和自动评审联系起来[3]。Google的Co-Scientist采用多智能体流程进行生成、批评、排序和改进，以开发可实验检验的假设[4]。最近，FARS展示了一个完全自动化的系统，在部署规模上运行构思、规划、实验和写作，同时在共享工作空间中保留方案、代码、日志、结果和论文[5]。这些系统共同推动了训练资源的产生，这些资源将研究视为一个扩展的过程，而不是一个孤立的生成任务。

#### 现有构思监督中的抽象。

现有资源通过集中于选定的输出或分解的决策，使科学构思更加易于处理。IdeaBench评估生成的思路与参考研究贡献的对齐程度，而ResearchAgent则迭代生成和评审基于文献的思路[2,1]。MOOSE-Star识别出直接学习 P(h|b) 的组合难度，并通过将论文推导出的发现分解为动机规划、灵感检索和增量假设组合，构建了TOMATO-Star[6]。这种分解为关键的发现决策提供了可扩展的监督，但有意抽象掉了大部分时间上扩展的活动，这些活动包括证据的搜索、阅读、核查、综合以及转化为不断演变的研究产物。Agentic-Ideation通过使用神谕引导合成使用工具的构思轨迹，向过程监督迈进[7]，但捕获更广泛、持久研究过程的可复用数据仍然有限。

#### IdeaTrail 的定位。

**IdeaTrail** 针对这一数据空白，将科学构思表示为长周期、多轮的轨迹，而不仅仅是最终思路或一系列分解的选择。每条轨迹结合了文献搜索与阅读、工具观察、显式证据产物、跨论文综合、候选比较，以及思路级或方案级的终点。其反向到正向的生成器-顾问构建旨在保持与现实研究产物的对齐，同时将中间过程作为可复用的监督暴露出来。因此，**IdeaTrail** 的贡献不是另一个自主科学家系统，而是一个用于训练和研究那些必须在多轮中保持连贯研究行为的智能体的数据集和合成方法。

## 3 IdeaTrail 的前向过程：研究构思如何生成

本节定义了构思的前向过程。该过程是一种设计惯例，而非关于每一位人类科学家如何工作的主张。其目的是为研究智能体提供一个稳定的训练目标。在此惯例中，科学构思被建模为行为与产物的耦合序列。

行为序列描述了智能体做了什么。产物序列记录了智能体学到了什么以及做出了什么决定。这两个视角不可分割：一个搜索动作如果未改变智能体的知识状态，则训练价值有限；一个产物如果不能追溯到搜索、阅读和推理动作，则可信度有限。

### 3.1 行为轨迹：从探索到方案撰写

一条轨迹被表示为一串轮次：

τ = { x_t }_{t=1}^T, x_t = (b_t, u_t, o_t, Δa_t),   (1)

其中 b_t 是第 t 轮的智能体行为，u_t 是工具调用或动作，o_t 是观察或工具结果，Δa_t 是该轮引发的产物更新。产物状态按照以下方式演变：

a_t = Update(a_{t-1}, Δa_t).   (2)

智能体首先通过搜索和阅读收集证据，然后对照来源核查主张，综合跨论文的张力与机会，比较候选思路，最后撰写可执行的方案。重要的特性是阶段性收敛：最终思路应从证据和备选方案中浮现，而不是在第一轮就作为一个已知答案出现。

参见标题图1：规范的前向过程。顶行显示行为阶段。底行显示持久产物。训练目标是两行耦合的演变。

### 3.2 产物轨迹

产物轨迹是智能体研究状态的持久记录：

claim_audit.md → synthesis.md → idea_candidates.md → research_proposal.md.   (3)

每个产物具有不同的作用。claim_audit.md 是证据账本，将主张扎根于来源，并记录局限性和含义。synthesis.md 将已审计的证据压缩为跨论文的张力、机制、边界条件和研究机会。idea_candidates.md 记录候选方向、被拒绝的备选方案以及选中思路背后的选择逻辑。research_proposal.md 将该思路扩展为一个可执行的方案，包含动机、方法、评估、风险和实现细节。

## 4 IdeaTrail 的构建：反向合成的研究轨迹

本节描述 **IdeaTrail** 如何构建研究轨迹。如图2所示，流水线首先从人类选定的最终研究产物中提取仅顾问可用的约束和锚点产物，然后要求生成器生成一个按时间顺序的轨迹，包括工具调用、观察和产物编辑。顾问验证生成的过程是否基于事实、因果顺序合理、自然，并且没有从隐藏目标泄露信息。

参见标题图2：**IdeaTrail** 数据生成流水线概览。

### 4.1 后见之明问题

令 p 表示最终研究方案，令 τ 表示可能产生它的一个合理前向轨迹。一个朴素的逆向生成设置会要求生成器求解：

p → τ.   (4)

这个逆问题是欠定的：许多不同的轨迹可以导向同一个最终方案。如果生成器直接基于真实方案进行条件化，那么早期的轮次可能在表面上合理，但秘密依赖于最终方法、基准、术语或决策规则。由此产生的数据可能包含目标泄漏、不自然的搜索行为以及过于线性的推理。**IdeaTrail** 则将顾问侧的约束构建与生成器侧的轨迹合成分离开来：

p → o_adv → a* → τ̂_gen,   (5)

其中 o_adv 是仅顾问可用的神谕上下文，a* 是一组锚点产物，τ̂_gen 是生成的轨迹。顾问使用神谕上下文和锚点来约束和验证目标，而生成器按时间顺序产生可见轨迹。

### 4.2 顾问上下文、锚点与轨迹

仅顾问上下文从最终方案中提取。它包含最终原子、产物原子、因果依赖和泄漏锁。最终原子总结了论题、方法、评估、决策规则、创新性、风险以及其他方案关键组件。产物原子规定了中间产物最终应发现的内容。泄漏锁规定了哪些最终原子在指定阶段之前不能出现。

锚点产物是从方案种子和仅顾问上下文构建的确定性目标。它们包括主张审计、综合、思路候选和方案的锚定版本。这些锚点不会作为轨迹输入展示给生成器；它们由顾问和验证器用作目标约束。生成的轨迹仍然允许包含局部不确定性、绕路、被拒绝的思路以及增量编辑。

### 4.3 合成目标

生成的轨迹应满足四个约束：

Convergence(τ̂_gen, a*) ≥ γ,   (6)
Leakage(τ̂_gen, o_adv) = 0,   (7)
Grounding(τ̂_gen) ≥ η,   (8)
Naturalness(τ̂_gen) ≥ ν.   (9)

收敛意味着最终思路或方案与锚点的核心机制一致。泄漏意味着仅顾问可用的术语或最终结论不会过早出现。基础意味着主张有观察到的来源支持。自然意味着轨迹包含现实的不确定性、阅读、修订和阶段性收敛。

### 4.4 方案摄取

流水线从 research_proposal.md 开始。摄取步骤将方案解析为结构化的方案种子。此步骤是保守的：它提取方案中已存在的信息，并避免添加缺失的细节。方案种子是下游逆向规划的事实基础。简化后的方案种子格式如下：