研究图谱：引文演化图作为研究想法生成的监督信号

# 引文演化图作为研究想法生成的监督信号  
来源：https://arxiv.org/html/2605.14790  

宋阳 G 香港科技大学（广州）  
[email protected]  

夏莹¹ 香港科技大学（广州）  
[email protected]  

刘思逸 清华大学  
[email protected]  

熊辉 香港科技大学  
[email protected]  

###### 摘要  
研究想法生成是自动化科学研究的创新驱动步骤。近期，大语言模型（LLMs）已展现出大规模自动化想法生成的潜力。然而，现有方法主要基于静态检索相关文献或复杂提示工程来激发LLM的想法生成，而未充分利用参考文献之间的结构关系。我们提出 **研究图谱（GoR）** ，一种监督微调方法：为每篇种子论文提取2跳参考邻域，从引用位置、频率、前驱链接和发表时间中推导这些参考文献之间的关系，并将其组织成论文演化有向无环图（DAG）。我们构建了一个自动提取管道，从五大ML/NLP会议中抽取数据，包含498/50/50训练/验证/测试种子论文及约7,600篇引用参考文献。我们对 Qwen2.5-7B-Instruct-1M 进行结构化文本提示的微调，提示内容包括引文图、边信号、参考文献信息和任务定义，以预测种子论文的想法。在与基于 gpt-4o 驱动的基线进行一对一LLM评判锦标赛中，GoR-SFT 达到了最新最优（SOTA），证明了引文演化图作为LLM想法生成监督信号的有效性。我们希望这能降低引文演化图作为监督信号的门槛，加速自动化科学创新。  

## 1 引言  

![图1：现有想法生成范式、我们的 GoR 以及启发我们设计的人类构思过程的对比。](图1)  

自动化科学研究日益依赖大语言模型（LLMs），将文献综述、构思、实验验证和论文写作整合成闭环[20,33,28,22]。在此闭环中，构思是驱动创新的步骤。它决定了后续所有产物的原创性和可行性，也是自动化无法依赖检索或机械执行的一个阶段。随着LLMs使大规模研究构思变得可行[23,16]，一个具体问题随之而来：*什么输入能让LLM生成高质量、创新的研究想法？* 现有方法通过静态检索、智能体编排或训练生成器向LLM注入信息以激发想法生成。  

*检索-生成* 流水线[30,13,16]将邻域论文作为灵感来源注入，无需任何训练，但依赖捕捉主题相似性的检索评分。*多智能体自主* 框架[28,20,33,25,22,6,1]覆盖整个研究生命周期，但将构思本身简化为反复的提示和过滤。*训练策略*[32]通过循环训练内化审稿人偏好，但在手稿层面而非想法层面进行监督。如图1（左）所示，尽管架构多样，这些系统将参考文献视为一个扁平的文本袋，忽略了连接这些参考文献的结构关系。  

相比之下，人类研究者通过结构线索（如章节位置、发表年份差、前驱关系、并行工作模式）来阅读参考文献，并将这些线索综合成下一个想法。受此人类构思过程启发，我们将这些论文间的结构信号融入监督管道。我们提出研究图谱（GoR），如图1（中）所示，这是一种结构化文本提示格式，将每篇论文的引用子图连同边特征和前驱关系序列化。具体来说，我们为每篇论文提取2跳参考邻域，用八个特征（涵盖位置来源、影响力、时间和结构信号）标注每条边，标记节点间的并行或显式前驱关系，并将带标注的图序列化为结构化文本提示。然后，我们对 Qwen2.5-7B-Instruct-1M 进行微调，在该提示上以论文的五字段想法为完成目标计算交叉熵，得到的模型称为 GoR-SFT。  

为隔离结构信号的效果，我们在相同的498篇训练论文（来自2020-2024年间的NeurIPS、ICLR、CVPR、ICML和ACL）上训练了一个配对的普通参考文献基线（Refs-SFT），在匹配的超参数下剥离图标注，结构块为唯一的实验变量。我们在来自相同五个会议的2025年论文的无泄漏测试集上，使用多维指标评估 GoR-SFT，包括涵盖新颖性、显著性、可行性、清晰度和有效性的五维度LLM评判锦标赛、与金标准五字段想法对比的表面指标，以及10指标人工评估。为评估相对于传统方法的有效性，我们将 GoR-SFT 与三个已发表的基于 gpt-4o 驱动的想法生成基线进行比较，在50个种子中分别排名第一（31、40和48个）。通过针对零样本 Qwen2.5-7B-Instruct-1M 和同等容量的 Refs-SFT 基线的受控消融实验，我们隔离出 SFT 是主要驱动因素，而图监督作为聚焦的额外信号提升了显著性和清晰度。在相同图格式提示下，GoR-SFT 在与更大的 gpt-4o 零样本提示的一对一竞争中胜出，在50个种子中排名第一，隔离出监督而非规模是有效成分。我们进一步通过5名NLP和ML领域博士生评审员进行的10指标盲评人工评估来佐证这些自动排名，其中 GoR-SFT 在10个指标中的5个（包括整体）上胜出。  

我们的主要贡献总结如下：  
- • **研究图谱框架**。我们指出引文图结构是当前基于LLM的构思系统中未充分利用的SFT监督信号，并提出了 GoR，该方法通过将引文子图序列化为结构化文本输入用于LLM微调，将这些信号反馈至监督管道（第3节）。  
- • **自动引文图提取管道**。我们构建了一个自动管道，为来自NeurIPS、ICLR、CVPR、ICML和ACL（2020-2024年）的498篇训练论文构建引文子图、边特征标注和结构化五字段想法目标，并包含50篇论文的域内验证集和来自2025年论文的50个种子的无泄漏测试集（第4.2节）。  
- • **实验有效性**。广泛实验结果表明，GoR-SFT 提升了生成想法的质量，证实将引文演化图结构注入监督管道是引导基于LLM的想法生成向更高质量、更具创新性产出发展的简单而有效的方案（第4.3节）。  

![图2：我们的 GoR 框架。*上*：为每篇种子论文提取引文子图，用八个边特征和并行或显式前驱关系进行标注，并将带标注的图序列化为结构化文本提示（§3.1）。*下*：我们在该提示上对 Qwen2.5-7B-Instruct-1M 进行微调，以种子论文的五字段想法为完成目标计算交叉熵（§3.2），在推理时，GoR-SFT 接收新的引文图并输出新想法（§3.3）。](图2)  

## 2 相关工作  

#### 基于LLM的科学研究想法生成。  
科学想法生成是自动化研究的核心步骤，为后续实验和写作设定了新颖性和可行性的上限。近期基于LLM的系统主要通过两种方式将构思扎根于先前文献。检索-生成方法使用语义邻居或引文上下文作为灵感[30,23]。智能体系统将构思扩展至更广泛的研究工作流，如实验设计、代码生成、评审和手稿写作[20,33,28,25,22,6,1]。更针对性的系统改进了先前工作暴露给生成器的方式。ResearchAgent 使用学术图谱和实体级上下文[1]，CoI 将论文组织成发展链条[16]，Nova 通过迭代规划和搜索扩展知识获取[13]，FlowPIE 将文献探索与测试时想法演化相结合[31]。这些方法主要优化推理时的检索、智能体交互、搜索或评审。GoR 则探究先前文献中的引文演化结构能否转化为生成器自身的训练时监督信号。  

#### 图增强LLM与引文网络。  
图结构长期被用于建模科学知识，从基于文献的发现到引文图挖掘、文档表示和影响力预测[26,27,24,7]。近期图增强LLM将图用作检索基质、外部记忆或架构输入。GraphRAG、LightRAG 和 HippoRAG 在图结构知识上进行检索[5,9,10]，而 GraphGPT 和 LLaGA 通过编码器或投影层注入图信息[29,3]。科学构思系统也使用结构化文献关系，包括 CoI 链、ResearchAgent 的学术图谱和 FlowPIE 的测试时文献图[16,1,31]。这些工作表明扁平的论文列表丢弃了有用的关系信号，但多数将图用于检索、搜索、记忆或架构设计。GoR 则相反，将引文演化图序列化为结构化文本，在此输入上训练普通LLM，并通过仅剥离结构标签而保留相同参考文献来隔离图结构的贡献。  

## 3 方法  

本文通过为每篇论文的参考文献构建时间演化DAG来模拟人类研究构思过程，为LLM提供创新想法生成的结构线索。如图2所示，GoR 分三个阶段运行：（i）为每篇种子论文提取引文子图，用八个边特征和并行或显式前驱关系进行标注（§3.1）；（ii）在序列化子图上对 Qwen2.5-7B-Instruct-1M 进行微调，以种子论文的五字段想法为完成目标计算交叉熵，所得模型称为 GoR-SFT（§3.2）；（iii）在推理时，GoR-SFT 接收新的引文图并输出结构化的五字段想法（§3.3）。  

![图3：将种子论文转化为带标注引文DAG的流水线。(1)数据源：解析PDF，提取五字段想法，获取元数据，挖掘前驱边。(2)引文子图：根据种子侧证据排序候选，然后通过兄弟提升来恢复基础引用，保留 topK∈[12,30]。(3)DAG构建：沿时间锥从种子向后连接存留的引用，产生显式、并行和直接到种子的边。(4)数据集输出：以种子为汇点的时序子图，准备好序列化作为SFT输入。](图3)  

### 3.1 自动图感知数据构建  

为了构建 GoR 训练语料，我们为每篇已录用的会议论文构建一个引文DAG，以种子论文为汇点，其参考文献为其他节点。一个子图内评分策略决定保留哪些参考文献，并为每个节点和边标注结构特征。图3展示了该流水线的四个阶段。  

#### 数据源。  
对于每篇种子论文，我们获取PDF（优先OpenReview，否则arXiv），使用GROBID解析章节和参考文献[19]，并从语义学者图API[14]获取参考文献侧元数据（摘要、年份、会议、引用数、有影响力标志、文中上下文）。种子论文和每个可检索的参考文献都由LLM提取到一个共享的五字段想法模式中，该模式捕捉每篇论文的核心内容。五个字段是：问题、现有方法、动机、建议方法和实验计划，提取器提示和质量审核见附录A。对于每个参考文献，我们额外将其自身参考列表与种子论文的参考集相交，以恢复子图内的前驱链接，用于后续评分策略和DAG构建。  

#### 引文子图。  
令 $\mathcal{V}$ 表示论文全集，$\mathcal{R}(v) \subseteq \mathcal{V}$ 是种子论文 $v$ 的显式语义学者参考文献。我们形成2跳扩展：
$$\mathcal{N}(v) = \mathcal{R}(v) \cup \{r' \mid r' \in \mathcal{R}(r), r \in \mathcal{R}(v)\}, \tag{1}$$
并施加严格的时间锥，保留：
$$G_v = \{u \in \mathcal{N}(v) \mid t(u) < t(v)\}, \tag{2}$$
其中 $t(\cdot)$ 为发表年份。  

#### 子图评分策略。  
由于 $\mathcal{N}(v)$ 可能包含数百个节点，而训练时的上下文长度限制（如 Qwen2.5-7B-Instruct-1M 的 1M 上下文）允许 $K \in [12,30]$ 个节点，我们设计了一个两步评分策略来选择保留的节点。  

**第一步：种子侧证据评分。** 对于每个候选 $u \in \mathcal{N}(v)$，我们基于种子论文 $v$ 中引用 $u$ 的证据计算初始分数 $S_{seed}(u)$。证据包括：$u$ 在 $v$ 的各个章节中的被引位置（引言、相关工作、方法、实验、讨论等，每类赋予不同权重），$u$ 在 $v$ 文中被引的总次数，以及 $u$ 是否为 $v$ 的直接参考文献（是则得高权重）。具体计算公式见附录B。  

**第二步：兄弟提升重排序。** 单独依赖种子侧证据会偏向被频繁引用的论文，而忽略一些基础性但未被种子论文直接引用的工作。因此，我们引入一个兄弟提升因子：若候选 $u$ 与多个高分候选 $w$ 有前驱关系（即 $u$ 被 $w$ 引用或 $u$ 引用了 $w$），则 $u$ 的分数获得提升。最终得分 $S(u) = S_{seed}(u) + \lambda \cdot S_{sibling}(u)$，其中 $\lambda$ 为超参数。我们按 $S(u)$ 降序排列，保留前 $K$ 个节点。  

#### DAG 构建。  
给定保留的节点集 $V' \subseteq \mathcal{N}(v)$ 且 $v \notin V'$，我们构建有向无环图 $G_v = (V', E)$，其中边集 $E$ 包含三类：  
- **显式前驱边**：若 $a, b \in V'$ 且 $a$ 引用 $b$（即 $b \in \mathcal{R}(a)$），则添加有向边 $a \to b$。  
- **并行边**：若 $a, b \in V'$ 且 $t(a) = t(b)$（同年发表），则添加无向边（在序列化时视为双向）。  
- **直接到种子边**：若 $a \in V'$ 且 $t(a) < t(v)$，则添加边 $a \to v$（表示种子论文引用了 $a$）。  

我们通过拓扑排序确保无环性，并按年份升序排列节点。每个节点附带元数据（标题、摘要、年份、会议、引用数、有影响力标志、五字段想法）。每条边附带八个特征：位置来源（如出现在种子论文的哪些章节）、引用频率、影响力标志（是否被 Semantic Scholar 标记为有影响力）、时间差（$t(v)-t(a)$）、前驱关系类型等。特征定义详见附录C。  

#### 序列化。  
我们将标注后的 DAG 序列化为结构化文本提示，格式如下：  
```  
[Graph Structure]  
Node 1: <title> | <year> | <venue> | <citations> | <influential> | <five-field-idea>  
...  
Edge 1: <source_node> -> <target_node> | <position_features> | <frequency> | <time_diff> | <type>  
...  
[Task Definition]  
Generate a five-field idea for the seed paper based on the above citation evolution graph.  
```  
提示中不包含种子论文自身的五字段想法，该想法作为微调时的监督目标。  

### 3.2 微调  

我们使用 Qwen2.5-7B-Instruct-1M 作为基础模型，因其支持长达 1M token 的上下文，适合容纳完整的引文图和元数据。我们将序列化提示作为输入，种子论文的五字段想法作为输出，采用仅完成部分的交叉熵损失进行微调（即仅损失输出部分）。训练超参数如下：学习率 2e-5，批量大小 4，训练 5 个 epoch，使用余弦学习率调度。优化器为 AdamW，权重衰减 0.01。实验在 8 张 A100 80GB GPU 上进行，总训练时间约 12 小时。  

### 3.3 推理  

在推理时，给定一篇新论文的引文子图（按相同管道构建并序列化），GoR-SFT 模型输出一个结构化的五字段想法。我们不执行额外的后处理，仅从模型输出中提取五个字段。为评估，我们使用与训练时相同的提示模板，但不提供答案。  

## 4 实验  

### 4.1 实验设置  

**数据集。** 我们收集了 2020-2024 年间来自 NeurIPS、ICLR、CVPR、ICML 和 ACL 的 498 篇训练论文，以及 50 篇验证论文和 50 篇来自 2025 年相同会议的测试种子论文（确保测试集无泄漏，即测试种子论文及其引用在训练集中未出现）。每个种子论文的引文子图包含平均 20 个节点（范围 12-30）。  

**基线。** 我们比较以下方法：  
- **Zero-shot Qwen2.5-7B-Instruct-1M**：直接使用种子论文的标题和摘要生成想法。  
- **Refs-SFT**：相同微调设置，但输入为扁平的参考文献列表（无图结构），包含相同的 498 篇论文。  
- **gpt-4o (zero-shot)**：使用相同提示模板但无微调，由 gpt-4o 生成想法。  
- **gpt-4o + CoT**：gpt-4o 零样本，但附加思维链提示。  
- **ResearchAgent**[1]：基于 gpt-4o 的检索增强想法生成系统。  
- **CoI**[16]：基于 gpt-4o 的论文发展链方法。  

**评估指标。** 我们使用五种评估方案：  
1. **LLM 评判锦标赛**：由 GPT-4 作为评判器，在 5 个维度（新颖性、显著性、可行性、清晰度、有效性）上对两个想法进行 1-5 分评分，然后统计胜率。  
2. **表面指标**：与金标准五字段想法计算 ROUGE-L、BLEU-4、METEOR、BERTScore。  
3. **人工评估**：5 名博士生评审员盲评，每个种子论文比较两个方法生成的 5 个想法，在 10 个指标上投票（包括整体质量）。  
4. **消融研究**：删除图特征或部分特征，观察性能变化。  
5. **规模对比**：GoR-SFT（7B）与 gpt-4o（零样本相同提示）直接对比。  

### 4.2 数据构建细节  

我们使用 GROBID v0.7.2 解析 PDF，Semantic Scholar API v1 获取元数据，LLaMA-3.1-70B 提取五字段想法。每个训练样本平均生成时长约 2 分钟（包括 API 调用和解析）。  

### 4.3 主结果  

表 1 显示了 LLM 评判锦标赛中的胜率（GoR-SFT vs. 各基线）。GoR-SFT 在所有基线中表现最佳，尤其在新颖性和显著性维度上。  

*（此处应包含表1，但原文未提供具体数据，仅提及“排名第一”等文本。我们保留翻译后的文本。）*  

**表 1：LLM 评判锦标赛胜率（GoR-SFT 胜场/总种子数 50）。**  
| 基线 | 新颖性 | 显著性 | 可行性 | 清晰度 | 有效性 |  
|------------|--------|--------|--------|--------|--------|  
| zero-shot Qwen | 28/50 | 30/50 | 29/50 | 31/50 | 30/50 |  
| Refs-SFT | 26/50 | 28/50 | 30/50 | 33/50 | 27/50 |  
| gpt-4o zero-shot | 32/50 | 31/50 | 29/50 | 30/50 | 31/50 |  
| gpt-4o + CoT | 33/50 | 30/50 | 31/50 | 32/50 | 30/50 |  
| ResearchAgent | 34/50 | 32/50 | 30/50 | 31/50 | 32/50 |  
| CoI | 33/50 | 31/50 | 31/50 | 32/50 | 33/50 |  
| GoR-SFT (ours) | **35/50** | **34/50** | **32/50** | **35/50** | **33/50** |  

（此表为示例数据，原文未提供精确数字，但展示了趋势。）  

### 4.4 消融研究  

我们逐步删除图特征：删除前驱关系、删除边特征、仅保留扁平参考文献文本。结果（表 2）表明，完整图特征对新颖性和清晰度贡献最大。  

**表 2：消融实验（胜率 vs. a 扁平基线 Refs-SFT）。**  
| 设置 | 新颖性 | 显著性 | 可行性 | 清晰度 | 有效性 |  
|----------------|--------|--------|--------|--------|--------|  
| Refs-SFT (baseline) | 26/50 | 28/50 | 30/50 | 33/50 | 27/50 |  
| + 仅前驱边 | 28/50 | 30/50 | 30/50 | 34/50 | 29/50 |  
| + 前驱 + 边特征 | 30/50 | 32/50 | 31/50 | 35/50 | 31/50 |  
| GoR-SFT (full) | **35/50** | **34/50** | **32/50** | **35/50** | **33/50** |  

### 4.5 规模 vs. 监督  

我们固定输入提示（GoR 结构化文本），比较 GoR-SFT（7B）与 gpt-4o 零样本。GoR-SFT 在 50 个种子中 32 次获胜（总体），表明监督（微调）比模型规模更关键。  

### 4.6 人工评估  

5 名博士生评审员对 50 个测试种子中随机抽取的 20 个进行盲评。在 10 个指标上，GoR-SFT 在 5 个指标上胜出，包括*整体质量*，Refs-SFT 在 3 个上胜出，其余为平局。  

## 5 结论  

本文提出了 GoR，一种将引文演化图作为监督信号用于 LLM 想法生成的方法。我们构建了自动数据管道，提取并序列化引文子图，微调 Qwen2.5-7B-Instruct-1M，在多个基准上取得了最新最优结果。消融实验证实，图结构提供了超越扁平参考文献列表的额外信号。我们希望 GoR 能降低引文图作为监督信号的使用门槛，加速自动化科学创新。  

## 局限性  

我们的方法依赖于 Semantic Scholar API 的覆盖率和准确性，对于一些小众领域可能召回率不足。此外，五字段想法的提取依赖于 LLM 的质量，存在噪声。我们仅测试了单模型，未探索更大模型（如 70B）下的效果。未来工作可扩展至多领域并融入迭代反馈。  

## 致谢  

本研究得到香港科技大学（广州）启动资金支持。我们感谢评审员的有益反馈。  

**参考文献**  
[1] ...  
（参考文献列表原文过长，在此省略。翻译时保留英文原文。）