SciPaths：预测科学发现的路径

# SciPaths：预测科学发现的路径 来源：https://arxiv.org/html/2605.14600 Yizhou ChiYulong ChenRui CaoZifeng DingMichalis KorakakisAndreas Vlachos ###### 摘要 科学进步依赖于一系列使能贡献的序列，然而现有的人工智能科学基准大多关注引用预测、文献检索或创意生成，而非使进步成为可能的依赖关系。本文提出了*发现路径预测*：给定一个目标科学贡献以及指定时间点可用的先前文献，任务是 (1) 识别实现该贡献所需的使能贡献，以及 (2) 在存在先前工作的情况下，将每个使能贡献锚定到具体先前工作。我们构建了 SciPaths 基准，包含 262 条专家标注的黄金路径和 2,444 条由机器学习和自然语言处理论文构建的银牌路径。每条路径记录了使能贡献、角色、理由以及先前工作锚定或未映射决策。评估前沿和开源权重语言模型后，我们发现最佳模型在严格语义匹配下仅达到 0.189 F1，其中核心方法依赖关系最难恢复。当提供黄金使能贡献时，先前工作锚定显著改善，这表明分解质量是端到端路径恢复的主要瓶颈。因此，SciPaths 将评估转向科学预测中缺失的能力：从目标贡献反向推理至使能的科学构建块及使其可行的先前工作依赖关系。 机器学习，ICML ## 1 引言 科学发现很少孤立产生：它们建立在使能贡献之上，并反过来使能后续工作 (Fortunatoet al.,2018 (https://arxiv.org/html/2605.14600#bib.bib9); Uzziet al.,2013 (https://arxiv.org/html/2605.14600#bib.bib10); Wuet al.,2019 (https://arxiv.org/html/2605.14600#bib.bib13))。这引发了科学预测的核心问题：给定一个目标贡献，需要哪些使能贡献来实现它？两条研究路线间接探讨了此问题。关于方法重组、概念先决条件和知识优先性的元科学研究描述了知识如何演化 (Chenet al.,2025 (https://arxiv.org/html/2605.14600#bib.bib29); Zhu and Zamani,2022 (https://arxiv.org/html/2605.14600#bib.bib30); Xianget al.,2026 (https://arxiv.org/html/2605.14600#bib.bib31))，但这些研究通常是基于论文、概念或聚合模式的事后分析。AI4Science 系统支持文献分析、假设生成和创意评估 (Reddy and Shojaee,2025 (https://arxiv.org/html/2605.14600#bib.bib11); Boikoet al.,2023 (https://arxiv.org/html/2605.14600#bib.bib12); Wanget al.,2024 (https://arxiv.org/html/2605.14600#bib.bib14))，但通常将创意视为独立输出，而非推理使它们可行的依赖关系。 参考图例图 1：示例 SciPaths 实例及任务结构。在主任务 A 设置中，模型接收目标贡献声明，并预测实现该贡献所需的使能贡献及理由片段。选择来源解释了为何包含该目标贡献，但未作为模型输入提供。任务 B 将每个使能贡献锚定到先前工作，或标记为未映射。理由片段为便于阅读做了缩写。 与本文工作最接近的是基于引用的科学预测和引用推荐。例如，PreScience (Ajithet al.,2026 (https://arxiv.org/html/2605.14600#bib.bib26)) 预测目标论文作者在创建新贡献时可能依赖的关键参考文献。然而，基于引用的监督依赖影响力代理，并在整篇论文层面运作，这可能混淆异质贡献。以图 1 (https://arxiv.org/html/2605.14600#S1.F1) 中的例子为例，Visual Instruction Tuning (Liuet al.,2023 (https://arxiv.org/html/2605.14600#bib.bib39)) 既发布了指令微调数据集，又发布了一个通用多模态助手；一个贡献必需的先前工作可能与另一个贡献无关。扁平的论文级引用集无法表达哪个引用支持哪个目标贡献，也无法表达其扮演的使能角色。精确的引用匹配还可能惩罚那些识别出正确使能贡献但引用另一个能起相同作用的有效论文的模型。与基于引用的预测互补，GIANTS (He-Yueyaet al.,2026 (https://arxiv.org/html/2605.14600#bib.bib38)) 从已知的父论文生成下游见解，假设相关先前工作已经给定。我们通过三个设计决策，在更细粒度上瞄准缺失的依赖识别步骤：(1) 在贡献层面而非论文层面表示目标；(2) 将使能贡献与其先前工作锚定分开；(3) 基于贡献级正确性而非精确引用匹配来评估模型。 我们引入 SciPaths，一个用于发现路径预测的基准。给定一个目标贡献，任务是 (a) 识别实现该贡献所需的使能贡献，以及 (b) 在存在先前工作的情况下，将每个使能贡献锚定到代表性先前工作，或标记为未映射（图 1 (https://arxiv.org/html/2605.14600#S1.F1)）。这区分了需要什么与哪些先前工作实现了它。我们通过选择具有下游重用证据的目标贡献，从机器学习和自然语言处理论文中构建 SciPaths；例如，图 1 中的指令微调数据集后来用于视觉-语言对齐和微调。这一标准将基准聚焦于那些成为后续研究可操作构建块的贡献，而非论文中提出的所有声明。专家注释者验证每个目标贡献，并在必要性标准下将其分解为路径：移除一个使能贡献将阻止目标贡献以其声称的形式实现。每条路径包括使能贡献、先前工作锚定或未映射决策、功能角色以及有证据支持的理由。 SciPaths 包含 262 条专家注释的黄金路径用于基准评估，以及 2,444 条在事后设置中产生的银牌路径用于训练和大规模分析。评估前沿和开源权重语言模型后，我们发现当前系统仅恢复了专家路径的有限部分：最佳模型在严格语义匹配下达到 0.189 F1，其中核心方法依赖关系尤其难以识别。当提供黄金使能贡献时，锚定显著改善，这表明知道要搜索哪些科学构建块对于识别相关先前工作至关重要。这些结果表明，科学依赖推理不同于检索相关论文或生成合理创意，并且与 AI4Science 代理直接相关：除了提出研究方向，此类系统还必须识别使这些方向可行的前提条件和先前贡献。 除了评估，SciPaths 还提供了用于将研究轨迹建模为结构化依赖路径的训练和分析资源。其注释支持对路径结构、使能角色、理由、先前工作锚定和下游使用的研究。我们发布银牌数据用于训练和分析，开发集用于评估，以及银牌构建流程用于将路径注释扩展到新论文，同时保留留出测试标签用于基准评估。 ## 2 预测科学发现的路径 参考图例图 2：从下游使用证据构建 SciPaths。下游引用上下文根据被重用的贡献进行聚类，使得一篇论文可以产生多个目标贡献。对于每个目标贡献，专家注释者构建一条独立的发现路径，包含使能贡献、先前工作锚定或未映射决策、功能角色以及有证据支持的理由。底部行显示了针对指令微调数据集目标的一条注释路径字段示例。 我们将*发现路径预测*形式化为识别使目标贡献可行的使能贡献，并在可能的情况下将这些贡献锚定到先前工作的任务。目标贡献 d 是一种方法、数据集、基准、工具、资源或发现，后续工作确实在此基础上构建。设 t_d 为其发表时间，并设 C *如果明天我必须实现这个目标贡献，我还需要哪些使能贡献？* 这将注释从引用恢复转变为使能贡献恢复。注释者不被要求列出所有相关参考文献，而是识别那些没有它们目标贡献就无法以其声称形式实现的功能需求。 ### A.2 第一阶段：目标贡献评估 #### 目标。第一阶段的目标是确定一篇论文是否包含一个或多个有效的目标贡献，且这些贡献有下游重用证据支持，并将每个目标贡献以正确的抽象层级重写。一个有效的目标贡献定义为： > *一种贡献，例如方法、数据集、基准、工具、资源或发现，后续工作依赖它来构建、评估或扩展自身工作。* 此阶段关注功能依赖，而非流行度或引用频率。 #### 决策流程。注释者检查候选贡献和下游使用聚类，验证后续工作是否功能性地依赖该贡献，然后决定是否保留该贡献。强证据包括直接重用、训练依赖、评估采用、扩展、改编或其他形式的功能依赖。背景引用、仅比较用途、弱的一次性提及或错误的聚类摘要均不充分。一篇论文可能包含多个目标贡献。当一篇论文引入了不同的可重用输出（如一个模型和一个基准）时，注释者会拆分这些贡献，因为这些输出支持不同的下游用途，并且需要不同的使能贡献。注释者不会将多个目标贡献打包成一个声明。 #### 重写目标贡献声明。每个重写的目标贡献应保留：\[对象\] + \[关键属性\] + \[它使能的内容\]。\\text{\[对象\]} + \\text{\[关键属性\]} + \\text{\[它使能的内容\]}。一个有效的重写声明应满足： - •原子性：仅描述一个贡献； - •抽象性：尽可能避免使用论文特定名称； - •功能性：说明贡献的作用； - •因果性：指明贡献使能了什么； - •可分解性：能在第二阶段分解为使能贡献。 例如： > *基准：一个多轮对话情感推理基准，使能跨话语观点和情感理解的评估。* 优于： > *DiaASQ 基准和数据集。* 常见失败模式包括基于名称的声明、捆绑声明、诸如“提升性能”的模糊声明、动机声明以及实现级细节。 ### A.3 第二阶段：使能贡献注释 #### 目标。第二阶段的目标是识别实现已验证目标贡献所需的使能贡献，并在可用时将每个使能贡献锚定到先前工作。此阶段并非选择所有相关引用。它通过必要的功能组件重建路径：目标贡献 → 使能贡献 → 先前工作锚定或未映射。\\text{目标贡献} \\rightarrow \\text{使能贡献} \\rightarrow \\text{先前工作锚定或未映射}。 #### 核心推理原则。注释者遵循三个原则： 1. 必要性：每个使能贡献必须是缺少它目标贡献就无法以其声称形式实现的事物。 2. 功能抽象：使能贡献应表达为能力、基础、公式化、目标、上游资源或机制，而非论文章节、超参数或任意引用。 3. 证据支持：证据跨度必须来自目标论文，并直接支持贡献-角色-锚定决策。 #### 有效的使能贡献。一个有效的使能贡献是目标贡献所需的必要功能需求或上游基础。常见类型包括任务公式化、概念范式、源数据集、训练数据、模型初始化、目标、表示、源网站或原始语料库、实现资源，以及当评估协议对目标贡献至关重要时的评估协议。好的例子包括： - •用于客户端-服务器 PLM 微调的联邦学习训练与聚合协议； - •用于图像理解的语义对齐视觉编码器； - •用于重新注释的上游土耳其维基百科 NER 基础； - •对话中的跨话语四元组组合。 不好的例子包括： - •训练三个周期； - •更强的基线模型； - •方法章节； - •当基准不是目标贡献的一部分时，在基准 X 上的评估。 #### 锚定和未映射决策。对于每个使能贡献，注释者选择： - •一个代表性的先前研究/资源，或 - •NONE，表示没有单一的先前研究或资源能干净地代表该使能贡献。 当先前工作直接提供、实例化或被重用为使能贡献时，应选择该先前工作。当使能贡献是领域层面的、复合的、论文特定的，或以其他方式不能归因于某个单一的干净先前研究时，应选择 NONE。这是一个有效的结果：注释者不应为了避免 NONE 而强行使用弱或虚假的锚定。当多个来源共同实例化一个使能贡献，或当一个典型锚定有代表性但不全面时，可附加额外有效的研究/资源。典型锚定应为使能贡献最干净的代表：必要而非仅仅相关，最小化而非过于宽泛，忠实于目标论文中实际扮演的角色。 ### A.4 功能角色定义 注释者从批准的角色集合中分配一个角色： - •核心方法/算法：一种先前的计算方法或算法过程，提供了实现目标贡献所必需的计算机制，例如训练目标、模型架构、优化过程或推理算法。 - •概念框架：定义了目标贡献所依据的任务、问题公式化、表示、理论框架或经验现象的先前工作。 - •数据来源：明确用作构建另一个数据集或资源的源材料的数据集、语料库、网站或资源。 - •训练数据：直接用于训练、预训练、微调或监督模型的数据集或标记资源。如果数据集被转换、采样、重新注释、翻译或用于构建新数据集，注释者应使用数据来源。 - •模型初始化：对实现目标贡献至关重要的预训练模型或初始化，例如使用预训练的 BERT 权重进行初始化。 - •评估协议：直接重用且对实现目标贡献必要的基准、指标或注释方案。仅用于广度或比较的基准被排除。 - •Im