图原生强化学习通过概念重组实现可追溯的科学假设生成

# 图原生强化学习通过概念重组实现可追溯的科学假设生成 来源：https://arxiv.org/html/2607.00924 https://orcid.org/0000-0002-0532-9791Subhadeep Pal 土木与环境工程系，麻省理工学院，剑桥，马萨诸塞州，美国 &https://orcid.org/0000-0002-0169-4003Shashwat Sourav 物理系，圣路易斯华盛顿大学，圣路易斯，密苏里州，美国 计算与计算科学学部，橡树岭国家实验室，橡树岭，田纳西州，美国 劳伦斯伯克利国家实验室，伯克利，加利福尼亚州，美国 &https://orcid.org/0000-0002-2358-522XTirthankar Ghosal 计算机科学与数学部，计算与计算科学学部，橡树岭国家实验室，橡树岭，田纳西州，美国 &https://orcid.org/0000-0002-4173-9659Markus J\. Buehler∗ 土木与环境工程系，机械工程系，施瓦茨曼计算机学院，麻省理工学院，剑桥，马萨诸塞州，美国 ∗通讯作者：mbuehler@MIT\.EDU ###### 摘要 加速材料发现需要能够通过多步骤、基于领域知识的推理生成科学有效假设的AI系统。标准的大型语言模型通常能对开放式的材料设计问题生成流畅但可追溯性较差的响应，这使得难以判断最终答案是否得到了连贯中间推理的支持。我们开发了Graph-PRefLexOR，一个图原生推理模型系列，使用群体相对策略优化（GRPO）进行微调，将推理组织为明确的阶段，用于机制探索、图构建、模式提取和假设综合。这种设计将神经语言生成与符号关系结构联系起来，使得因果联系可以被构建、检查和重用。在来自材料科学和力学文献的100个开放式问题上，Graph-PRefLexOR相比相应的基础模型实现了40-65%的提升，其中在推理可追溯性方面增益最大。嵌入分析显示其具有更广泛的语义探索范围，语义多样性大约是基线模型的2×至3×倍。语义回溯和逐层隐藏状态分析进一步揭示了结构化推理与最终答案之间有更强的对齐关系。最后，测试时的图扩展表明，额外的计算主要在有限语义空间内增加了远程概念重组，而并非简单地扩大语义覆盖范围。这些结果确立了图原生强化学习作为实现材料设计及其他科学应用中科学假设生成的可解释AI系统的一种途径。 *关*键词图原生推理，科学假设生成，强化学习，材料设计，大型语言模型 ## 1 引言 科学发现越来越依赖于连接跨领域概念、机制和证据的能力，而这些领域通常被孤立地研究。这一挑战在材料科学和力学中尤为突出，因为宏观性质源于跨越分子结构、介观组织、界面、缺陷、加工历史和边界条件的耦合过程Wang等人 (2023 (https://arxiv.org/html/2607.00924#bib.bib18)); Buehler (2024b (https://arxiv.org/html/2607.00924#bib.bib19)); Nepal等人 (2023 (https://arxiv.org/html/2607.00924#bib.bib20)); Wegst等人 (2015 (https://arxiv.org/html/2607.00924#bib.bib21))。在此类情境中生成有用的假设，需要的不仅仅是检索相关事实或总结先前工作；它需要组织实体、机制、约束和结果之间的关系。然而，科学知识仍然分散在论文、学科、术语和建模框架中，使得许多潜在重要的联系变得隐含或难以评估Swanson (1986 (https://arxiv.org/html/2607.00924#bib.bib22))。因此，核心问题是如何构建能够将分散的科学信息转化为可解释的推理结构，从而支持跨领域假设生成的AI系统。

大型语言模型（LLMs）为这项任务提供了有前景的基础，因为大量科学知识以文本形式编码，并且LLMs能够总结文献、比较概念、生成解释并协助假设制定Vaswani等人 (2017 (https://arxiv.org/html/2607.00924#bib.bib23)); Brown等人 (2020 (https://arxiv.org/html/2607.00924#bib.bib24)); Zhao等人 (2026 (https://arxiv.org/html/2607.00924#bib.bib25)); Luu和Buehler (2024 (https://arxiv.org/html/2607.00924#bib.bib27)); Ghafarollahi和Buehler (2024 (https://arxiv.org/html/2607.00924#bib.bib28))。最近的AI-for-science工作流已将这些能力扩展到材料发现、蛋白质设计、代码生成、自主实验和科学智能体Lu等人 (2024 (https://arxiv.org/html/2607.00924#bib.bib29)); Hage和Buehler (2026 (https://arxiv.org/html/2607.00924#bib.bib30)); Buehler (2024a (https://arxiv.org/html/2607.00924#bib.bib31),2023 (https://arxiv.org/html/2607.00924#bib.bib32)); Ghafarollahi和Buehler (2025c (https://arxiv.org/html/2607.00924#bib.bib33),d (https://arxiv.org/html/2607.00924#bib.bib34))。然而，大多数LLM推理仍然以线性文本形式表达。思维链及相关提示策略可以通过暴露中间推理来提高性能，但这些轨迹通常缺乏对组织科学解释的实体、关系、依赖关系和因果联系的显式表示Wei等人 (2022 (https://arxiv.org/html/2607.00924#bib.bib35));Yao等人 (https://arxiv.org/html/2607.00924#bib.bib36); Lanham等人 (2023 (https://arxiv.org/html/2607.00924#bib.bib38))。这一限制对于材料推理至关重要，因为假设通常需要连接不同领域的概念并理解多尺度下的失效模式。文本轨迹可能描述此类联系，但它不直接编码哪些概念被连接、连接它们的关类型是什么，或者局部机制如何组合成更高层次的解释。

先前的某些方法已开始解决这一问题的部分方面。检索增强生成改善了对相关文档的访问，知识图谱显式编码实体和关系，智能体工作流将复杂的科学任务分解到专门的组件中Lewis等人 (2020 (https://arxiv.org/html/2607.00924#bib.bib40)); Gao等人 (2024 (https://arxiv.org/html/2607.00924#bib.bib45)); Venugopal和Olivetti (2024 (https://arxiv.org/html/2607.00924#bib.bib42)); Pan等人 (2024 (https://arxiv.org/html/2607.00924#bib.bib46)); Wang等人 (2026 (https://arxiv.org/html/2607.00924#bib.bib41)); Ghafarollahi和Buehler (2025a (https://arxiv.org/html/2607.00924#bib.bib43),b (https://arxiv.org/html/2607.00924#bib.bib44))。图表示尤其有吸引力，因为它们使科学关系可检查：概念可以表示为节点，而机制、因果依赖关系、类比、约束或失效路径可以表示为有向边Hogan等人 (2022 (https://arxiv.org/html/2607.00924#bib.bib9)); Stewart等人 (2026 (https://arxiv.org/html/2607.00924#bib.bib39))。尽管如此，现有系统通常将图用作外部检索基质或事后表示，而非模型的原生推理格式。类似地，智能体系统可以交换工件或自然语言消息，而无需迫使底层推理变得关系化、可解析或可重用。因此，尽管现有方法改善了对科学信息的访问、编排和组织，但它们并未完全解决使模型中间推理本身图结构化和可评估的问题。

在这里，我们通过Graph-PRefLexOR来弥补这一差距，这是一种用于开放式科学假设生成的图原生推理模型Buehler (2025b (https://arxiv.org/html/2607.00924#bib.bib5),a (https://arxiv.org/html/2607.00924#bib.bib4))。基于早期Graph-PRefLexOR公式将任务映射到知识图谱、抽象模式和最终答案的基础上，本模型暴露了一个更细粒度的、基于哨兵的推理轨迹，包含````、````、````、````和````阶段。这些阶段将机制探索、概念抽象、机器可读图构建、高阶模式识别和最终假设综合分开。我们使用群体相对策略优化（GRPO）Shao等人 (2024 (https://arxiv.org/html/2607.00924#bib.bib8))训练模型，这是一种强化学习方法，通过比较生成输出组之间的相对表现来改进模型行为，而非仅依赖于固定的目标答案。在此设置中，GRPO鼓励模型生成不仅流畅而且结构化、关系化和可追溯的推理轨迹。这与我们早期的ORPO/EXO风格偏好优化方法不同，通过群体相对奖励直接优化模型以获得更高质量的推理行为，使其非常适合存在多种可能合理假设的开放式科学问题。

我们在一个手工策划的包含100个来自材料科学和力学文献的开放式问题的基准上评估Graph-PRefLexOR。该基准测试了跨领域连接、因果映射、隐藏变量识别、模型抽象和假设生成等能力，这些能力难以使用标准的事实性或多项选择评估来衡量。在1.7B、3B和8B模型规模上，Graph-PRefLexOR在推理质量、智力深度和推理可追溯性方面均优于其相应的基础模型，其中在可追溯性方面改进最为显著。基于嵌入的分析进一步表明，Graph-PRefLexOR推理轨迹占据更有组织的语义区域，遵循更定向的轨迹，并且语义多样性大约是基线轨迹的2×至3×倍。语义回溯和分层隐藏状态分析表明，最终答案与结构化推理路径（特别是````阶段）保持强烈对齐，这表明中间推理与响应生成之间的连续性得到了改善。我们进一步表明，图原生格式支持测试时的图扩展：通过将发出的图结构累积到一个不断增长的记忆图中，额外的推理时间计算在有限语义空间内产生统计上新颖的远程概念重组。总之，这些结果表明，图原生GRPO改善科学推理不仅仅是通过改变最终答案，而是通过重组假设生成、对齐和迭代重组的中间计算路径。

参见图注图1：`(a)` 科学发现通常通过迭代的假设生成、验证、重新构思和细化进行。`(b)` 标准LLM对科学查询的响应可能难以追溯，导致不可追溯性、幻觉或矛盾。`(c)` Graph-PRefLexOR通过将````部分组织成明确的推理阶段来解决这一限制：````用于机制探索，````用于关系草图，````用于规范图构建，````用于因果模式提取，````用于组装最终答案。 ## 2 结果与讨论 ### 2.1 结构化推理评估 本研究的主要目标之一是定量评估图原生群体相对策略优化（GRPO）模型与其相应基础模型相比生成的推理轨迹质量Buehler (2025a (https://arxiv.org/html/2607.00924#bib.bib4),b (https://arxiv.org/html/2607.00924#bib.bib5)); Shao等人 (2024 (https://arxiv.org/html/2607.00924#bib.bib8))。为此，我们开发了三种GRPO变体，统称为Graph-PRefLexOR，参数量级分别为8B、3B和1.7B。这些模型分别从Qwen3-8BYang等人 (2025 (https://arxiv.org/html/2607.00924#bib.bib6))、Llama-3.2-3B-Instruct28 (https://arxiv.org/html/2607.00924#bib.bib7)和Qwen3-1.7BYang等人 (2025 (https://arxiv.org/html/2607.00924#bib.bib6))初始化，随后进行微调以执行结构化的多阶段推理。具体来说，模型被训练为其内部推理在思考过程中组织成一系列结构化阶段：````、````、````、````和````。````阶段进行发散性探索，生成基于领域知识的候选机制、假设和潜在失效模式。````阶段随后通过识别核心实体（例如，序列、结构、加工、性能）及其因果关系，将此推理抽象为概念表示，形成可解释的推理框架。这种抽象在````阶段被形式化为一个机器可读的有向图，其中节点对应实体，边编码类型化关系（例如，`"source": "Sequence", "relation": "encodes", "target": "Structure"`），这些关系来自预定义的关系词汇表Hogan等人 (2022 (https://arxiv.org/html/2607.00924#bib.bib9))。````阶段随后从该图中提取高阶规律性，例如因果链（例如，sequence→→structure→→properties→→failure）、跨尺度关系和反馈循环，这些捕获了重复出现的机制模式。最后，````阶段将这些模式整合成一个连贯、可测试的假设，明确地将多尺度机制与预测结果和潜在失效模式联系起来。

为了评估GRPO模型带来的性能提升，我们构建了一个包含100个问题的开放式基准，旨在测试跨学科连接、因果映射和假设生成能力，这些问题源自已发表的材料科学和力学文献。有关数据集构建的更多细节在方法部分提供。我们在六个模型上执行推理，并启用推理解码（Llama-3.2-3B-Instruct基线除外），允许每个模型在````阶段显式生成中间推理。由于最终响应依赖于这一内部推理过程，我们直接评估生成的````轨迹的质量。为此，我们定义了三个互补的评价指标：**推理质量**、**智力深度**和**推理可追溯性**，以及一个综合**总体得分**，计算为它们的平均值。每个指标在0-10分制上评分，评估使用Claude*opus-4.7*作为独立评判者57 (https://arxiv.org/html/2607.00924#bib.bib10);23 (https://arxiv.org/html/2607.00924#bib.bib11)。值得注意的是，由于在数据集生成过程中使用了OpenAI GPT模型，我们采用基于Claude的评估来减轻潜在的模型族偏见。总的来说，这些指标捕捉了推理性能的不同维度，使得能够对生成的推理轨迹的正确性和组织性进行结构化评估。

参见图注图2：在开放式科学问题（N=100N=100）上跨模型规模的结构化推理评估，使用Claude Opus-4.7进行评估。指标包括推理质量、智力深度、推理可追溯性和总体得分（0-10）。`(a)` Graph-PRefLexOR-8B对比Qwen3-8B（无思考变体），`(b)` Graph-PRefLexOR-3B对比Llama-3.2-3B-Instruct，和`(c)` Graph-PRefLexOR-1.7B对比Qwen3-1.7B（无思考变体）。在所有规模上，G