可视化材料科学假设生成中的图到答案机制恢复

# 可视化材料科学假设生成中的图到答案机制恢复

Source: https://arxiv.org/html/2608.04170 \\vgtccategory Research\\vgtcinsertpkg
Shashwat Sourav1,2,3,4Subhadeep Pal5Markus J. Buehler5,6,7Sanjay Das2Fiona Y. Wang8Dominik Soós9,2Tirthankar Ghosal2
1Department of Physics, Washington University in St. Louis  
2Oak Ridge National Laboratory  
3Lawrence Berkeley National Laboratory  
4UniverseTBD  
5Department of Civil and Environmental Engineering, Massachusetts Institute of Technology  
6Department of Mechanical Engineering, Massachusetts Institute of Technology  
7Schwarzman College of Computing, Massachusetts Institute of Technology  
8Department of Biological Engineering, Massachusetts Institute of Technology  
9Department of Computer Science, Old Dominion University  

###### 摘要
AI 联合科学家能够生成流畅的材料科学假设，但流畅性并不表明答案保留了具有科学意义的机制。我们针对 Graph-PRefLexOR-8B 开展了一项图到答案机制追踪案例研究。Graph-PRefLexOR-8B 是一个基于 Qwen3-8B 调整的模型，可暴露头脑风暴、图构建、模式提取和综合等不同阶段。我们将语义回溯、图破坏、基于激活的恢复测量以及逐层-逐词元区域网格整合为一个可视化诊断工作流，用于检查这一路径。在 100 个开放式材料科学问题中，最终答案与模型自身的结构化阶段最为接近，尤其是综合阶段。在图破坏条件下，对 37 个残差流检查点（嵌入输出和 36 个 Transformer 块）进行全面扫描显示，在较早的过渡区域（第 7–10 层）几乎没有机制恢复，恢复反而集中在第 30 层和第 36 层附近的后期综合与答案起始区域。该工作流旨在帮助科学家和模型开发人员在生成假设传递到下游实验规划之前，识别假设在何处丢失或重新获得机制支持。

###### 关键词:
AI for science, 机制可解释性, 可视分析, 激活修补, 图推理, 材料科学, 假设生成

## Introduction

一个有用的材料科学假设不仅仅是一个看似合理的句子。它通常具有因果形式：问题或瓶颈引发干预，干预改变机制，机制影响目标性能，性能带来预期结果[1](https://arxiv.org/html/2608.04170#bib.bib25)、[6](https://arxiv.org/html/2608.04170#bib.bib20)、[3](https://arxiv.org/html/2608.04170#bib.bib21)、[5](https://arxiv.org/html/2608.04170#bib.bib22)。这种结构很重要，因为生成的科学答案可能听起来很流畅，但核心机制却没有得到支持。模型可能提到界面、聚合物添加剂、交联过程或韧性目标，但仍然无法说明哪种关系使所提出的干预在科学上合理。我们将此视为一项可视化模型审计任务。这里，“可视化”指对推理轨迹、破坏效应以及完整的逐层-逐词元区域恢复景观进行关联静态视图。这些视图支持分析性比较，但当前贡献并非交互式可视分析界面或用户研究。现有语言模型可以生成长篇思维链式解释，但可见轨迹并不保证与最终答案一致[15](https://arxiv.org/html/2608.04170#bib.bib11)、[4](https://arxiv.org/html/2608.04170#bib.bib12)、[11](https://arxiv.org/html/2608.04170#bib.bib14)、[2](https://arxiv.org/html/2608.04170#bib.bib13)。知识图谱和图增强生成使实体和关系更加明确[9](https://arxiv.org/html/2608.04170#bib.bib15)、[14](https://arxiv.org/html/2608.04170#bib.bib16)，但它们往往被视为外部上下文，而不是可以被扰动并与下游模型行为进行比较的中间对象。这在展示给科学家的可读轨迹与与最终答案相关的内部表示之间留下了空白。

参见图1：图到答案机制追踪工作流。关联视图将干净的结构化轨迹与图破坏运行进行比较，并总结机制信息在哪些层和词元区域可恢复。本文将这些视图用作静态诊断视图，而非交互式界面。

我们使用 Graph-PRefLexOR-8B 来研究这一空白。Graph-PRefLexOR-8B 是一个 8B 大小的图原生推理模型，从 Qwen3-8B 初始化，并经过调整以产生显式、由哨兵分隔的科学推理阶段[8](https://arxiv.org/html/2608.04170#bib.bib28)。Qwen3-8B 稍后作为匹配的主干基线出现，它不是 Graph-PRefLexOR 的第二个版本。该模型产生以下分阶段轨迹：→→→→→answer\begin{split}\texttt{}\rightarrow\texttt{}\rightarrow\texttt{}\\ \rightarrow\texttt{}\rightarrow\texttt{}\rightarrow\text{answer}\end{split}(1)。这种分阶段输出为我们提供了可比较和可扰动的可见对象。我们研究的主要问题是：*图结构的科学机制在模型答案路径中的何处变得可恢复？* 贡献：我们为图原生科学推理模型引入了一个可视化诊断工作流。它关联了三个问题：（i）最终答案是否在语义上与可见推理阶段保持联系；（ii）即使答案保持流畅，破坏图是否会损害机制内容；（iii）机制恢复信号在层和词元区域的分布集中在何处？

#### 自动化科学中的预期用途。
目标用户是监督 AI 假设生成器的科学家，以及对其进行诊断的模型开发人员。该工作流在生成的假设被提升到文献检索、模拟或实验选择之前，提供了一个人工检查点。用户可以比较破坏条件，定位恢复是弥散的还是集中的，然后检查相应的图和综合文本。如果一个假设答案流畅但机制支持薄弱，可以被标记为需要重新生成、弃权或领域专家审查。因此，热图不仅仅是一种展示工具：它有助于确定哪个阶段和层区域值得更仔细地研究，并防止结论依赖于少数选定的层。我们的分析结合了三个层面的证据。首先，语义回溯[12](https://arxiv.org/html/2608.04170#bib.bib34)询问最终答案是最接近模型