语言先验对达西流反演有何贡献?一项机制性审计

arXiv cs.LG 论文

摘要

本文研究了句子嵌入能否作为推理时接口,将地质知识注入到学习型达西流反演求解器中,发现文本条件化相比无文本反事实降低了81%的重构误差,且大部分增益来自类别级约束。

arXiv:2606.24967v1 公告类型:新 摘要:在病态逆问题中,恢复的解既依赖于先验也依赖于数据,然而很多可以作为先验的工程知识是用定性方式而非正式数学形式记录的。本文检验了句子嵌入能否作为推理时接口,将地质描述注入到学习型达西流反演求解器中。在六个合成地质类别以及向基准油藏模型(SPE10)的探索性迁移中,我们仅改变条件化表示,发现文本条件化相比无文本反事实将重构误差降低了81%。大部分增益来自一个类别级约束,其价值集中在水力头使电导率场欠定的区域,而类内几何细节是次要的且依赖于模式。与离散类别标签相比,句子嵌入在密集观测精度上几乎没有增加,但提高了训练稳定性,并支持基于释义的敏感性分析和开放词汇输入。这些结果表明,语言先验可以作为工程信息学接口,将地质知识注入到学习型反演求解器中,同时澄清了它们何时有帮助以及它们实际携带什么信号。
查看原文
查看缓存全文

缓存时间: 2026/06/25 05:08

# 语言先验对达西流反演有何贡献?一项机理审计  
来源:https://arxiv.org/html/2606.24967  

###### 摘要  
在不适定的反问题中,恢复的解既取决于数据,也取决于先验,然而,许多可以作为先验的工程知识是以定性形式记录,而非正式的数学形式。本文测试句子嵌入能否作为推理时接口,将地质描述注入到学习型达西流反演求解器中。在六个合成地质类别以及向基准油藏模型(SPE10)的探索性迁移中,我们仅改变条件表征,发现文本条件使重建误差相对于无文本的反事实降低了81%。大部分增益来自一个分类别、类级别的约束,其价值集中在水头使导水率场欠定的区域,而类内的几何细节是次要且依赖于模式的。与离散类标签相比,句子嵌入在稠密观测精度上增益甚微,但提高了训练稳定性,并支持基于释义的敏感性分析和开放词汇输入。这些结果表明,语言先验可以作为工程信息学接口,将地质知识注入到学习型反演求解器中,同时阐明了它们何时有帮助以及实际携带什么信号。  

###### 关键词:句子嵌入、软先验、文本条件、水力传导率、场地表征、知识表示  

††期刊:Advanced Engineering Informatics  
\affiliation [label1] organization=Department of Civil and Environmental Engineering, Tohoku University, addressline=6-6-06 Aramaki Aoba, Aoba-ku, city=Sendai, state=Miyagi, postcode=980-8579, country=Japan  

## 1 引言  
在整个工程领域,许多控制系统行为的量无法直接观测。空间变化的材料属性、内部状态和地下结构必须通过连接它们与测量响应的物理规律,从稀疏、间接的观测中推断出来,这种逆映射通常是不适定或欠定的[45 (https://arxiv.org/html/2606.24967#bib.bib2),24 (https://arxiv.org/html/2606.24967#bib.bib19),44 (https://arxiv.org/html/2606.24967#bib.bib31)]。与数据一致的众多构型中哪一个是恢复的,很大程度上由先验决定(正则化项、相关模型或训练集合,它们编码了哪些解被认为是合理的[2 (https://arxiv.org/html/2606.24967#bib.bib1)])。因此,实际问题在于先验选择:应该使用什么知识来在合理构型中进行选择,以及它应以什么形式进入求解器?  

然而,工程师实际掌握的大部分知识并非以方程或协方差形式存储。它们以定性的、文献化的专业知识存在,而将这些专业知识转化为可计算的先验是工程信息学的核心关注点。地下场地表征使这一问题尤为具体。土木和岩土系统的性能受到周围地基异质性的强烈影响[27 (https://arxiv.org/html/2606.24967#bib.bib36)],这长期以来推动了基于可靠度设计的随机场建模[31 (https://arxiv.org/html/2606.24967#bib.bib37),32 (https://arxiv.org/html/2606.24967#bib.bib38),3 (https://arxiv.org/html/2606.24967#bib.bib39)],然而,这种异质性仅通过场地数据部分观测到,而场地数据往往是多变量、不确定、稀疏且不完整的[30 (https://arxiv.org/html/2606.24967#bib.bib27)]。实践人员带入这一任务的先验知识很少仅限于数值光滑性或相关结构。它通常以异质的、部分定性的形式表达,如钻孔记录、地层解释、沉积环境叙述以及关于重复出现结构模式的专家判断,其分类和表征是该领域长期以来的组织原则[6 (https://arxiv.org/html/2606.24967#bib.bib28),7 (https://arxiv.org/html/2606.24967#bib.bib29)]。从这个意义上说,场地表征本质上是多模态的。本文聚焦于语言作为这一先验信息的一个可控来源,而不是提出一个通用的多模态融合系统。  

经典的正则化反演通过诸如模型幅度或粗糙度的Tikhonov型罚项[2 (https://arxiv.org/html/2606.24967#bib.bib1)]、梯度稀疏性的全变分罚项[41 (https://arxiv.org/html/2606.24967#bib.bib11)]以及基于变差函数的地统计学[18 (https://arxiv.org/html/2606.24967#bib.bib21),55 (https://arxiv.org/html/2606.24967#bib.bib22)]等机制编码光滑性、稀疏性或空间相关性。然而,它并不编码地质学家所推理的类别性、形态结构:粘土层往往是连续且倾斜的,透镜体和通道具有可识别的形状,并且一个场地只呈现少数这样的模式。概念地质模型表达了这种类别性结构[12 (https://arxiv.org/html/2606.24967#bib.bib23),20 (https://arxiv.org/html/2606.24967#bib.bib24)],学习型先验可以隐含地从训练集合中吸收它,包括卷积编码器-解码器[57 (https://arxiv.org/html/2606.24967#bib.bib14),23 (https://arxiv.org/html/2606.24967#bib.bib15)]和空间生成对抗网络[19 (https://arxiv.org/html/2606.24967#bib.bib16),14 (https://arxiv.org/html/2606.24967#bib.bib13)],而物理信息网络通过控制方程残差约束解[37 (https://arxiv.org/html/2606.24967#bib.bib54),46 (https://arxiv.org/html/2606.24967#bib.bib55),10 (https://arxiv.org/html/2606.24967#bib.bib56),4 (https://arxiv.org/html/2606.24967#bib.bib57)]。知识表示方法同样明确地结构化地质信息,例如通过三维地质建模的实体-关系网络[48 (https://arxiv.org/html/2606.24967#bib.bib49)]。  

最近的工程信息学工作探索了相关数据驱动方法:图网络从稀疏、多源勘探数据中推断地下地层[56 (https://arxiv.org/html/2606.24967#bib.bib45)],传感器选择框架建立在定性物理模型上[9 (https://arxiv.org/html/2606.24967#bib.bib46)],基于扩散的模型为岩土位移重建带来不确定性评估[35 (https://arxiv.org/html/2606.24967#bib.bib47)],而混合专家代理与数据同化融合用于大坝变形建模[54 (https://arxiv.org/html/2606.24967#bib.bib48)]。然而,这些途径都不接受推理时的自由形式、案例特定知识:一位实践者在岩心记录中恰好描述了一种这样的模式,却无法直接将其传达给训练好的网络。缺失的是一个即插即用的语义条件接口,可以将此类知识注入到训练好的求解器中。  

语言模型的最新进展使这种接口成为可能。大语言模型使自由形式的技术文本在计算上可访问[25 (https://arxiv.org/html/2606.24967#bib.bib17)]。更广泛地说,自然语言已成熟为机器学习中的一等条件信号:视觉-语言对齐和文本条件生成模型通常用一句话引导图像合成[36 (https://arxiv.org/html/2606.24967#bib.bib9),39 (https://arxiv.org/html/2606.24967#bib.bib10)]。然而,工程应用仍然主要是文本到文本或文本到结构化知识(分类、信息提取、检索、本体和知识图谱构建[22 (https://arxiv.org/html/2606.24967#bib.bib43),43 (https://arxiv.org/html/2606.24967#bib.bib44)],以及草拟),而不是让自由形式的描述成为反问题本身的推理时先验。因此,在工程信息学内部,缺失的步骤并非语言处理本身,而是让该描述直接作用于一个物理控制的反问题求解器。  

本文考察的步骤是文本到物理:一个自由形式的描述,编码为连续嵌入,直接条件于一个物理控制反问题的学习型求解器。开放性问题在于:这样的文本实际上对恢复的场贡献了什么,以及通过什么机制?工程信息学也已开始使用LLM驱动的系统,在实际数据约束下暴露领域知识,从多代理岩土分析到语言模型输出的物理信息评估和多模态滑坡解释[34 (https://arxiv.org/html/2606.24967#bib.bib40),17 (https://arxiv.org/html/2606.24967#bib.bib41),1 (https://arxiv.org/html/2606.24967#bib.bib42)];立场论文在更广泛的岩土工作流程中描绘了这一潜力[49 (https://arxiv.org/html/2606.24967#bib.bib33),50 (https://arxiv.org/html/2606.24967#bib.bib34)]。然而据我们所知,这一相邻的工程信息学文献尚未研究本文所探讨的问题:自由形式的描述如何作为学习型反求解器的推理时先验,即它贡献了什么信号以及通过什么途径。  

最接近的直接先例来自工程信息学之外,其中语义信息最近被用于引导物理控制的反问题。Zhang等人[53 (https://arxiv.org/html/2606.24967#bib.bib3)]表明,自然语言场景描述的句子嵌入可以正则化电磁反问题:文本作为一个语义潜在空间罚项,将推断的潜在变量拉向LLM对描述的编码。后续工作将该想法扩展到同一电磁设置中的多模态语义先验[5 (https://arxiv.org/html/2606.24967#bib.bib4)]。这些研究确立了语义描述可以约束反演恢复,但它们留下了本文要解决的工程信息学问题:学习型求解器实际使用了文本先验的哪一部分,离散类标签是否携带相同的信号,以及在不同观测体制下语言何时增加价值。  

我们将这个问题带到达西流,这是地下工程中一个典型的不适定反问题。水力传导率控制地下水流和污染物运移,却很少被直接观测;它必须通过达西定律从常规可测的水头 h 中推断出来:  
-∇·(K∇h)=0, (1)  
这是一个经典意义上的不适定反问题,因为不同的 K 场产生几乎无法区分的水头响应[24 (https://arxiv.org/html/2606.24967#bib.bib19)]。与之前提供文本以改善恢复的先例不同,我们询问文本本身贡献了什么,并且我们设计主要合成实验,使得条件表征(而非辅助罚项)是唯一的实验变量(§3.1 (https://arxiv.org/html/2606.24967#S3.SS1))。我们并非提出新架构,而是贡献一项受控审计:对文本条件所携带信息进行系统评估,将句子嵌入视为即插即用接口,并表征其提供的能力。  

这个问题关系到实践者在推理时需要提供什么:详细叙述、简单标签、还是灵活的开放词汇描述。为了从机理上回答它,我们使用受控合成描述作为分析工具,孤立地变化其内容,以揭示先验的哪个方面有助于恢复。旨在迁移到实践中的不是合成文本本身,而是它所探测的通道:一个入口点,定性场地观测可以通过它约束反演,并与定量数据并行。在贝叶斯反问题的视角下[44 (https://arxiv.org/html/2606.24967#bib.bib31)],我们将文本 t 解释为提供 p(K|h,t) 中的软先验,并将训练好的文本条件生成器及其释义集合视为低成本、后验启发的灵敏度代理,而非后验采样器(§3.2 (https://arxiv.org/html/2606.24967#S3.SS2))。  

由此产生的机理优先研究围绕一个主张展开:这种先验(语言编码的工程信息)是条件性的;语言对恢复场贡献多少取决于水头观测已经约束 K 的程度。当正向映射将地质上不同的场坍缩到几乎无法区分的观测时,语言预计最为重要;当观测稀疏且缺失结构可描述时,语言增加更精细的信息;当观测一旦已知广泛地质类别就几乎确定 K 时,语言变得基本冗余。因此,本研究表征这种体制依赖性,而非报告单一的精度增益,并围绕三个问题组织:  

1. **求解器从文本中使用了什么信息?** 我们测试句子嵌入是贡献实例特定的地质信息,还是主要作为类级别先验,以及同样的可恢复信号是否可以由离散类标签携带。  
2. **文本何时有帮助?** 我们考察语言的价值是否取决于水头观测约束 K 的程度,包括正向映射将不同地质结构坍缩到相似响应的情况以及观测稀疏化的情况。  
3. **嵌入接口在固定标签之外提供了什么?** 我们评估自由形式文本的两个接口级能力:基于释义的敏感性分析和在封闭六类分类法之外的开放词汇描述。  

## 2 问题设置与数据集  
### 2.1 合成达西数据集(六个地质类别)  
#### 2.1.1 场生成与划分  
我们考虑在 Ω=[0,1]² 上的稳态达西流(方程1 (https://arxiv.org/html/2606.24967#S1.E1)),在 64×64 网格上离散化。对于六个类别中的五个,水力传导率 K 是二值的:粘土(K=10⁻⁸ m/s)或砂(K=10⁻⁵ m/s),跨越三个数量级,这是未固结沉积环境中有代表性的对比度;Continuous 类别则使用对数正态连续 K 场。六个结构类别从二维潜在变量 ξ=(ξ₁,ξ₂) 生成,其分量 ξ₁ 和 ξ₂ 独立从 [0,1] 上的均匀分布抽取:  

1. **Band**:特征宽度的连续砂体,倾斜一定角度。  
2. **Circle**:由之字形圆形段链形成的连通砂质通道。  
3. **Ellipse**:分散的细长砂透镜体,具有水平或垂直定向和变化位置。  
4. **Layered**:嵌入粘土背景中的 1–4 水平砂层,带有垂直偏移。  
5. **Random**:空间相关的二值随机场,粘土分数 ∈[0.2,0.7],通过阈值高斯过程生成。  
6. **Continuous**:对数正态 K 场,其对数均值和空间相关尺度随 ξ 变化。  

这六个类别被选择为代表沉积地层中重复出现的结构母题(层、倾斜带、透镜体和通道状管道),以及两个标准地统计场模型(相关二值场和对数正态连续场);它们是形态学抽象,而非标准岩土分类。

相似文章

基于Flow Matching的概率反演

arXiv cs.LG

本文应用Flow Matching(一种生成式人工智能技术)进行地震全波形反演中的概率反演,并在合成数据集上证明了其有效性。

超越引导向量:用于推理时干预的基于流的激活引导

arXiv cs.CL

本文介绍了 FLAS,这是一种基于流的激活引导方法,通过学习概念条件化的速度场,在推理时引导语言模型的激活。在 AxBench 基准测试中,FLAS 是首个无需针对特定概念进行微调,即可在未见概念上持续优于上下文提示(in-context prompting)的学习型方法。

超越提示:面向分布外形状的无条件三维反演

Hugging Face Daily Papers

本文识别并解决了文本到三维生成模型中的“潜在汇陷阱”问题,即模型对文本提示变得不敏感。我们提出了一个框架,将几何表示与语言敏感性解耦,从而实现对分布外形状的稳健文本驱动三维形状编辑。