用于地质碳封存可变操作建模与不确定性量化的多模态自回归Transformer代理模型

# 多模态自回归Transformer代理模型：用于地质碳封存中可变操作建模与不确定性量化

###### 摘要
采用可变完井射孔与注入策略可提升地质碳封存作业的效率。我们开发了一种新的多模态自回归Transformer代理模型，用于在地质不确定性条件下对这类作业进行建模。研究中采用了一个修改后的SEAM CO2地质模型，该模型包含一个带有三个叠置含水层的断层系统。两口注入井自下而上分段射孔，各段持续时间与单井注入速率作为控制变量。代理模型通过独立编码器处理三种输入模态——三维地质模型、表征相对渗透率函数的标量参数、以及控制变量。这些模态在Transformer编码器中通过自注意力机制进行融合，时间解码器则通过编码器-解码器交叉注意力机制自回归地生成预测。代理模型使用4000次GEOS流动模拟结果进行训练，用于预测监测位置处的饱和度和压力、总注入量及可动CO2质量、以及饱和度波及足迹。对于一组新测试集（包含随机采样的地质模型和控制变量），代理模型取得了中位饱和度MAE为0.028，其他目标量的中位相对误差为0.2%–5%。重要的是，该模型能够捕捉从速率控制到井底压力控制的切换。该代理模型被用于一种分层马尔可夫链蒙特卡洛数据同化流程中，针对一个合成真实模型在三种作业策略下进行不确定性量化。关键元参数（尤其是断层渗透率）的不确定性得到了显著降低。后验预测得到的饱和度波及足迹、总注入量及可动CO2质量也总体上与真实模型结果一致。

###### 关键词：地质碳封存、代理模型、断层系统、可变操作、多模态、Transformer

††期刊：Computer Methods in Applied Mechanics and Engineering

\affiliation\[inst1\]organization=Department of Energy Science and Engineering, addressline=Stanford University, city=Stanford, state=CA, postcode=94305, country=USA

## 1 引言

地质碳封存（Geological Carbon Storage, GCS）涉及将大量超临界CO2注入地下多孔地层。这些作业的性能取决于储层的地质属性，而后者往往具有高度不确定性，同时还取决于作业参数。这些参数可包括每口井的注入速率以及井的射孔段（即与流动相连通的地层部分）。通过随时间调整这些作业变量，可以在总CO2注入量、CO2波及足迹大小以及被封存CO2中不可动（即无法透过上覆盖层泄漏）部分的比例等方面改善作业性能。为了实现这类作业决策，需要经过校正的地质模型，即能够提供与观测数据一致的流动预测的模型。相应的数据同化问题计算成本高昂，因此已有大量代理模型被开发出来。然而，在大多数现有数据同化框架中，作业变量（速率、射孔区间）均假设为固定不变，因此这些代理模型并不适用于本工作所考虑的灵活作业情形。

在本研究中，我们开发了一种新的代理模型，用于在可变射孔与注入策略以及地质不确定性条件下，预测注入期和注入后阶段的关键流动响应。研究采用了现有社区模型——勘探地球物理学家学会高级建模（Society of Exploration Geophysicists Advanced Modeling, SEAM）CO2地质模型——的修改版本。该修改后的SEAM地质模型（见Han and Durlofsky 2026 (https://arxiv.org/html/2608.02629#bib.bib6)）代表了一个复杂的墨西哥湾断层含水层系统，包含三个叠置储层和两条大型断层。在本研究处理的作业策略中，目标含水层中的注入井按时间顺序分三个阶段进行射孔。我们开发了一种多模态自回归Transformer代理模型，在新的地质模型以及一组射孔区间和注入速率给定的情况下，预测该设置下的关键目标量。该代理模型使用4000次高保真GEOS（Settgast et al., 2024 (https://arxiv.org/html/2608.02629#bib.bib47)）流动模拟结果进行训练。该代理模型被用于一种马尔可夫链蒙特卡洛（Markov chain Monte Carlo, MCMC）数据同化流程中，以降低地质参数和系统级目标量的不确定性。

射孔策略对流动性能的影响已在油气生产场景中得到广泛认可。例如，Stiles and Valenti (1990 (https://arxiv.org/html/2608.02629#bib.bib24))调整射孔策略以平衡水驱前缘推进并在生产井处延迟水突破。Zhang et al. (2020 (https://arxiv.org/html/2608.02629#bib.bib22))表明，随时间在分离层之间交替注入可提高采收效率。Azamipour et al. (2023 (https://arxiv.org/html/2608.02629#bib.bib23))优化了射孔区间以控制注入剖面并延迟突破。射孔与注入策略在GCS应用中也已有研究。Kumar and Bryant (2008 (https://arxiv.org/html/2608.02629#bib.bib1))表明，在给定注入速率下，可通过调整注入区间来增加不可动CO2的比例。更一般地，Kumar and Bryant (2009 (https://arxiv.org/html/2608.02629#bib.bib10))表明，当垂直井在全部地层厚度上射孔时，可能产生高度非均匀的注入剖面。这种非均匀注入会减少CO2所接触的盐水体积，从而降低溶解捕集和残余捕集的量，并使得更大比例的CO2保持可动。Luo et al. (2013 (https://arxiv.org/html/2608.02629#bib.bib18))进一步研究了注入井和生产井射孔策略对CO2封存并提高天然气采收率的影响。他们表明，最优射孔方案强烈依赖于地层性质。Oldenburg (2021 (https://arxiv.org/html/2608.02629#bib.bib2))引入了径向封存效率的概念，并利用该概念证明了特定的完井策略可以限制高渗透层中的流动并增加低渗透层中的流动。这种更均匀的注入改善了波及效率和捕集效果，并有助于减小CO2波及足迹和可动CO2比例。

目前已有许多基于深度学习的代理模型被开发用于GCS及相关地下问题。这里我们重点介绍与我们的问题最相关的一些模型——此讨论并非旨在全面综述。Mo et al. (2019 (https://arxiv.org/html/2608.02629#bib.bib12))引入了一种卷积编码器-解码器网络，用于预测二维GCS问题的压力和饱和度。Wang et al. (2021 (https://arxiv.org/html/2608.02629#bib.bib32))开发了一种理论引导的神经网络代理模型，该模型在训练过程中融入物理约束，用于基于蒙特卡洛的地下流动问题不确定性量化。Tang et al. (2022 (https://arxiv.org/html/2608.02629#bib.bib16))将循环R-U-Net代理模型（Tang et al., 2021 (https://arxiv.org/html/2608.02629#bib.bib15)）扩展至耦合流动与地质力学问题。他们的方法提供了三维压力和饱和度场以及地表垂向位移。Yan et al. (2022 (https://arxiv.org/html/2608.02629#bib.bib14))开发了一种傅里叶神经算子（Fourier Neural Operator, FNO）代理模型，用于预测注入期和注入后阶段的饱和度和压力。Wen et al. (2023 (https://arxiv.org/html/2608.02629#bib.bib13))开发了一种嵌套FNO，用于处理涉及非均质地质模型和可变井配置的三维问题。Lee et al. (2024 (https://arxiv.org/html/2608.02629#bib.bib25))提出了一种嵌套Fourier-DeepONet，其外推能力相对于嵌套FNO有所提升。Tang and Durlofsky (2025 (https://arxiv.org/html/2608.02629#bib.bib33))开发了一种图网络代理模型，用于预测不同水平井配置下的三维压力和饱和度场。Ju et al. (2026 (https://arxiv.org/html/2608.02629#bib.bib46))开发了一种具有融合全局-局部注意力的自适应物理Transformer，用于地下流动问题的代理建模。Han and Durlofsky (2026 (https://arxiv.org/html/2608.02629#bib.bib6))引入了一种带有注意力机制的循环Transformer U-Net代理模型，用于三维断层含水层系统（具体为修改后的SEAM地质模型），在该系统中可能出现定性不同的断层泄漏场景。

以往用于地下流动场景数据同化的大部分代理模型都是针对固定作业设置开发的。这里的含义是，地质模型是主要输入，输出是在训练中所用作业策略下新地质模型的流动量。然而，实际工程问题可能要求代理模型纳入涉及井控的额外输入类型。这类问题可以在多模态学习框架内进行处理。多模态学习构建将多种数据模态进行组合和关联的模型，其中表示、对齐、融合和协同学习是关键问题（Baltrušaitis et al., 2019 (https://arxiv.org/html/2608.02629#bib.bib19)）。基于Transformer的架构（Vaswani et al., 2017 (https://arxiv.org/html/2608.02629#bib.bib7)）常被用于这一目的，因为注意力机制能够捕捉长程依赖关系，并且可以扩展以处理跨模态交互（Xu et al., 2023 (https://arxiv.org/html/2608.02629#bib.bib20)）。这里我们提及计算机视觉和自然语言处理社区中开发的众多此类模型中的几个。Radford et al. (2021 (https://arxiv.org/html/2608.02629#bib.bib27))引入了一种在共享嵌入空间中对齐图像和文本表示的模型。Lu et al. (2019 (https://arxiv.org/html/2608.02629#bib.bib28))以及Tan and Bansal (2019 (https://arxiv.org/html/2608.02629#bib.bib29))开发了基于Transformer的模型，通过交叉注意力融合视觉和文本输入。基于Transformer的架构也被用作求解偏微分方程的神经算子（Shih et al., 2025 (https://arxiv.org/html/2608.02629#bib.bib30)）。这些思想现在正被应用于GCS问题。Seabra et al. (2024 (https://arxiv.org/html/2608.02629#bib.bib17))开发了一种用于二维问题的Transformer U-Net代理模型，其中注入速率通过交叉注意力在潜空间层面被纳入。Feng et al. (2025 (https://arxiv.org/html/2608.02629#bib.bib26))开发了一种用于理想化三维问题的CNN-Transformer模型，其中注入速率序列在潜空间与编码后的地质模型进行融合。Feng et al. (2026 (https://arxiv.org/html/2608.02629#bib.bib21))开发了一种带有U-Net结构的条件Swin Transformer代理模型，用于二维问题，作业参数在每个阶段通过特征级线性调制被纳入。

然而，这里讨论的模型并未处理额外的输入模态，例如表征相对渗透率曲线的标量参数。此外，以往研究也未考虑复杂的实际系统，例如具有井底压力（bottom-hole pressure, BHP）限制下可变射孔和注入操作的三维断层地质模型，而后者正是本工作所考虑的。

本研究的目标是开发一种能够处理不同输入模态的多模态代理模型，并将其应用于修改后SEAM地质模型的建模与数据同化。为了说明整体设置的合理性，我们首先使用高保真GEOS模拟证明可变射孔和注入策略在改善CO2封存作业性能方面是有效的。随后我们引入多模态代理模型。该模型接受作业变量、地质模型和相对渗透率参数作为输入。我们引入了嵌入和融合处理以适配这些不同的输入模态，模态特定的编码器将地质模型、相对渗透率参数和作业变量映射到一个共享潜空间。生成的token通过多头自注意力在Transformer编码器中进行融合，时间解码器随后通过编码器-解码器交叉注意力自回归地生成随时间变化的预测。我们针对关键量（包括总CO2注入量、可动CO2质量以及每个注入器相关的饱和度足迹）给出代理模型预测与高保真模拟结果的对比。随后，我们将代理模型纳入一种基于分层MCMC的数据同化流程中，以评估在特定“真实”模型下、不同射孔和注入规范所实现的不确定性降低程度。这里考虑的地质不确定性是分层的，因为高层地质元参数和逐单元实现均具有不确定性。

据我们所知，这是首次在地质碳封存背景下，针对可变射孔和注入策略并结合不确定的分层地质模型和不确定的相对渗透率函数所进行的基于代理模型的处理。

本文结构如下。在Section 2 (https://arxiv.org/html/2608.02629#S2)中，我们描述修改后的SEAM CO2地质模型以及表征地质场景和相对渗透率曲线的不确定参数，并展示可变射孔和注入策略的潜在优势。多模态自回归Transformer代理模型在Section 3 (https://arxiv.org/html/2608.02629#S3)中介绍。在Section 4 (https://arxiv.org/html/2608.02629#S4)中评估代理模型的精度，并将其预测与高保真模拟结果进行对比。针对三种不同射孔和注入策略的分层MCMC数据同化工作流程及结果在Section 5 (https://arxiv.org/html/2608.02629#S5)中展示。我们在Section 6 (https://arxiv.org/html/2608.02629#S6)中给出总结和未来工作建议。

## 2 地质模型与模拟设置

在本节中，我们介绍本研究所使用的修改后SEAM CO2地质模型及模拟设置。构造模型（断层位置和含水层几何形态）与Han and Durlofsky (2026 (https://arxiv.org/html/2608.02629#bib.bib6))所使用的相同，但描述含水层属性的参数以及可变射孔和注入策略下的流动设置有所不同。

### 2.1 地质模型与元参数

Fehler (2024 (https://arxiv.org/html/2608.02629#bib.bib34))和Yoon et al. (2024 (https://arxiv.org/html/2608.02629#bib.bib35))开发了用于SEAM CO2项目的地质模型。这些模型是基于早期的SEAM墨西哥湾第三纪盐丘模型（Stefani et al., 2010 (https://arxiv.org/html/2608.02629#bib.bib36); Oristaglio, 2016 (https://arxiv.org/html/2608.02629#bib.bib37)）构建的。在地质上，这些模型代表一个浊积岩系统，由泥质砂岩含水层、上覆盖层、两个较浅含水层和交叉断层组成。整体域为浅