面向桥梁诊断代理的隐性因果关系编码：基于QLoRA的三元组引导检索增强微调

# 编码桥梁诊断代理中不可见的因果关系：基于三重引导的检索增强微调与QLoRA
来源：https://arxiv.org/html/2607.21680
###### 摘要

桥梁基础设施会逐渐劣化，但其根本原因——盐分侵入、冻融、疲劳开裂等——对肉眼而言是*不可见的*。专家诊断依赖于多年实践积累的隐性知识。为应对这一潜在因果推理自动化的挑战，我们提出了一种**损伤原因编码器**，可从可见损伤描述 \(S_i\) 中分类10类损伤原因，用于自主桥梁诊断代理。

我们的方法链包含三个组件：\(i\) **知识三元组提取**——大语言模型从15-35份诊断PDF手册中提取形如（损伤 \(\xrightarrow{\mathtt{caused\_by}}\) 原因）的因果三元组，并索引至FAISS向量存储中；\(ii\) **检索增强上下文**——在训练和推理时，检索相关因果三元组 \(\mathcal{C}_i\)，与 \(S_i\) 拼接，将隐式领域知识转换为显式的编码器上下文；\(iii\) **系统微调比较**——我们在固定金测试集（116个分层样本）上对LoRA、QLoRA和QA-LoRA进行严格比较，证明QLoRA达到最优权衡：与全精度LoRA相同的测试准确率（87.07%），推理速度提升11%，GPU内存降低72%，且在各种未见输入上具有更优泛化能力。

我们引入了一个受控的**金测试集**——分层、去重、标注难度的可复用基准。QLoRA在一个涵盖全部10个损伤原因类别的100样本多样评估中，比LoRA高出13个百分点。我们识别出积水、土壤液化、碱骨料反应（ASR）类别的持续失败模式，为针对性数据增强提供了可行指导。这些发现使得在消费级硬件上实现内存高效、高精度的诊断代理成为可能，便于边缘部署。

**关键词：** 桥梁检测，损伤原因编码，知识三元组，QLoRA，LoRA比较，金测试集，检索增强生成，诊断代理，隐性知识。

## 1 引言

### 1.1 背景与动机

日本运营着超过73万座公路桥梁，大多数建于1960-70年代经济高速增长期，现已超过其50年设计寿命[17]（https://arxiv.org/html/2607.21680#bib.bib10）。根据《道路法》，定期目视检查是法定要求，但由于结构数量增长快于合格工程师数量，检查积压问题日益严重。

检查过程中存在一个根本性不对称：**损伤可见，但其原因不可见**。检查员可以观察到表面裂缝、剥落或析出，但正确诊断根本原因——无论是盐致钢筋锈蚀、冻融循环、碱骨料反应（ASR），还是交通荷载引起的疲劳——都需要多年领域专业知识，以隐性知识形式编码。正是这种不可见的因果层面阻碍了自动化：现成的图像分类器可以标注损伤类型，但无法解释*为什么*发生损伤。

我们认为，这种隐性因果知识可以从现有诊断手册中**编码**为结构化因果三元组，随后通过检索增强微调注入预训练语言模型。

### 1.2 问题陈述

给定一份损伤描述 \(S_i\)（观察结构异常的自然语言文本），从包含10个特定领域标签的闭合集合（表1（https://arxiv.org/html/2607.21680#S3.T1））中预测损伤原因类别 \(\hat{c}_i \in \{0,\ldots,9\}\)。关键挑战在于：仅凭 \(S_i\) 往往不够；原因推断需要了解劣化机理、材料特性和环境暴露——这些都作为隐式专家知识封装在诊断手册中。

### 1.3 贡献

本文做出四项贡献：

1. **三重引导检索增强编码**：我们将15-35份PDF诊断手册中的隐性因果知识转换为6,745个结构化三元组，索引于FAISS，使得在训练和推理时能够进行上下文感知的损伤原因分类。
2. **金测试集构建**：我们引入了一个分层、去重、标注难度的基准，包含116个样本，覆盖全部10个损伤原因类别（第5.6节（https://arxiv.org/html/2607.21680#S5.SS6）），使不同微调方法之间的可重复比较成为可能。
3. **QLoRA作为最优微调策略**：在金测试集上对LoRA、QLoRA和QA-LoRA进行受控比较，证明QLoRA与全精度LoRA达到相同的测试准确率（87.07%），同时推理速度提升11%，GPU内存降低72%（1.45 GB→0.40 GB），且在100个多样未见样本上具有更优泛化能力（47.0% vs. 34.0%）。
4. **类别级失败模式分析**：一项覆盖全部10个类别的100样本多样评估揭示了系统性失败类别（积水：0%，土壤液化：≤10%，ASR：≤20%），指明了最需要针对性数据增强的领域。

## 2 相关工作

### 2.1 用于序列分类的BERT微调

BERT[6]（https://arxiv.org/html/2607.21680#bib.bib1）建立了预训练大型Transformer模型并在下游任务上微调的范式。对于分类任务，附加一个线性头于[CLS]令牌表示。日语特定模型如`cl-tohoku/bert-large-japanese-v2`[21]（https://arxiv.org/html/2607.21680#bib.bib9）使用字符级分词将这一范式扩展到形态丰富的日语文本，使其特别适用于频繁出现技术复合名词的领域特定检查文本。

### 2.2 参数高效微调与量化

LoRA[10]（https://arxiv.org/html/2607.21680#bib.bib2）将低秩适配器插入预训练权重矩阵，实现了仅激活0.1-2%总参数的高效微调。QLoRA[5]（https://arxiv.org/html/2607.21680#bib.bib3）通过将冻结主干网络4位量化（NF4格式）同时保持适配器为BFloat16，将LoRA扩展，使得70亿参数模型的内存从约28 GB降至约6 GB。

QA-LoRA[24]（https://arxiv.org/html/2607.21680#bib.bib4）进一步引入了LoRA适配器的量化感知初始化，使其能够在训练期间而非仅在推理时补偿量化误差。我们的工作将这些原理应用于仅编码器BERT模型的序列分类——这是先前工作未涉及的场景——并发现了与任务特定分类器层的兼容性问题，需要专用解决方案（第4.3.2节（https://arxiv.org/html/2607.21680#S4.SS3.SSS2））。

### 2.3 检索增强生成

Lewis等人[15]（https://arxiv.org/html/2607.21680#bib.bib5）证明，用从非参数存储器中检索到的段落增强语言模型输入，能显著提高知识密集型任务的性能。密集段落检索[13]（https://arxiv.org/html/2607.21680#bib.bib11）表明，FAISS索引的密集嵌入在开放域问答中优于BM25。基于图的RAG[7]（https://arxiv.org/html/2607.21680#bib.bib14）进一步将检索到的知识结构化为实体关系图，类似于我们基于三元组的方法。

我们的工作不同之处在于，检索服务于*判别分类*任务而非生成文本生成，且检索到的知识是*因果*的——将损伤观察与劣化机理联系起来，而非事实性段落。

### 2.4 桥梁检测与损伤评估

基于计算机视觉的桥梁损伤检测方法取得了显著进展，基于CNN的裂缝检测器[14]（https://arxiv.org/html/2607.21680#bib.bib13）和点云分割方法已实现实际部署。Chen等人[3]（https://arxiv.org/html/2607.21680#bib.bib12）将深度学习应用于自动化表面裂缝检测。然而，现有系统主要关注损伤*检测*和*定位*，而非*原因推断*——这正是我们工作所填补的空白。Yasuno[25]（https://arxiv.org/html/2607.21680#bib.bib17）探索了用于损伤描述质量的量化VLM，为量化权衡提供了补充证据，用于基础设施检查的诊断目的。

### 2.5 基础设施与工业检测中的代理AI

基于LLM的自主代理的最新进展[22]（https://arxiv.org/html/2607.21680#bib.bib18）、[23]（https://arxiv.org/html/2607.21680#bib.bib19）为智能检测系统开辟了新的可能性。Bommasani等人[1]（https://arxiv.org/html/2607.21680#bib.bib25）认为，基础模型可以通过微调适应特定的下游任务，这激发了在更广泛的代理管道中使用特定领域编码器模块的动机。Shen等人[20]（https://arxiv.org/html/2607.21680#bib.bib26）证明，规划LLM可以编排特定任务模型作为工具——这正是我们的损伤原因编码器在诊断代理中设计扮演的角色。Park等人[18]（https://arxiv.org/html/2607.21680#bib.bib27）进一步表明，配备专用记忆和推理工具的代理展现出涌现的规划行为。

状态监测和故障诊断是此类架构的自然应用领域。Farrar和Worden[8]（https://arxiv.org/html/2607.21680#bib.bib20）将结构健康监测（SHM）确立为土木基础设施损伤检测、定位和预测的系统框架。Zhao等人[26]（https://arxiv.org/html/2607.21680#bib.bib21）证明了深度学习在旋转机械、轴承和齿轮箱等机器健康监测中的适用性。Jardine等人[12]（https://arxiv.org/html/2607.21680#bib.bib24）综述了基于条件的维护，涵盖多个工业领域的诊断和预测算法。Cha等人[2]（https://arxiv.org/html/2607.21680#bib.bib22）和Maeda等人[16]（https://arxiv.org/html/2607.21680#bib.bib23）分别将深度神经网络应用于裂缝检测和道路损伤分类——两者均表明中等规模的领域特定训练数据足以实现实用的检测自动化。

我们的工作通过瞄准*因果推理*缺口来补充这些努力：现有的检测AI能检测出*什么*损伤存在，而损伤原因编码器推断*为什么*，提供了代理诊断系统识别根本原因所需的根因推理模块。

## 3 问题形式化

### 3.1 定义

令 \(\mathcal{D} = \{(S_i, c_i)\}_{i=1}^N\) 为带标签数据集，其中 \(S_i\) 是自然语言损伤描述（日文文本），\(c_i \in \{0,1,\ldots,9\}\) 是真实损伤原因标签。**因果三元组**是一个结构化元组：

\[\tau = (\text{subject}, \mathtt{relation}, \text{object}) \quad (1)\]

其中 \(\mathtt{relation} \in \{\mathtt{caused\_by}, \mathtt{accelerated\_by}, \mathtt{related\_to}\}\)。例如：（钢筋锈蚀，caused_by，氯离子浓度超过1.2 kg/m³）。

令 \(\mathcal{T} = \{\tau_1,\ldots,\tau_M\}\) 为索引在FAISS向量存储中的所有提取三元组集合。给定查询 \(S_i\)，检索函数 \(\text{Ret}(S_i,\mathcal{T},k)\) 返回嵌入空间中按余弦相似度最高的前 \(k\) 个最相似三元组。经LLM相关性判断筛选后，幸存上下文为：

\[\mathcal{C}_i = \{\tau \in \text{Ret}(S_i,\mathcal{T},k) \mid \text{LLM-relevant}(S_i,\tau) = \text{YES}\} \quad (2)\]

### 3.2 分类任务

编码器的增强输入为：

\[x_i = \texttt{[CLS]}\; S_i\; \texttt{[SEP]}\; o_1 \cdot o_2 \cdot \cdots \cdot o_{|\mathcal{C}_i|} \; \texttt{[SEP]} \quad (3)\]

其中 \(o_j\) 是三元组 \(\tau_j \in \mathcal{C}_i\) 的*对象*字段（因果解释文本），“·”表示日语句号。微调后的编码器 \(f_\theta\) 将 \(x_i\) 映射为在10个类别上的概率分布：

\[\hat{p}_i = \text{softmax}(W_c \cdot f_\theta(x_i)[\texttt{CLS}]) \in \mathbb{R}^{10} \quad (4)\]

预测标签为 \(\hat{c}_i = \arg\max \hat{p}_i\)。

### 3.3 损伤原因类别

10类分类体系 \(C_2\) 涵盖了日本桥梁诊断手册中确定的主要劣化机理（表1（https://arxiv.org/html/2607.21680#S3.T1））。类别涵盖化学（盐害、ASR）、物理（冻害、疲劳）和生物/水文（积水、砂化）机理，以及结构原因（空洞管沉陷、连接梁问题）。

表1：损伤原因类别（\(C_2\)）
### 3.4 领域无关泛化

尽管上述实例针对桥梁检测，但四阶段流水线由两个可独立替换的领域特定组件参数化：

1. **文档语料库 \(\{D_k\}_{k=1}^K\)**：任何编码领域因果知识的专家PDF文档集合（诊断手册、维护指南、临床规程等）。
2. **标签分类体系 \(\mathcal{L} = \{l_0,\ldots,l_{L-1}\}\)**：目标领域适当的一个闭合的 \(L\) 个原因类别集，表示所有可能的原因。

正式地，令 \(\mathcal{X}\) 为可观察症状描述空间，\(\mathcal{Y} = \{0,\ldots,L-1\}\) 为原因标签空间。通用编码器学习映射：

\[f_\theta: \mathcal{X} \times 2^\mathcal{T} \rightarrow \mathcal{Y} \quad (5)\]

其中 \(2^\mathcal{T}\) 表示检索到的因果三元组的幂集。成功横向迁移的充分条件为：

1. \(i\) 专家诊断知识存在于可解析文本的文档形式中。
2. \(ii\) 可观察症状与潜在原因在语言上可分离。
3. \(iii\) 中等规模的标记训练数据可用（几十到几百个样本足矣[8]（https://arxiv.org/html/2607.21680#bib.bib20）、[12]（https://arxiv.org/html/2607.21680#bib.bib24））。
4. \(iv\) 倾向于内存高效部署；提出的QLoRA配置针对≤16 GB的消费级GPU，无需云基础设施即可实现本地部署。

候选领域包括隧道衬砌诊断、路面劣化评估[16]（https://arxiv.org/html/2607.21680#bib.bib23）、旋转机械故障检测[26]（https://arxiv.org/html/2607.21680#bib.bib21）、[12]（https://arxiv.org/html/2607.21680#bib.bib24）、结构健康监测[8]（https://arxiv.org/html/2607.21680#bib.bib20）以及医学症状-诊断推理。代理AI视角——为自主诊断代理配备专用编码器工具[22]（https://arxiv.org/html/2607.21680#bib.bib18）、[20]（https://arxiv.org/html/2607.21680#bib.bib26）、[23]（https://arxiv.org/html/2607.21680#bib.bib19）——进一步激励了设计：轻量级QLoRA微调编码器可以作为基于LLM的检测代理[18]（https://arxiv.org/html/2607.21680#bib.bib27）中的可插拔因果推理模块，包括气候影响吗？