LMT: 一种从制造系统文本告警记录中进行因果发现的贝叶斯框架

# LMT：一种基于贝叶斯框架的制造系统文本告警记录因果发现方法  
来源：https://arxiv.org/html/2606.09892  

肖晓峰  
陈建宏  
东北大学机械与工业工程系，马萨诸塞州波士顿，美国  

孙秋庄  
新加坡管理大学综合研究学院，新加坡  

石乃晨  
西北大学工业工程与管理科学系、机械工程系，伊利诺伊州，美国  

岳旭波（通讯作者）  
[email protected]  
东北大学机械与工业工程系，马萨诸塞州波士顿，美国  

###### 摘要  

文本事件记录（如告警日志）已成为工程与制造系统中日益常见的数据源。除了识别相关性或重复模式，工程师们往往希望理解在系统运行过程中，哪些类型的事件会因果性地触发或影响其他事件。文本事件描述可能包含关于此类因果关系的语义线索，而近期的大语言模型（LLMs）为此类信号的提取提供了有前景的工具。然而，仅依赖LLM编码的文本信息不足以实现准确的因果发现，因为语义模式无法直接揭示因果机制，且可能混淆因果关系与相关性或频繁出现的序列模式。为应对这些挑战，我们提出了 **LMT**，一种面向工程事件数据的贝叶斯因果发现框架，该框架联合利用文本描述与时间戳信息。具体而言，LMT 首先利用LLM从事件描述中提取语义因果信号，并构建事件类型（或事件簇）间因果图的先验分布。随后，它通过基于泊松过程的似然函数引入时间证据，使得基于LLM的先验能够被时间戳统计证据所细化。通过整合文本与时间信息，LMT 生成一个既具可解释性又有数据支撑的因果图。仿真研究表明，该框架在不同设置下均有效，且在少量样本的告警事件场景中尤为有优势。  

## 1 引言  

制造系统越来越多地以文本形式记录数据。这些文本通常记录了制造过程中发生的事件，例如告警、维护操作和工艺异常（Geigle 等，2018；Ansari，2020；Cajner 等，2026）。从这类事件描述的文本数据中提取有用信息，有助于提高制造系统的可靠性和质量。例如，事件描述可为预测性维护提供有价值的信号（Wang 等，2017），而从事件描述中提取的嵌入（Bhardwaj 等，2021）可有效纳入用于制造图像分析的深度学习模型（Chen 等，2023；Kwon 和 Lee，2025）。这些对事件数据集的分析通常侧重于识别事件之间的模式、相似性或统计关联。尽管这类基于相关的信息对监测和预测有用，但它不能直接解释事件的影响如何在工程系统中传播。因此，除了识别事件日志中的相关性，工程师们往往对更深层次的问题感兴趣：**哪些类型的事件会因果性地触发或影响其他类型的事件？** 此类因果关系在理解和管理复杂工程系统中起着重要作用（Zhou 等，2021；Ma 等，2023；Vuković 和 Thalmann，2022；Nadim 等，2023；Xiao 等，2025；Chen 等，2025；Xiao 等，2025；Cheng 等，2025）。  

近年来，大语言模型（LLMs）在理解和推理文本信息方面展现了强大能力（de Oliveira 等，2024；Chen 等，2024）。由于事件描述可能包含关于事件间因果关系的语义线索，LLM 为从文本事件数据中提取此类信息提供了天然的工具（Chen 等，2024；Li 等，2025；Liu 等，2025）。这为分析工程系统中基于文本的事件记录中的因果关系创造了新的机会。  

然而，仅依赖LLM编码的文本信息不足以实现准确的因果发现。虽然LLM能够从事件描述中捕捉到丰富的语义模式，但它们并不能直接识别因果机制（Ban 等，2025；Wu 等，2025）。特别是，语言模型可能将因果关系与相关性或文本中频繁出现的序列模式相混淆。这一局限源于LLM的训练方式：它们从大规模语料中学习 token 和短语之间的统计关联，而非区分因果关系的显式干预、时间或物理机制（Pearl，2009）。因此，频繁共现或按固定叙事顺序描述的两个事件类型可能会获得很强的方向性关联，即使这种关联仅反映文本惯例而非物理因果关系。此外，LLM 在表征复杂工程系统中的因果关系时，其可解释性仍然有限，而这些系统中的事件依赖往往由潜在的物理和时间机制主导，而非仅依赖文本语义。因此，**基于LLM的文本语义应被视为有用但不完美的初始信息来源，必须通过更具可解释性和可验证性的方法进一步细化。**  

本文提出 **LMT**，一种基于语言模型先验的贝叶斯因果发现框架，通过联合利用时间戳和文本描述来识别工程系统中事件数据之间的因果关系。具体而言，我们首先利用LLM从事件描述中提取语义因果信号。基于这些LLM衍生的语义信号，我们构建了一个关于有向无环图（DAG）的先验分布，其中每个节点代表一个事件类型或事件簇，每条有向边代表两个事件类型之间的潜在因果关系。然后，为了避免仅依赖基于LLM的先验，我们引入了一个基于泊松过程的似然函数，以纳入来自事件时间戳的时间证据。在该似然函数下，每个事件类型通过其随时间发生的强度进行建模（Arnold 等，2007；Finkbeiner 等，2024；Gong 等，2024）。当源事件的过去发生有助于解释目标事件未来的发生趋势时，就会鼓励形成候选因果边。最后，基于LLM的先验与泊松时间似然通过贝叶斯后验公式相结合。后验分布整合了来自事件描述的语义知识和来自事件时间戳的统计证据，生成一个既具可解释性又有数据支撑的因果图。学习到的DAG有助于揭示工程事件如何在系统中传播，为复杂工业环境提供有价值的见解。  

我们的贡献总结如下：  

- • 我们提出了一种面向工程事件数据的贝叶斯因果发现框架，该框架联合利用文本描述和时间戳。不是依赖单一信息源，该框架将文本信息和时间信息分配至不同的概率角色。这种设计提高了LLM衍生信息在制造系统中的可靠性和可用性。  
- • 该框架推断出工程事件类型或事件簇之间的可解释因果图（DAG）。学习到的图可为复杂工程系统中的因果发现、根因分析和决策提供有价值的见解。  
- • 该方法特别适用于告警事件数据。在实践中，由于工程系统在触发告警后通常很快被停止并进行诊断，因此可用的记录数量往往有限。这使得该框架尤其适用于小样本工程场景中的因果发现。  

本文其余部分组织如下：第2节回顾相关工作；第3节介绍预备方法；第4节详细阐述所提框架；第5节报告仿真研究；最后，我们讨论潜在的改进并总结全文。LMT 的源代码可访问：https://github.com/xx987/LMT。  

## 2 文献综述  

#### LLM驱动的因果发现  

LLM已成为许多领域的强大工具。作为在大规模文本数据上训练的语言模型，它们能够提供丰富的语义信息和日益准确的上下文推理。越来越多的研究提出利用LLM来增强因果发现。Kiciman 等（2023）指出LLM能够生成涉及真实因果关系的内容。由于因果陈述和文本模式可能已存在于训练语料中，将LLM视为因果发现中先验知识的潜在来源是合理的。Vashishtha 等（2023）描述了LLM不仅有助于因果图推理，还可以在因果发现后用于探索因果效应——前提是提供足够信息量的提示时，LLM可能估计出效应。类似地，Long 等（2023）将LLM用作构建因果发现先验的不完美专家，然后基于LLM提供的信息，通过贪婪搜索方法从马尔可夫等价类（MEC）中恢复因果图。随后，Ban 等（2025）将约束引入损失函数以控制LLM在因果推理中引入的错误。Wu 等（2025）进一步强调，LLM提供的因果信息应受到约束，不应被视为最终决策；相反，可以使用评分函数或信息熵来限制LLM衍生先验中的错误。最近，Zanna 和 Sano（2026）展示了不同的提示策略如何引导LLM在因果发现中执行主动学习，并更精确地区分相关性与因果关系。Li 等（2026）提出LLM中的幻觉会为因果发现引入偏差，并且这种幻觉偏差也可以被建模在因果图中。  

因此，LLM可以作为高效但不完美的专家，为包括工程事件数据在内的多种类型数据集提供关于因果关系的初始信号。然而，LLM生成的先验信息仍需要使用额外的数据驱动证据进行校准和调整。  

#### 事件数据因果关系  

事件数据天然与时间信号相关联；因此，从事件数据集中进行因果发现常常需要纳入时间信息（Mirza，2021；Gong 等，2024；Mbogu 和 Nicholson，2024）。Tang 等（2018）设计了一种基于时间生成的事件数据存储方法，使事件数据更便于进行因果分析。类似地，Zuo 等（2021）提出了一种事件数据插补方法，通过使用时间生成方法创建额外数据以支持因果发现。Rebboud 等（2022）使用表示学习方法对事件数据集进行建模，然后将事件映射到因果图中，以学习事件间的因果关系。  

此外，许多研究使用时间点过程（尤其是基于泊松过程的模型）从时间信息中学习事件因果关系。Jin 等（2020）将霍克斯过程（一种与泊松过程密切相关的自激点过程）应用于视觉事件序列中的因果发现。在这种设置下，视觉序列被编码为事件生成过程，通过点过程对事件间时间依赖关系建模，从而识别根因。Cüppers 等（2024）引入信息熵函数来衡量基于霍克斯过程的因果发现中贪婪搜索的成本，从而约束从点过程模型推断出的因果图的搜索空间。Liu 等（2024）将泊松过程生成的事件映射到神经网络中，并研究网络参数如何表示因果关系。类似地，Chang 等（2025）提出神经点过程可以学习因果图的结构，为事件数据集提供因果信息。最近，Li（2025）利用泊松过程分解事件数据中的信息，并使用不同的机器学习方法进一步评估分解后的信息以识别潜在的因果图。  

基于这些研究，我们引入霍克斯过程作为LLM衍生先验的调整工具，因为基于霍克斯过程的模型在建模事件数据的时间依赖关系方面展现了强大能力。具体而言，基于LLM的专家从事件的文本描述中提供初始先验信息，而霍克斯过程通过似然函数纳入时间信号，从而有助于推断更准确的后验因果图。  

## 3 预备知识  

### 3.1 数据设置  

考虑一个在有限观测时间区间 \([0, T]\) 内连续生成事件记录的工程系统。形式上，原始事件数据集记为 \(\mathcal{D}_{\mathrm{raw}} = \{(t_i, s_i)\}_{i=1}^n\)，其中 \(i\) 是观测到的事件索引，\(n\) 是观测事件的总数，\(t_i \in [0, T]\) 是事件 \(i\) 的时间戳，\(s_i\) 是与事件 \(i\) 相关的原始文本描述。时间戳描述了事件发生的时间，