NeurOWL：一种基于LLM的不完整OWL本体推理的神经符号框架

# NeurOWL：一种基于LLM的不完整OWL本体推理的神经符号框架

来源：https://arxiv.org/html/2607.15776

11institutetext:曼彻斯特大学
11email:\{hui\.yang\-2, jiaoyan\.chen, renate\.schmidt\}@manchester\.ac\.uk, yiping\.song@postgrad\.manchester\.ac\.uk
22institutetext:浙江大学
22email:zhang\.wen@zju\.edu\.cn

###### 摘要

OWL本体提供了一个形式化的知识表示框架，支持语义推理，并已在医疗保健和生物信息学等领域得到广泛应用。然而，在实际应用中，现实世界的本体通常是不完整的，这给推理带来了挑战。在这项工作中，我们聚焦于一个基础的子集推理问题：给定一个不完整的本体和一个候选的（非蕴涵的）子集关系，判断该子集关系在语义上是否合理，如果合理，则提供一个包含潜在缺失公理的逻辑上合理的解释。该任务将子集验证与本体溯因统一起来，并通过移除对预定义缺失公理候选集的需求来泛化后者。为了解决这个子集推理问题，我们提出了NeurOWL，一个端到端的神经符号框架，它通过大型语言模型和本体嵌入，联合利用形式化定义的语义和文本语义，同时执行验证和溯因。我们在多个领域的真实本体上评估了NeurOWL，展示了其在不同领域中的强大且稳健的性能。

## 1 引言

以Web本体语言（OWL）表达的本体提供了一个表示结构化知识的形式化框架，并通过描述逻辑（DL)[4](https://arxiv.org/html/2607.15776#bib.bib114)支持自动推理。由于其精确且可共享的机器可解释语义表示，OWL本体被广泛应用于生物医学[2](https://arxiv.org/html/2607.15776#bib.bib45)和医疗保健[7](https://arxiv.org/html/2607.15776#bib.bib51)等知识密集型领域。

本体工程中的一个基础推理任务是子集推理：确定两个概念之间是否存在子集关系，并为这种蕴涵提供解释。对于完整且一致的本体，可以通过标准推理器[17](https://arxiv.org/html/2607.15776#bib.bib95), [24](https://arxiv.org/html/2607.15776#bib.bib108)确定子集关系，并且解释可以推导为*justifications*（即，足以蕴涵该关系的最小公理集）[32](https://arxiv.org/html/2607.15776#bib.bib94), [25](https://arxiv.org/html/2607.15776#bib.bib109), [42](https://arxiv.org/html/2607.15776#bib.bib110), [1](https://arxiv.org/html/2607.15776#bib.bib113)。然而，在实践中，由于领域知识不断演变和专家策展成本高昂等原因，现实世界的本体通常是不完整的。因此，一些有效子集关系可能因为缺少某些必需公理而无法被蕴涵。

*溯因推理*已被提出作为解决此问题的一个自然方案[14](https://arxiv.org/html/2607.15776#bib.bib98), [19](https://arxiv.org/html/2607.15776#bib.bib96), [37](https://arxiv.org/html/2607.15776#bib.bib97), [11](https://arxiv.org/html/2607.15776#bib.bib101), [13](https://arxiv.org/html/2607.15776#bib.bib102), [15](https://arxiv.org/html/2607.15776#bib.bib103), [20](https://arxiv.org/html/2607.15776#bib.bib104), [26](https://arxiv.org/html/2607.15776#bib.bib105), [28](https://arxiv.org/html/2607.15776#bib.bib106), [33](https://arxiv.org/html/2607.15776#bib.bib107), [16](https://arxiv.org/html/2607.15776#bib.bib91), [27](https://arxiv.org/html/2607.15776#bib.bib100), [6](https://arxiv.org/html/2607.15776#bib.bib99), [18](https://arxiv.org/html/2607.15776#bib.bib111)。在这项工作中，我们专注于*TBox溯因*，其目标是找到一组假设（缺失公理）H\\mathcal{H}，当将其添加到不完整的本体O′\\mathcal{O}^\prime时，目标子集关系α\\alpha变得可被蕴涵（即，O′∪H⊧α\\mathcal{O}^\prime\cup\mathcal{H}\models\alpha）。尽管这些方法前景良好，但现有方法存在若干局限性：（1）它们通常依赖于一个预定义的假设空间，将候选公理限制在固定词汇内[19](https://arxiv.org/html/2607.15776#bib.bib96), [27](https://arxiv.org/html/2607.15776#bib.bib100)；（2）它们通常假设目标子集关系是有效的，这阻碍了它们在α\\alpha的有效性本身不确定的更一般场景中的适用性。最近，人们对使用大型语言模型（LLM）进行相关本体推理和构建任务（如子集预测和概念放置）的兴趣日益增长[21](https://arxiv.org/html/2607.15776#bib.bib61), [8](https://arxiv.org/html/2607.15776#bib.bib119), [22](https://arxiv.org/html/2607.15776#bib.bib62), [39](https://arxiv.org/html/2607.15776#bib.bib92), [34](https://arxiv.org/html/2607.15776#bib.bib115), [5](https://arxiv.org/html/2607.15776#bib.bib116), [43](https://arxiv.org/html/2607.15776#bib.bib117), [31](https://arxiv.org/html/2607.15776#bib.bib118), [36](https://arxiv.org/html/2607.15776#bib.bib121)；然而，这些工作通常缺乏解释能力。

为了解决这些挑战，我们提出了NeurOWL，一个用于不完整OWL本体的可解释子集推理的端到端神经符号框架。通过结合LLM和本体嵌入的文本信息与形式语义，NeurOWL消除了对预定义假设空间的需求，并支持正例和负例蕴涵场景。此外，它在免训练和微调环境中均可运行，使其能够适应不同领域。

NeurOWL的核心思想是通过识别连接相关概念的中间概念来发现缺失知识，如图1所示。考虑一个简单的例子（完整版本见示例2），本体O1′\\mathcal{O}\_1^\prime：

\{PersianCat⊑PetCat, Cat⊑Mammal, Mammal⊑Animal⊓∃produces\.Milk\}。

直觉上，人们期望子集关系PersianCat⊑Animal成立，但由于不完整性，它无法从O1′推导出来。为了解决这个问题，NeurOWL搜索中间概念CC，使得PersianCat⊑C⊑Animal成立，这些中间概念可用于构建缺失公理和解释。根据场景的不同，部分或全部连接可能缺失（参见图1中的阶段2a/2b和3a）。例如，NeurOWL可能选择C=Cat并构建缺失公理PetCat⊑Cat，而另一部分Cat⊑Animal由O1′蕴涵，因此并不缺失。然后，解释由缺失公理和蕴涵Cat⊑Animal的公理组成。候选中间概念通过本体嵌入[39](https://arxiv.org/html/2607.15776#bib.bib92)和LLM识别，它们捕获语义相似性并验证可能缺失的连接。如果找不到合适的中间概念，NeurOWL会将目标子集关系视为一个简单的、不可分割的公理，直接提出它，并使用LLM进行验证（图1中的阶段3b）。

我们在多个领域的多个真实本体上评估了NeurOWL。实验结果表明，我们的方法在概念子集推理中实现了强性能，同时为不完整的输入本体生成了有意义的解释。我们的结果显示，在从真实本体FoodOn[12](https://arxiv.org/html/2607.15776#bib.bib90)和Snomed CT[7](https://arxiv.org/html/2607.15776#bib.bib51)构建的数据集上，NeurOWL在检查子集合理性方面取得了高性能，F1分数高达97。它们在生成的解释方面也表现出很强的准确性，如预测缺失公理的正确性所示，X-F1和X-F1*分数分别高达89.3和79.3。更多细节在第6节中提供。

这项工作的主要贡献是：

- •我们引入了一个广义的TBox溯因任务，该任务不需要预定义的缺失公理候选集，并能处理给定子集关系不正确的情况。
- •我们提出了NeurOWL，一个用于不完整本体推理的端到端神经符号框架，利用了本体嵌入和LLM。
- •我们在真实本体上经验性地评估了我们的方法，展示了其在不同程度不完整性下的有效性和鲁棒性。

输入: A⊑B?
1. 对O′的推理器
2a. 向下 B B′ A O′⊧B′⊑B A⊑B′缺失?
2b. 向上 B A′ A O′⊧A⊑A′ A′⊑B缺失?
3a. 双向 B C C A C⊑B缺失? A⊑C缺失?
3b. 直接检查 B A A⊑B缺失?
False True proof justification JB′⊑B True {A⊑B′}∪JB′⊑B 或 {A′⊑B}∪JA⊑A′ True {A⊑C, C⊑B} 或 {A⊑B} no no fail fail proved found found
图1: NeurOWL概述：红色公理表示可能缺失的公理。

## 2 相关工作

本体上的**溯因推理**可分为几类，包括**TBox溯因**[14](https://arxiv.org/html/2607.15776#bib.bib98), [19](https://arxiv.org/html/2607.15776#bib.bib96), [37](https://arxiv.org/html/2607.15776#bib.bib97)，**ABox溯因**[11](https://arxiv.org/html/2607.15776#bib.bib101), [13](https://arxiv.org/html/2607.15776#bib.bib102), [15](https://arxiv.org/html/2607.15776#bib.bib103), [20](https://arxiv.org/html/2607.15776#bib.bib104), [26](https://arxiv.org/html/2607.15776#bib.bib105), [28](https://arxiv.org/html/2607.15776#bib.bib106), [33](https://arxiv.org/html/2607.15776#bib.bib107), [18](https://arxiv.org/html/2607.15776#bib.bib111)，**知识库溯因**[16](https://arxiv.org/html/2607.15776#bib.bib91), [27](https://arxiv.org/html/2607.15776#bib.bib100)和**概念溯因**[6](https://arxiv.org/html/2607.15776#bib.bib99)。这些类别通过缺失元素的类型来区分：规则（TBox公理）、事实（ABox公理）、两者的组合以及概念。在这项工作中，我们专注于TBox溯因，其中缺失元素是TBox公理，如第3节所述。

现有的TBox溯因方法依赖于关于子集关系的不同假设，这些假设基于一个预定义的候选公理集。例如，[37](https://arxiv.org/html/2607.15776#bib.bib97)假设一个由领域专家提供的预言函数定义的人工验证选择；[14](https://arxiv.org/html/2607.15776#bib.bib98)依赖于一组合理模式；[19](https://arxiv.org/html/2607.15776#bib.bib96), [27](https://arxiv.org/html/2607.15776#bib.bib100)仅考虑基于给定概念和角色集合（称为签名）制定的公理。这些假设限制了此类方法在实际应用中的实用性。此外，这些方法侧重于逻辑计算，很大程度上忽略了非正式的元信息（如文本标签）的使用，而这些信息也包含了重要的语义。

**本体嵌入**旨在将本体实体（即概念、角色和实例）编码为数值向量，同时保留其结构和语义属性。这些嵌入支持若干下游机器学习和数据挖掘任务，包括概念子集预测[10](https://arxiv.org/html/2607.15776#bib.bib77)。现有方法大致可分为两类。（1）**基于几何模型的方法**[29](https://arxiv.org/html/2607.15776#bib.bib19), [38](https://arxiv.org/html/2607.15776#bib.bib18), [23](https://arxiv.org/html/2607.15776#bib.bib12), [40](https://arxiv.org/html/2607.15776#bib.bib60)将本体实体表示为几何对象，将描述逻辑（DL）算子转换为几何操作。例如，概念子集和交集分别被建模为区域包含和交集。（2）**基于语言模型的方法**[35](https://arxiv.org/html/2607.15776#bib.bib38), [9](https://arxiv.org/html/2607.15776#bib.bib39), [30](https://arxiv.org/html/2607.15776#bib.bib79)利用形式知识和文本信息来在嵌入空间中捕获语言和语义特征。最近引入的HiT[22](https://arxiv.org/html/2607.15776#bib.bib62)结合了语言模型与双曲空间中的层次嵌入，以表示分类法并支持任意两个概念标签之间的直接子集推断。在此基础上，OnT[39](https://arxiv.org/html/2607.15776#bib.bib92)通过引入作为旋转的角色嵌入和额外的损失函数来编码逻辑属性，将方法扩展到EL\\mathcal{EL}本体。在这项工作中，我们采用OnT作为我们的嵌入方法。

**用于本体子集的LLM**已在许多任务中得到研究，例如子集预测或推断[21](https://arxiv.org/html/2607.15776#bib.bib61), [43](https://arxiv.org/html/2607.15776#bib.bib117), [8](https://arxiv.org/html/2607.15776#bib.bib119), [22](https://arxiv.org/html/2607.15776#bib.bib62), [39](https://arxiv.org/html/2607.15776#bib.bib92)，分类法补全[34](https://arxiv.org/html/2607.15776#bib.bib115)，公理学习[5](https://arxiv.org/html/2607.15776#bib.bib116), [43](https://arxiv.org/html/2607.15776#bib.bib117), [31](https://arxiv.org/html/2607.15776#bib.bib118)，以及LLM中层次结构的内在知识[36](https://arxiv.org/html/2607.15776#bib.bib121)。然而，据我们所知，很少有研究专门探索使用LLM评估子集关系的语义合理性。[44](https://arxiv.org/html/2607.15776#bib.bib122)是一种相关方法，但假设由人类专家进行额外验证。此外，这些基于LLM的工作，以及上述基于本体嵌入的工作，大多关注子集关系的正确性，很少关注解释。[41](https://arxiv.org/html/2607.15776#bib.bib120)研究了解释生成并考虑了不完整设置，但假设给定子集关系是正确的，并且侧重于评估LLM的能力，而不是开发端到端的推理器。

## 3 预备知识

本体通过逻辑语句（称为*公理*）的集合提供一个表示结构化知识的形式化框架。