通用 NLP 嵌入能否捕捉本体推理？

# 通用NLP嵌入能否捕获本体推理能力？
来源：https://arxiv.org/html/2609.00177  
会议：第35届ACM国际信息与知识管理会议论文集；2026年11月7日至11日；意大利罗马  
会议录：《第35届ACM国际信息与知识管理会议论文集（CIKM '26）》，2026年11月7日至11日，意大利罗马  
DOI: 10.1145/3799682.3840036 (https://doi.org/10.1145/3799682.3840036)  
ISBN: 979-8-4007-2539-5/2026/11  
CCS：信息系统 语言模型  
CCS：计算方法学 信息抽取  
CCS：计算方法学 词汇语义学  
CCS：计算方法学 本体工程  
CCS：计算方法学 监督学习  
CCS：信息系统 相似性度量  
CCS：信息系统 检索效果  

Hamed Babaei Giglou  
https://orcid.org/0000-0003-3758-1454  
邮箱：[[email protected]](mailto:[email protected])  
单位：TIB莱布尼茨科技信息中心，汉诺威，下萨克森，德国  

Jennifer D’Souza  
https://orcid.org/0000-0002-6616-9509  
邮箱：[[email protected]](mailto:[email protected])  
单位：TIB莱布尼茨科技信息中心，汉诺威，下萨克森，德国  

以及  

Sören Auer  
https://orcid.org/0000-0002-0698-2864  
邮箱：[[email protected]](mailto:[email protected])  
单位：TIB莱布尼茨科技信息中心，L3S研究中心，莱布尼茨汉诺威大学，汉诺威，下萨克森，德国  

收稿日期：2009年6月5日  

**摘要**：通用NLP嵌入模型在语言任务上表现良好，但其捕获符号化本体结构的能力仍不明确。我们提出AVA——一个系统性的评估框架，用于判断嵌入是否能够区分本体与知识图谱中逻辑敏感的关联语义。AVA包含171,007个对比三元组，源自163个异构本体，通过层级反转、关系替换和不相交注入生成。每个三元组包含一个本体陈述、一个语义等效的释义表述，以及一个逻辑敏感的、具有矛盾关联语义的困难负样本。我们评估了超过25个最先进的嵌入模型，发现存在显著局限性：最佳模型的三元组准确率仅为0.739，而困难负样本准确率降至0.135。微调显著提升了判别能力，但向下游的语义网任务（包括分类法发现和本体对齐）迁移效果较差。进一步分析表明，性能提升部分源于对扰动特定模式的识别，而非稳健的本体理解。这些发现揭示了语言表征学习与本体层级判别之间持续存在的差距，并对“强大的NLP基准性能可转化为语义网能力”这一假设提出了挑战。  

**关键词**：嵌入，大语言模型，本体，语义文本相似性，本体工程  

††cc-许可：by  

## 1. 引言  
表征学习的最新进展同时改变了自然语言处理（NLP）和语义网领域。通用嵌入模型，从Word2Vec (Mikolov et al., 2013)和GloVe (Pennington et al., 2014)，到基于Transformer的架构如BERT (Devlin et al., 2019)、MPNet (Song et al., 2020)、E5 (Wang et al., 2022)、GTE (Zhang et al., 2024; Li et al., 2023)和BGE (Xiao et al., 2024)，在检索和语义文本相似性（STS）基准测试中都取得了优异性能。与此同时，语义网社区也开发了本体和知识图谱嵌入方法，包括RDF2Vec (Ristoski and Paulheim, 2016)、OWL2Vec* (Chen et al., 2021b)、DL2Vec (Chen et al., 2021a)，以及知识图谱嵌入（KGE）方法如TransE (Bordes et al., 2013)、ComplEx (Trouillon et al., 2016)和RotatE (Sun et al., 2019)。更近期的方法，包括KG-BERT (Yao et al., 2019)和KEPLER (Wang et al., 2021)，尝试将语言表征与结构化知识相结合。尽管取得了这些进展，一个根本性挑战仍未解决：*语义网表征学习中的泛化问题*。传统的KGE方法基于固定的实体和关系词汇表运行，在应用到新本体时通常需要重新训练（Chen et al., 2023; Liang et al., 2023）。本体感知方法能捕获特定本体内的丰富结构语义，但在跨异构模式迁移时可能表现出有限的可迁移性（Qiang, 2023; Bian, 2025; Li et al., 2025）。相反，基于Transformer的句子嵌入在跨语言任务上泛化良好，但并未针对OWL/RDFS结构上的符号推理进行显式优化。双曲表征为层级知识提供了一种有前景的替代方案（Nickel and Kiela, 2017; Dhingra et al., 2018），但其在可迁移的本体关系判别方面的有效性仍不明确。  

这一挑战与STS密切相关，后者是句子嵌入的主要评估范式。现代嵌入模型在STS上表现出色（Kumar et al., 2025），表明它们能够捕获文本表达之间的语义等效性。然而，标准STS基准测试很少需要区分那些词汇相似但本体层级关联语义不同的陈述（Gatto et al., 2023; Sun et al., 2025）。因此，强大的STS性能是否反映了对子类关系、定义域/值域约束、不相交公理及其他形式符号知识的真正敏感性，仍不清楚。  

为了研究这个问题，我们提出了**AVA**——一个基于结构化本体扰动的逻辑敏感本体相似性基准。AVA通过层级反转、关系替换和不相交注入生成本体感知的困难负样本，产出的句子对在保留大量词汇重叠的同时表达了矛盾的本体语义。我们使用163个异构本体，构建了包含171,007个对比三元组的数据集，并在跨本体泛化设置下评估了预训练和微调嵌入模型。我们的实验揭示了三个关键发现：首先，即使最强的通用嵌入在本体敏感的相似性判断上也仅达到中等性能，在困难负样本上性能显著下降；其次，对比微调显著提升了三元组判别能力，其中双曲目标函数达到了近乎完美的排序准确率；第三，这些改进向下游本体工程任务（如分类法发现（Babaei Giglou et al., 2023）和本体对齐（Hertling and Paulheim, 2023））的迁移效果较弱。  

这些结果共同揭示了一个优化-泛化差距：*嵌入可以学会区分AVA扰动，而无需获得对本体结构和模式特定判别的稳健、可迁移表征*。本工作的贡献有三点：(1) 我们引入了AVA，一个大规模基准，用于通过结构化逻辑敏感扰动评估本体感知的语义相似性；(2) 我们对现代嵌入模型和对比学习目标（包括欧几里得和双曲表述）进行了全面评估；(3) 我们证明了高对比判别准确率并不必然意味着可迁移的本体理解，突显了当前基于嵌入的语义网应用方法的重要局限性。此外，我们已将实现代码公开发布在 https://github.com/sciknoworg/AVA。

图1. 数据集分析：语义相似性（使用MPNET-base计算的余弦相似度）和词汇相似性（令牌集比率），显示了锚点-正样本（A-P）、锚点-负样本（A-N）和正样本-负样本（P-N）对的分布。

表1. 逻辑敏感困难负样本示例。  
锚点：一个在线游戏账户是在线账户的子类。  
困难负样本：一个在线游戏账户是代理（agent）的子类。  
锚点：在线聊天账户被定义为在线账户的子类。  
困难负样本：在线聊天账户被定义为在线电子商务账户的子类。  
锚点：一个在线游戏账户是在线账户的一种特定类型。  
困难负样本：一个在线游戏账户是在线聊天账户的一种特定类型。

表2. 数据集统计。  
参见说明  

图2. 三元组生成概览。(A) 从本体中提取的两跳BFS子图。(B) 源自该子图的对比三元组示例。

## 2. AVA  
AVA是一个评估框架，用于衡量嵌入模型是否能够超越表面词汇相似性，捕获本体层级的关联语义。它结合了 (1) 生成逻辑敏感对比三元组的本体扰动，以及 (2) 评估本体感知判别和跨本体迁移能力的对比目标，使用了三元组损失、双曲损失和强化学习技术（Christiano et al., 2017; Lambert et al., 2022）。

### 2.1. 结构化本体扰动  
**本体图提取**。我们使用了来自多个领域的163个本体，包括生物医学（即GO (Consortium, 2026), OBI (Bandrowski et al., 2016)）、地理空间、社会、工程和模式本体。我们通过OntoLearner库（Giglou et al., 2026）访问这些集合。对于每个本体，我们构建了一个无向图，其中节点表示OWL类以及对象/数据类型/注释属性，边编码结构化的OWL/RDFS关系（即`rdfs:subClassOf`、`owl:domain`、`owl:range`等）。形式为 $C \sqsubseteq \exists R.D$ 的存在性限制公理被具体化为 $C$ 和 $D$ 之间的直接标签边。为了构建合理的困难负样本（例如兄弟节点交换），同时不超过LLM上下文窗口，我们使用从每个OWL类种子点出发的两跳广度优先搜索（BFS）来提取子图。单跳邻域通常缺少兄弟类，而两跳半径能可靠地捕获必要的兄弟和祖父关系。我们保留节点数在3到20个之间的子图，以排除过于简单或臃肿的结构，并通过其排序节点集的MD5指纹进行去重，最终得到50,548个唯一子图。

**对比三元组生成提示**  
以下内容代表从形式化知识本体中提取的结构化子图，详细描述了实体、它们的定义及其语义关系（三元组）。  
请综合生成一个高质量的自然语言句子三元组（锚点、正样本、负样本）数据集。该数据集将用于对比学习，以微调嵌入模型（例如Sentence-Transformer）进行语义表征和本体对齐。

三元组生成指南：  
1.  **锚点**：构建一个清晰、无歧义的陈述句，反映提供的子图中直接断言的真实事实、定义或确切关系。  
2.  **正样本**：构建锚点的语义等效释义。此句子必须保留确切的事实含义，但使用形态变化、同义词或替代句法结构（例如主动与被动语态）以促进鲁棒的语义表征。  
3.  **负样本**：构建一个“困难负样本”陈述。此句子必须与锚点表现出高度的词汇重叠（使用来自本体领域的相似实体、关系或词汇），但断言一个事实上不正确的关系、一个矛盾的定义，或配对不相交的实体。它必须作为嵌入模型的困难干扰项。  

- 恰好生成5个唯一的三元组。严格以有效的JSON数组输出  
- 严格以有效的JSON对象数组输出结果，键为确切的："anchor"、"positive"和"negative"。  

示例输出：  
```
[{"anchor": "...", "positive": "...", "negative": "..."}]
```
`{subgraph}`

图3. 用于生成对比三元组的LLM提示。`{subgraph}`是子图结构化呈现的占位符。

**逻辑敏感困难负样本合成**。每个子图被转换为一个结构化的自然语言提示，呈现其带有标签和定义的实体以及它们的三元组。我们指示一个Qwen3.5-35B-A3B LLM（Qwen Team, 2026）在以下约束下为每个子图生成五个对比三元组（参见图3中的提示）：  
1) 锚点：一个陈述句，表达子图中直接断言的事实（层级断言、定义域/值域约束、等价性或不相交性）；  
2) 正样本：使用形态变化、同义词或句法重组（例如主动到被动语态）的语义等效释义。事实内容必须完全保留；  
3) 困难负样本：一个与锚点高度词汇重叠但断言本体不正确关系的陈述，例如，交换子类为其兄弟节点，反转属性定义域，或用不相交概念替换实体。此合成过程专门设计用于产生*逻辑敏感的*负样本，而非随机采样的干扰项。  
在处理原始输出后，我们总共获得了197,326个候选（锚点、正样本、负样本）三元组。代表性示例见表1，图2展示了如何使用BFS子图生成三元组。

**后处理与数据集统计**。我们使用RapidFuzz计算的令牌集比率相似度分数进行两轮过滤。首先，我们将锚点-负样本相似度超过90的样本标记为困难负样本，并将其移至专用评估集，因为它们代表最具挑战性的情况。其次，正样本-负样本相似度超过90的样本直接丢弃，因为两者无法有意义地区分（参见图1中的A-P分布）。在通过节点集MD5指纹进行去重后...