基于语言模型的知识图谱构建

# 基于语言模型的知识图谱构建  
来源：https://arxiv.org/html/2604.19137  
11机构：1昆明理工大学信息工程与自动化学院，昆明 650500，中国  
2昆明理工大学云南省计算机技术应用重点实验室，昆明 650500，中国  
3云南锡业股份有限公司锡业分公司  
11邮箱：[email protected]  

###### 摘要  

知识图谱（KG）能够有效整合海量数据中的高价值信息，已在多个领域快速发展并广泛应用。传统 KG 构建依赖人工标注，耗时耗力；基于深度学习的方案泛化能力弱。随着预训练语言模型（PLM）的兴起，PLM 在 KG 构建中展现出巨大潜力。本文系统综述了利用 PLM 构建 KG 的最新进展，阐述 PLM 如何凭借语言理解与生成能力，自动从文本中抽取实体、关系等关键信息。此外，我们提出了一种基于轻量大语言模型（LLM）的超关系知识图谱构建框架 LLHKG，与既有方法对比，轻量 LLM 的 KG 构建能力可媲美 GPT-3.5。  

## 1 引言  

知识图谱（KG）由 Google 于 2012 年首次提出[1](https://arxiv.org/html/2604.19137#bib.bib1)，是一种用于表示和存储知识的结构化语义网络，通过实体、关系与属性的图结构组织知识。实体是 KG 的基本单元，关系描述实体间的语义关联，属性刻画实体特征。KG 已广泛应用于智能搜索[2](https://arxiv.org/html/2604.19137#bib.bib2)、推荐系统[3](https://arxiv.org/html/2604.19137#bib.bib3)、金融风控[4](https://arxiv.org/html/2604.19137#bib.bib4)等垂直领域并取得显著成效。  

基于深度学习的 KG 构建方案主要利用神经网络自动从大规模文本中抽取实体与关系，流程包括文本预处理、命名实体识别、关系抽取、知识融合、存储与更新。虽能处理海量数据并自动学习复杂模式，但依赖大量标注数据，对数据与标注质量要求高，且在复杂多跳关系、长文本场景下挑战巨大。  

如图 1 所示，语言模型从早期统计方法演进至现代深度学习。早期模型依赖基础统计，Word2Vec 等神经网络开始捕获语言特征；随后 ELMo、BERT 等预训练语言模型（PLM）通过大规模预训练显著提升理解与生成能力；最新的大语言模型（LLM）进一步降低任务特定数据依赖，在各类 NLP 任务中表现强劲。  

近年，PLM 在 NLP 领域进展迅猛，其强大的语言生成与理解能力为 KG 构建与应用提供新思路。相比深度学习方案，PLM 方案优势明显：预训练阶段已利用海量无标注文本，对标注数据需求低，适合数据稀缺场景。本文聚焦分析基于 PLM 的 KG 构建方案，并提出新型 HRKG 框架 LLHKG，使轻量 LLM 的 KG 构建能力对标 GPT-3.5。  

## 2 基于 PLM 的 KG 构建  

### 2.1 语言模型 KG 构建方案  

现有语言模型 KG 构建方案分为两类：挖掘模型内部知识与基于 PLM 的 KG 抽取，分别聚焦知识深度与广度，提供多元化技术路径。  

#### 2.1.1 挖掘模型内部知识  

该类方案探索语言模型内部知识结构，通过分析内部机制识别并抽取实体、关系、属性等信息。例如，Wang 等[5](https://arxiv.org/html/2604.19137#bib.bib5)将语言模型视为开放 KG，强调其内部隐含大量知识，可通过适当方法挖掘利用；Cohen 等[6](https://arxiv.org/html/2604.19137#bib.bib6)通过爬取内部知识库进一步探索隐含结构。核心在于深度理解模型内部表示以实现知识抽取。  

#### 2.1.2 基于 PLM 的 KG 抽取  

不同于内部挖掘，该类方案利用 PLM 输出或内部表示，通过特定技术生成 KG。例如，Hao 等[7](https://arxiv.org/html/2604.19137#bib.bib7)利用 BERT 内部表示并通过算法转化为显式 KG 结构；Wang 等[8](https://arxiv.org/html/2604.19137#bib.bib8)将信息抽取视为“文本→三元组”翻译任务，直接利用 PLM 生成能力从文本抽取结构化信息，可快速构建 KG。  

### 2.2 基于 LLM 的知识挖掘  

当前基于 LLM 的知识挖掘可分为提示驱动、零/少样本及领域专用三类。  

#### 2.2.1 提示驱动知识挖掘  

研究通过设计并优化提示引导 LLM 完成知识挖掘。例如，Gan 等[9](https://arxiv.org/html/2604.19137#bib.bib9)采用逐步增强提示技术提升 LLM 在线营销场景下的知识挖掘能力，显著提高性能并降低部署成本；Wu 等[10](https://arxiv.org/html/2604.19137#bib.bib10)对比上下文学习（ICL）与基于提示的事实知识抽取（PFK），发现 PFK 在某些任务更准确但对提示质量要求高，ICL 对提示依赖低但复杂任务精度不足。  

#### 2.2.2 零/少样本知识挖掘  

研究致力于降低提示依赖。Wu 等[11](https://arxiv.org/html/2604.19137#bib.bib11)提出零样本多示例方法，通过多示例引导模型抽取知识；Kang 等[12](https://arxiv.org/html/2604.19137#bib.bib12)在零样本关键词抽取实验中发现 Llama3 与 Gemma2 表现优异，混合提示在多数 LLM 上持续提升效果。  

#### 2.2.3 领域专用知识挖掘  

在科学文本等特定领域，Dagdelen 等[13](https://arxiv.org/html/2604.19137#bib.bib13)提出联合命名实体识别与关系抽取方法，展示如何通过微调 LLM 抽取复杂科学概念，为从论文中抽取结构化领域知识提供简洁灵活方案。  

### 2.3 基于 LLM 的 KG 构建  

当前 LLM 构建 KG 的研究在零/少样本学习、大规模文本知识抽取及领域专用图谱构建方面取得显著进展；迭代验证技术通过创新机制提升图谱质量与可靠性。  

#### 2.3.1 零/少样本学习  

研究者利用 LLM 在无大量标注数据条件下构建高质量 KG。Zhang 等[14](https://arxiv.org/html/2604.19137#bib.bib14)通过信息抽取、模式定义、规范化三阶段，无需预定义模式即可生成 KG，适应多领域并提升效率与精度；Carta 等[15](https://arxiv.org/html/2604.19137#bib.bib15)采用迭代零样本提示策略（如 GPT-3.5）抽取 KG 组件，无需外部资源，具备高可扩展性。  

#### 2.3.2 领域专用 KG 构建  

研究者结合 LLM 生成能力与领域数据特点开发高效方案。例如，Bai 等[16](https://arxiv.org/html/2604.19137#bib.bib16)利用 LLM 生成数据并结合 Neo4j，通过检索增强生成（RAG）流程实现领域 KG 高效构建与应用，显著提升知识组织与利用效率；Chen 等[17](https://arxiv.org/html/2604.19137#bib.bib17)提出 SAC-KG 框架，含生成器、验证器、修剪器三大组件，自动化从领域语料构建大规模高精度多层 KG，减少人工干预，增强实用性。  

#### 2.3.3 基于迭代验证的 KG 构建  

PiVe[18](https://arxiv.org/html/2604.19137#bib.bib18)通过迭代验证提升 LLM 构建 KG 的准确性与可靠性，减少错误与幻觉；除零样本学习外，Carta 等[15](https://arxiv.org/html/2604.19137#bib.bib15)亦强调迭代验证重要性，通过多轮迭代与验证确保每次抽取的知识组件准确无误。  

## 3 基于 LLM 的 HRKG 与知识超图构建  

传统 KG 以三元组表示知识，难以刻画多对多关系。超关系知识图谱（HRKG）引入超边同时连接多节点，更自然表达复杂多元关系。  

目前利用 LLM 构建 HRKG 的研究较少。2024 年，Datta 等[19](https://arxiv.org/html/2604.19137#bib.bib19)提出通过提示工程与思维链（CoT）使用 GPT-3.5 构建 HRKG 的方案，下文简称 GCLR，虽未超越监督学习方法，但提供了新思路。  

知识超图进一步扩展超边概念，用于大规模复杂知识建模与推理，在语义理解、智能问答、多模态融合等方面潜力巨大。PLM 在知识抽取任务中表现优异，兼具语言理解与多模态处理能力，是构建知识超图的理想选择。  

当前已有研究探索知识超图在 RAG 系统中的应用。HyperGraphRAG[20](https://arxiv.org/html/2604.19137#bib.bib20)通过从文本抽取 N 元关系构建超图，精准表示复杂实体连接，LLM 端到端抽取，超图存储于二分图数据库以支持高效检索；Hyper-RAG[21](https://arxiv.org/html/2604.19137#bib.bib21)利用 PLM 抽取实体与关系并映射至超图，超边构建结合外部证据验证可靠性。  

图 2 显示，三元组 KG、HRKG 与知识超图各具优势：三元组 KG 适合二元关系；HRKG 通过附加信息处理复杂关系与查询；知识超图灵活性高但成熟度较低，选择合适格式是构建高效 KG 的关键。  

## 4 与既有 LLM-based HRKG 构建方法对比  

当前 HRKG 构建研究有限，现有 LLM 方法精度不足且方案简单。因此，我们联合多款轻量级开源 LLM，并针对任务自动优化提示词，从文本抽取知识构建 HRKG。  

### 4.1 总体框架  

如图 3 所示，框架包括两部分：超关系抽取模块参考已有结构化知识从输入文本抽取 HRKG；HRKG 修正模块基于原文对前一步结果进行语义与格式修正。  

### 4.2 数据集与评价指标  

HyperRED 用于超关系抽取，旨在从文本抽取含限定信息的关系事实；BERTScore[22](https://arxiv.org/html/2604.19137#bib.bib22)是基于 BERT 的文本相似度评价工具，通过计算候选文本与参考文本的上下文嵌入余弦相似度衡量语义相似性。  

### 4.3 具体实现细节  

超关系抽取选用 LLama3.1:8B 模型，修正阶段选用 Qwen2.5:7B 模型。  

### 4.4 实验结果  

表 1：两种方案 BERTScore 结果对比  
| Framework | Model | Precision | Recall | F1 |  
|-----------|--------|-----------|--------|-----|  
| GCLR[19](https://arxiv.org/html/2604.19137#bib.bib19) | GPT-3.5 | 0.53 | 0.56 | 0.53 |  
| LLHKG(Ours) | LLama3.1:8B & Qwen2.5:7B | 0.52 | 0.56 | 0.53 |  

如表 1 所示，在 BERTScore 指标下，我们的方案仅比 GPT-3.5 的 GCLR 低 0.01，框架可显著提升轻量 LLM 的 KG 构建能力。