双路径大语言模型推理用于多模态小样本知识图谱补全

# 双路径LLM推理用于多模态少样本知识图谱补全
来源：https://arxiv.org/html/2607.26909
Jinlan Liu¹, Zhiying Tu¹,²,³\corresponding, Yongchao Xing¹, Yicheng Liu¹, Bolin Zhang¹,²,³, Dianbo Sui¹,², Dianbo Chu¹,², Hongliang Sun¹,²,³\corresponding

###### 摘要

知识图谱补全（KGC）旨在推断知识图谱（KG）中缺失的事实，从而提高其完整性并支持下游智能应用。然而，实际部署中不断出现的新实体和关系使得归纳式KGC变得困难，尤其是在少样本和零样本场景下。多模态信息和大语言模型（LLM）衍生的先验知识可以丰富稀疏的关系上下文，但也可能引入噪声或幻觉证据。为了解决这些问题，我们提出了DuPLeR，一种用于多模态少样本KGC的双路径LLM推理框架。DuPLeR通过结合多模态LLM衍生的类型先验和事实支持结构，构建一个校准后的关系图，并在精炼的关系拓扑上执行双层结构推理。此外，一个双路径多模态增强模块利用查询相关的多模态信号调节消息传递，并在图传播后补充实体表示。在八个归纳式变体（基于两个多模态KG基准）上的实验表明，DuPLeR在数据稀缺的KGC场景中取得了稳健的性能。

## 1 引言

KGC，也称为链接预测，旨在推断KG中缺失的事实，在维护KG的覆盖范围和可靠性方面起着关键作用（Yuan等人，2025 (https://arxiv.org/html/2607.26909#bib.bib46)）。从海量日志、客户交互等数据中自动提取的事实三元组往往不完整，导致实体之间的潜在关系未被链接（Hu等人，2024 (https://arxiv.org/html/2607.26909#bib.bib2)）。这限制了KG在下游任务中的有效性。通过执行KGC，可以推断缺失的链接并丰富KG，从而提高其完整性和实用性。

大多数现有的KGC方法在直推式设置下运行，即训练时观察到所有实体和关系，目标是预测它们之间缺失的链接。然而，现实世界中不断出现新实体，这些实体作为新知识被增量添加到现有KG中（Zhang等人，2023 (https://arxiv.org/html/2607.26909#bib.bib45)）。传统的直推式KGC方法无法及时更新这些新添加实体的知识表示，需要对未见实体进行链接预测——这被称为归纳式KGC（Zhang等人，2024c (https://arxiv.org/html/2607.26909#bib.bib37)）。这种能力对于可扩展智能和降低标注成本至关重要。然而，归纳式KGC从根本上受到新兴实体可靠上下文证据稀缺的限制，因为新兴实体通常只提供有限的局部邻域，某些情况下仅提供少量支持三元组。

多模态信息，例如现实世界实体的文本描述和相关图像，可以作为辅助证据来补充稀疏三元组中缺失的上下文信息。通过提供超越结构三元组之外的更丰富语义信号，多模态线索使模型能够更好地捕捉实体之间的潜在关系，从而提升KGC性能。现有的多模态KGC方法已经探索了自适应融合机制，以选择性整合异构的模态特定证据（Chen等人，2022 (https://arxiv.org/html/2607.26909#bib.bib25)；Shang等人，2024 (https://arxiv.org/html/2607.26909#bib.bib4)；Wei等人，2024 (https://arxiv.org/html/2607.26909#bib.bib1)），有些方法进一步结合多模态邻域信息来丰富实体或关系表示（Shang等人，2024 (https://arxiv.org/html/2607.26909#bib.bib4)；Wei等人，2024 (https://arxiv.org/html/2607.26909#bib.bib1)）。然而，多模态融合不可避免地会引入跨模态异构性和噪声，这可能会损害关系推理的可靠性（Yang等人，2025 (https://arxiv.org/html/2607.26909#bib.bib40)；Kim等人，2025 (https://arxiv.org/html/2607.26909#bib.bib38)；Zhao等人，2024 (https://arxiv.org/html/2607.26909#bib.bib34)）。这一挑战在归纳式KGC设置中被进一步放大。在涉及新兴实体的场景中，任务的少样本和数据稀缺特性意味着噪声或未对齐的模态（尤其是视觉或操作信号）可能对实体表示产生不成比例的影响，扭曲表示空间并最终降低链接预测精度。

鉴于限制归纳式KGC的证据稀缺性，LLM凭借其编码的世界知识和强大的泛化能力，为丰富低资源设置下的稀疏关系上下文提供了一种有前景的方法。现有方法已探索利用LLM提取关系上下文用于KGC推理（Wang等人，2024 (https://arxiv.org/html/2607.26909#bib.bib19)），但它们没有明确考虑MMKG中模态特定可靠性或粒度不匹配问题。在MMKG中，从LLM衍生的语义先验也可能提供互补的高层线索，用于桥接异构模态并减少噪声信号。然而，直接结合LLM先验与多模态信息仍然具有挑战性。不同模态以不同粒度描述关系上下文，并且在有限监督下其可靠性可能差异显著（Chen等人，2024 (https://arxiv.org/html/2607.26909#bib.bib27)）。因此，模型应该能够选择性地评估哪些信号对给定预测更可靠。这激发了一种原则性的自适应集成机制，能够对齐LLM语义先验与多模态线索，并改进在少样本和零样本条件下对新兴实体的归纳式链接预测。

为了解决这些挑战，我们提出了DuPLeR，一种用于少样本和零样本设置下归纳式多模态KGC的新型框架。首先，我们利用LLM进行关系语义丰富，以缓解少样本场景中的资源稀缺问题。为了减轻模型幻觉，我们设计了一个拓扑精炼模块，利用事实知识对LLM扩展的信息进行去噪和丰富，从而生成一个校准后的关系图，用于下游推理。随后，DuPLeR引入了一个双路径多模态增强模块，分别利用查询相关和查询不相关的多模态信息，在消息传递过程中和之后注入多模态线索，从而有选择地利用多模态信息来增强实体表示。最后，DuPLeR执行双层结构推理，以同时捕捉关系间模式和实体级结构证据。我们在两个公开的MMKG基准上进行了大量实验，结果表明DuPLeR有效地结合了多模态LLM衍生的关系先验与多模态信号，实现了更精确的链接预测。总之，本文做出以下贡献：

- • 我们提出了DuPLeR，它将多模态LLM衍生的关系先验与结构推理相结合，以减轻由稀疏和噪声监督引起的表示失真，从而改进归纳式KGC。
- • 我们设计了一种双路径多模态增强机制，在消息传递期间注入查询相关的多模态证据，并在传播后合并查询无关的多模态语义，从而实现更鲁棒的多模态融合。
- • 在两个MMKG基准的八个变体上进行的大量实验表明，DuPLeR持续改善了归纳泛化能力和鲁棒性。

## 2 相关工作

### 2.1 归纳式KGC

归纳式KGC旨在通过学习可转移的结构模式，将链接预测泛化到未见实体和关系。NBFNet通过图消息传递捕捉关系感知路径（Zhu等人，2021 (https://arxiv.org/html/2607.26909#bib.bib22)），而InGram和ULTRA构建关系图来建模可转移的关系间依赖关系（Lee等人，2023 (https://arxiv.org/html/2607.26909#bib.bib20)；Galkin等人，2023 (https://arxiv.org/html/2607.26909#bib.bib18)）。最近的方法进一步引入语义知识来缓解稀疏的结构证据。ProLINK使用LLM衍生的类型先验来增强低资源推理的关系图（Wang等人，2024 (https://arxiv.org/html/2607.26909#bib.bib19)），而SEMMA在全归纳设置中结合了LLM丰富的关系语义与结构关系图（Arun等人，2025 (https://arxiv.org/html/2607.26909#bib.bib6)）。然而，这些方法主要关注关系级文本语义。DuPLeR则从多模态类型先验构建出经过事实校准的关系拓扑，并进一步融合实体级的多模态证据。

### 2.2 多模态KGC

多模态KGC通过结合结构、文本和视觉信息来改进实体表示。LAFA联合建模了链接感知的模态融合和邻域聚合（Shang等人，2024 (https://arxiv.org/html/2607.26909#bib.bib4)），而MCKGC在混合曲率空间中捕捉异构的多模态模式（Gao等人，2025 (https://arxiv.org/html/2607.26909#bib.bib8)）。最近的方法越来越多地考虑模态特定可靠性：NativE采用关系引导的自适应融合来解决模态失衡问题（Zhang等人，2024b (https://arxiv.org/html/2607.26909#bib.bib7)），MMSN将多模态邻域聚合与元学习相结合，用于少样本KGC（Wei等人，2024 (https://arxiv.org/html/2607.26909#bib.bib1)）。特别是，多模态LLM在内容生成时容易受到单一模态的过度影响（Zhu等人，2026b (https://arxiv.org/html/2607.26909#bib.bib9)）。与表示级融合不同，DuPLeR将多模态集成分离为结构消息传递期间的查询条件调节和图传播后的整体补充。

## 3 问题定义

我们研究在归纳设置下的少样本多模态KGC。令G = (E, R, S)表示一个MMKG，其中S ⊆ E × R × E是观测三元组的集合。每个实体e ∈ E都关联有多模态的辅助信息，包括文本描述t和一组图像{v_k}_{k=1}^K。值得注意的是，在本文的设置下，测试时出现的实体和关系与训练时看到的实体和关系是不相交的。对于目标关系r ∈ R，只有一个小规模的支持集S_r = {(h_i, r, t_i)}_{i=1}^N，其中N ≪ |S|（或N=0）可用。给定一个查询请求(q, r, ?)，目标是通过利用有限的支持三元组来检索合适的尾实体。

参见图注图1：DuPLeR的整体框架。它利用多模态LLM衍生的关系先验进行结构推理，并通过双路径机制注入多模态信号，最终精炼实体表示以进行链接预测。

## 4 方法

在本节中，我们提出DuPLeR（图1 (https://arxiv.org/html/2607.26909#S3.F1)），该框架利用多模态LLM衍生的先验和实体级多模态特征，在三元组资源稀缺的情况下改进KGC。给定一个查询关系，DuPLeR从稀疏的KG中构建关系感知上下文，并通过双层结构推理（第4.1节 (https://arxiv.org/html/2607.26909#S4.SS1)）捕捉可转移的关系-实体模式。这一过程由多模态LLM衍生的关系先验增强，为关系拓扑的构建和校准提供语义线索（第4.2节 (https://arxiv.org/html/2607.26909#S4.SS2)）。一个双路径多模态模块随后注入实体级多模态信息以精炼表示，并支持鲁棒的实体匹配（第4.3节 (https://arxiv.org/html/2607.26909#S4.SS3)）。最后，DuPLeR在多个MMKG上进行预训练，并泛化到未见过的图，无需重新训练（第4.4节 (https://arxiv.org/html/2607.26909#S4.SS4)）。

### 4.1 双层结构推理

在少样本场景中，每个观测到的三元组都提供了关键的结构证据。为了有效利用这种有限的监督，我们在关系和实体两个层次上执行结构推理。在关系层面，上下文增强的共现关系图编码器（CCoRGE）构建了一个高阶关系图，并通过图传播来捕捉关系之间可转移的交互模式。在实体层面，多模态感知预测网络（MAPNet）利用生成的关系嵌入来引导KG上的消息传递，使模型能够识别关系感知的结构路径，并为链接预测对候选实体进行评分。这两个推理层次是互补的：关系图捕捉了较少依赖特定实体身份的可转移交互模式，而实体图则将这些模式锚定在特定查询的事实路径中。

#### CCoRGE

高阶关系图记为 G_R = (V_R, E_R)，其中节点集 V_R 对应于 G 中的关系集 R。G_R 中的边捕捉关系之间的拓扑共现规律。我们定义了四种不同的边类型，T = {h-h, h-t, t-h, t-t}，表示两个关系如何通过共享实体进行交互。形式化地，对于 a, b ∈ {h, t}，如果存在一个实体同时出现在涉及 r_i 的三元组的 a 位置和涉及 r_j 的三元组的 b 位置，则存在一条有向边 (r_i, r_j, a-b) ∈ E_R。例如，如果存在一个实体 e ∈ E 使得：

(e, r_i, x_i) ∈ S ∧ (x_j, r_j, e) ∈ S。 (1)

在预训练期间，G_R 根据 G 构建。在推理时，它通过由LLM预测的头实体和尾实体类型衍生的语义连接进行增强，详见第4.2节 (https://arxiv.org/html/2607.26909#S4.SS2)。最后，采用多层GNN在 G_R 上学习关系表示。

#### MAPNet

为了将可转移的关系模式锚定在查询特定的证据中，同时避免无差别的多模态融合，MAPNet在实体图上执行关系感知的传播，并在互补阶段融合两种多模态表示。在实体编码期间，源实体的初始表示通过融合查询关系的CCoRGE表示与源实体的关系感知多模态表示得到。所有其他实体的状态初始化为零。所有关系的CCoRGE表示进一步投影为逐层的边特征，用于实体传播。形式化地，在第 l 层，MAPNet为每个邻居 v ∈ N(e) 通过拼接其前一层的